Apache Spark × データエンジニアの業務委託案件・フリーランス求人一覧

【基本リモート/AWS】IoTデータ基盤改修 データエンジニア

IoTプラットフォーム向けデータ基盤改修プロジェクトにて、 メダリオンアーキテクチャをベースとした大規模データ基盤再構築を担当いただきます。 データレイクからDWH、データマートまでの各レイヤーにおいて、ETL再設計や過去データ移行、DWHテーブル再設計などを推進します。 263億行規模のセ...

・Apache Spark / AWS Glue / Apache Hudi のいずれかを用いたデータパイプラインの設計・実装経験（2年以上） ・PostgreSQLまたはMySQL等のRDBでの大規模データ移行経験 ・pg_dump / pg_restore / パーティションテーブル設計経...

【リモート併用/AWS】人流・消費データ分析基盤向けデータエンジニア

人流データおよび消費データを活用した分析基盤構築案件です。ブログウォッチャーから提供される人流データとSMBC消費データをAWS S3へ蓄積し、AthenaおよびGlueを活用した中間加工・ETL処理を実施します。 QuickSightから参照するためのデータセット設計やダッシュボード構築も担...

・AWS Athena（Presto SQL）の実務経験 ・AWS Glue（PySpark）の実務経験 ・AWS S3を用いたデータレイク設計経験 ・Athena/Glueを用いたETL・データ加工経験

【Python/Java/Node.js】道路マネジメントプラットフォーム開発（バックエンド/データ基盤）

道路マネジメント向けプラットフォームにおけるバックエンド開発およびデータ基盤構築をご担当いただきます。 ・ETL/データパイプラインの設計・実装 ・REST APIの設計・開発 ・大規模データの処理、データ統合/モデリング ・社内外システムとの連携対応 不確実性のある要件下でも、データ志向で設...

・Python/Java/Node.jsのいずれかでの開発経験 ・REST APIの設計/開発経験 ・SQLおよびRDBの実務経験 ・Gitを用いたチーム開発経験 ・ETL/データパイプラインの設計経験 ・大規模データ処理の実務経験

【Python/Java/Node.js】道路マネジメントプラットフォーム開発（バックエンド・データ基盤）

道路インフラ領域における大量データを統合・利活用するプラットフォームの開発案件です。 - バックエンド開発：Python / Java / Node.js のいずれかでのREST API設計・実装 - データ基盤構築：大規模データのETL、データパイプラインの設計・開発 - 空間データ処理：地...

必須（技術）: - Python / Java / Node.js のいずれかでの実務開発経験 - REST APIの設計・開発経験 - SQLおよびRDBの実務経験 - Gitを用いたチーム開発経験 必須（データ系）: - ETL／データパイプラインの設計経験 - 大量データ処理の実務経験

データ分析基盤構築リモート併用大手インターネット事業会社データエンジニア募集

インターネット事業を主軸に展開している東証プライム上場企業にて、データエンジニアとして参画。全社データ分析基盤のアーキテクチャ設計・構築。データレイク / DWH基盤の設計・運用。ETL / ELTパイプラインの設計・開発。クロスクラウドデータ連携の設計・実装。データモデリングの設計。Terr...

・大規模データ基盤（DWH）設計・構築経験 ・高度なデータモデリングおよびパイプライン開発（SQL/Python）経験 ・最新技術（IaC/RAG基盤/分散処理）を用いた運用経験

データエンジニア案件希望

経験20年、データ基盤構築を中心に要件定義から一貫して対応可能。言語/FW: Python、Scala、PHP。インフラ/その他ツール: AWS、Snowflake、GCP、MySQL、MongoDB、Hadoop、Spark、Kafka、Airflow、Linux、Apache、Kudu、S...

Python

データ基盤パイプライン開発エンジニア募集

現行のデータ活用基盤からDatabricksへのデータ複製を行う パイプライン開発に携わっていただきます。初期構築は完了 しており、継続的な開発および一部維持管理を担当します。 ■ 業務内容 - データ複製パイプラインの設計と開発 - 継続的なデータ基盤の改良 - データ管理の効率...

・Python ・PL/SQL ・Spark Framework

【Databricks/BI】データ分析・可視化支援コンサルタント

大手マテハン（マテリアルハンドリング）メーカーにおけるデータ利活用コンサルティング案件です。 Databricks を用いたデータ整形・加工プロセスの設計および実装、要望ヒアリングから要件定義、活用定着までの伴走支援を担当いただきます。 また、社内に蓄積されたデータの可視化（BIツール活用）と...

・BIツールを用いたデータの可視化および分析の実務経験 ・データ利活用領域における要件定義など上流工程の経験 ・顧客折衝（ヒアリング～要件化）の実務経験

【Databricks/BI/大阪】データ分析・可視化支援コンサルタント

大手マテハン（マテリアルハンドリング）メーカー内にて、データ利活用のコンサルティングを担当いただきます。 - Databricks を用いたデータ整形・加工プロセスの設計および実装 - 顧客ヒアリングから要件定義、活用定着までの伴走支援 - 社内蓄積データの可視化（BIツール活用）および分析基...

・BIツールを活用したデータ可視化および分析の実務経験 ・データ利活用における要件定義をはじめとした上流工程の経験 ・関係者とのコミュニケーションを通じた課題整理・推進スキル

デジタルバンク新設に伴うデータ基盤構築／開発支援 ※シニアデータエンジニア

DXコンサルティング企業（エンド：金融業）でのプロジェクト案件。 □プロジェクト概要 ・デジタルバンク新設に伴うDatabricksを中心としたデータ基盤構築プロジェクトへ参画 ・目的：レイクハウス環境におけるデータパイプライン設計／実装および品質管理の遂行 ・期待：シニアデータエンジニアと...

データエンジニアリングまたはアナリティクスエンジニアリングの実務経験を5年間以上有する人材 SQLおよびPythonを用いたデータパイプライン開発経験がある人材 -Databricks／Apache Spark／dbt等 AWS環境でのデータ基盤構築／運用およびGit、CI/CDの実務経験を...

【Databricks/BI/大阪】データ分析・可視化支援コンサルタント

大手マテハンメーカー内にて、データ利活用のコンサルティングを担当いただきます。 具体的には、Databricksを活用したデータ整形・加工プロセスの設計/構築、顧客要望のヒアリングから要件定義、活用定着までの伴走支援、社内に蓄積されたデータの可視化（BIツール活用）および分析基盤の運用までを一...

・BIツールを用いたデータ可視化および分析の実務経験 ・データ利活用に関する要件定義など上流工程の経験

【リモート併用/墨田区/Scala】生命保険業界　データエンジニア（バイリンガル）

生命保険業界のデータプラットフォーム構築プロジェクトにおいて、要件調整から設計、データパイプライン構築（Scala / Spark / Java）、CI/CDの自動化、スクリプト開発、運用支援などを担当。クラウドはAzureを中心とし、大規模なデータ処理基盤を構築・最適化する役割を担っていただ...

・日英バイリンガル（ビジネスレベル以上） ・Scala / Java / Pythonのいずれかの開発経験 ・Hadoop / Sparkの分散処理システムの知識 ・Azureの利用経験 ・SQL、Shell、CI/CDの実務経験

【Python/Databricks】金融機関向けDWH開発業務支援

金融機関向けの新DWH構築に伴い、DatabricksとPythonを用いたETL処理開発をご担当いただきます。 主な作業は以下の通りです。 ・新規データ取り込みジョブの追加開発およびテスト（取り込みロジックは既存流用） ・既存データパイプラインの運用・保守対応 設計〜開発〜テストまで一貫し...

・Pythonでの開発実務経験：2年以上 ・SQLを用いた実務経験：2年以上 ・システム開発における設計・実装・テストの一連の経験：3年以上

【Python/Databricks】新DB構築に伴うETL開発・既存パイプライン運用保守

新たなデータベース構築にあたり、ETL処理基盤としてDatabricksを採用します。DatabricksおよびPythonを用いた実装をご担当いただきます。 主な作業内容: ・新規データ取り込みジョブの追加開発およびテスト（取り込みロジックは既存を流用） ・既存ETLパイプラインの運用・保...

・Pythonを用いた実務経験 2年以上 ・SQLを用いた実務経験 2年以上 ・システム開発における設計・実装・テストの一連の経験 3年以上

【AWS/GCP/Terraform】データ基盤構築（データレイク・DWH・ETL）

AWSとGCPを活用したデータ基盤の構築をご担当いただきます。サービス運用やビジネス分析、出版社支援など多様なデータ活用ニーズに応えるためのスケーラブルな基盤を目指します。 主な担当領域: - データレイク/ETL基盤の整備 ・AWS Glue（Apache Spark）を用いた分散処理・E...

・AWS上でのインフラ構築/運用経験（S3、IAM、VPC など） ・GCPの構築経験（特に BigQuery と IAM/ネットワーク設定） ・BigQueryを用いた分析SQLの実務経験（パーティショニング/クラスタリング） ・AWS Glue（PySpark）によるETL開発およびパフォ...

【Databricks/PySpark・Scala】商用車ロジスティクス可視化基盤のデータ処理最適化

トラック製造・販売メーカー向けに、車両輸送状況をリアルタイムに可視化する業務アプリのパフォーマンス改善を担当いただきます。現状、車両から送信される膨大なGPSログ解析で処理遅延が発生しており、Databricks を中心にデータ処理基盤の抜本的なチューニングと改善実装を行います。 想定業務:...

必須スキル: ・Databricks 上でのコーディング経験（PySpark/Scala） ・コード/ジョブのチューニング実務経験 ・Spark クラスタの構造や処理方式、最適化手法に関する知識・実務 ・大規模データの実務経験（Hadoop/Spark クラスタで数億行規模の処理）

【Databricks/PySpark・Scala】商用車ロジスティクス可視化基盤のデータ処理最適化

トラック製造販売メーカー向けに、車両のGPSログを用いたリアルタイム可視化アプリのパフォーマンス最適化を行います。 現状、膨大なGPSデータ解析で処理遅延が発生しており、Databricks（PySpark/Scala）およびAzureデータ基盤を中心に、抜本的なチューニングと改善施策の設計・...

必須スキル: ・Databricksでの開発経験（PySparkおよびScalaでのコーディング） ・Sparkクラスタの構造/処理方式の理解と各種最適化手法によるチューニング実務 ・大規模データ処理の経験（Hadoop/Sparkクラスタで数億行規模のデータ取り扱い） これまでの実案件での...

【Python/機械学習/レコメンド/フルリモート】大規模消費者向けサービスのレコメンド基盤MLエンジニア（リード）

大規模MAUを誇るソーシャル系アプリ/WEBサービスにおいて、レコメンド領域のML基盤構築と改善をリードいただきます。 モデル開発からMLOps、プロダクト適用までを一貫して推進するポジションです。 具体的な担当業務： ・レコメンド向けML基盤（Training/Serving/Monito...

・レコメンド領域におけるMLプロダクト開発経験（直近5年で通算2年以上） ・高トラフィック（MAU数十万以上）サービスでのML実務経験 ・特徴量設計～モデル実装～MLOps～モニタリングまでの一連の実務経験 ・CF/MF/DNN/Transformer/Two-Tower などのレコメンド手法...

【Python/AWS/データ基盤】大手製造小売向けデータプラットフォーム開発・運用（リモート）

大手製造小売企業における、AWSベースのデータ基盤の構築・運用案件です。 主な業務は以下の通りです。 ・AWSを活用したデータ基盤の設計、構築、運用 ・Airflow等を用いたETL/データパイプラインの設計〜改善 ・Spark/PySparkによる大規模データ処理の実装 ・分析用データモデル...

・PythonおよびShellの開発経験：5年以上 ・Spark/PySparkを用いた大規模データ処理の実務経験 ・AWSのデータ系サービス（S3/Glue/Athena/Kinesis/ECS/MWAA 等）の実務経験 ・ETL/データパイプラインを自立して設計・実装した経験 ・DWH/デ...

【Python/機械学習/フルリモート】建設業向けデータ予測モデル開発・MLエンジニア募集

建設業界向けデータ分析サービスを展開する企業にて、機械学習モデル開発とデータ分析基盤の整備をリードいただきます。 - 建設データを用いた予測モデルの設計・開発・運用 ・企業ごとの建設データ解析に関するコーディング実務 ・分析モデルに必要な各種処理の実装 ・要件定義に基づく新機能開発およびモデ...

・Pythonでの機械学習（回帰/分類）モデルを本番運用まで構築した実務経験 ・NLPを用いたプロダクト/サービス開発経験 ・AWS等のクラウド上での開発、デプロイ、運用経験 ・Gitを用いたチーム開発、Dockerなどのコンテナ技術の知識と実務経験 ・要件を整理し設計/実装へ落とし込むための...