Apache Spark × データエンジニアの業務委託案件・フリーランス求人一覧｜ページ2

【AWS/GCP/BigQuery/Terraform】データ基盤構築案件

AWS×GCPを活用したデータ基盤の設計・構築を担当いただきます。サービス運用支援、ビジネス分析、出版社支援など、多様なデータ活用ニーズに応えられる基盤を目指します。 主な業務: ・データレイク／ETL基盤の整備 └ AWS Glue（Apache Spark/PySpark）での分散処理お...

・AWSでのインフラ構築/運用経験（S3, IAM, VPC など） ・GCPの設計/構築経験（特に BigQuery および IAM・ネットワーク設定） ・BigQueryでの分析SQL実務（パーティショニング/クラスタリングの活用） ・AWS Glue（PySpark）でのETL開発および...

【AWS/GCP/Terraform】データ基盤構築案件（AWS×GCP）

AWSとGCPを横断したデータ基盤の構築をご担当いただきます。サービス運用、ビジネス分析、出版社支援など多様なデータ活用ニーズに対応できるプラットフォームを目指します。 主な業務内容: ・データレイク/ETL基盤整備 - AWS Glue（Apache Spark/PySpark）による分...

・AWSでのインフラ構築/運用経験（S3、IAM、VPC等） ・GCP構築経験（特にBigQuery、IAM/ネットワーク設定） ・BigQueryを用いた分析SQL実務（パーティショニング/クラスタリングの設計・運用） ・AWS Glue（PySpark）でのETL開発/チューニング経験 ・...

【AWS/GCP/BigQuery/Terraform】データ基盤構築エンジニア

AWSとGCPを併用したデータ基盤の設計・構築・運用を担当いただきます。サービス運用やビジネス分析、出版社支援など多様なデータ活用ニーズに対応できる堅牢な基盤を目指します。 主な業務内容: ・データレイク/ETL基盤の整備 └ AWS Glue（Apache Spark/PySpark）を用...

・AWS上でのインフラ設計/構築/運用経験（S3、IAM、VPC等） ・GCPの構築運用経験（BigQuery必須、IAM/ネットワーク設定の実務） ・BigQueryでの分析SQL実務（パーティション/クラスタリング設計） ・AWS Glue（PySpark）によるETL開発とチューニング経...

【Python/機械学習/フルリモート】ソーシャルECアプリのレコメンド基盤開発リード

ソーシャルコマースアプリにおけるレコメンド領域のML基盤構築・改善をリードいただきます。 - レコメンド向けML基盤の設計・構築（Training／Serving／Monitoring） - レコメンド／ランキング／パーソナライズなどの機械学習モデルを活用したプロダクト開発 - ロードマップ策...

以下のいずれも満たす方： - レコメンド領域でのプロダクト開発経験（直近5年で通算2年以上） - MAU数十万規模以上、または同等トラフィック環境でのML開発経験 - 特徴量エンジニアリング～前処理～モデル実装～MLOps～モニタリングまでの一連の経験 - レコメンド手法（CF／MF／DNN／...

【AWS/GCP/データパイプライン】インフラ・データエンジニア募集

AWS（データレイク）とGCP（DWH）を組み合わせたハイブリッドクラウド基盤を拡張中です。 全社で高速にデータ活用を進めるため、AWS Glue や BigQuery を用いたデータパイプラインの設計・実装・運用をお任せします。 主な業務: - データレイク/ETL基盤の構築 - AWS ...

必須スキル: - AWSでのインフラ構築・運用経験（S3 / IAM / VPC などの実務） - GCPの構築経験（特に BigQuery と IAM/ネットワーク設定） - BigQuery を用いた分析SQLの実務経験（パーティション/クラスタリング設計を含む） - AWS Glue（P...

【Databricks/Tableau/フルリモート】大規模データ基盤の設計・パイプライン構築（Python）

既存のTableau環境にDatabricksを新たに採用し、社内外データを一元管理できる統合データ基盤を構築するプロジェクトです。 主にデータパイプラインの設計・実装、データモデリング、品質担保、運用設計までをご担当いただきます。 リアルタイム処理や高効率なETL/ELTの仕組みづくりにも関...

・大規模データ基盤プロジェクトにおける実務経験（データ設計、データパイプライン実装など） ・Pythonを用いたデータ処理／分析の実務経験 ・自走力があり、主体的に業務を推進できる方

【Python/Spark・AWS Glue/Step Functions】データサービス基盤(ODS/Data-Hub)開発

データ活用基盤において、各種源泉システムからのデータ蓄積を担う ODS(Operational Data Store) と、源泉システムと ODS 間のデータ連携を実現する Data-Hub を中核コンポーネントとして設計・実装します。 基本設計以降の工程を担当し、ETL/ELT パイプライン...

・DWH/ODS の設計・開発経験 ・ETL/ELT パイプラインの設計および実装経験 ・AWS を用いたデータ基盤開発（Glue／Step Functions／EMR／Lambda など） ・データベース操作の実務経験 ・バッチ処理／ストリーミング処理／外部API連携の実装経験 ・Pytho...

【Python/Databricks】銀行向けデータ基盤開発支援

大手銀行向けに、アイリス（社内ツール）上へデータレイクを構築します。 Pythonで大量データの加工処理を実装し、Databricksへ格納・管理します。対象データは約2,000～3,000本を想定しています。 担当は基本設計～テストまでの工程を中心に、メンバーとして参画いただきます。 作業場...

・基本設計～テストまで一連の工程対応が可能な方 ・Pythonでの開発実務経験（目安3年以上） ・データ加工／ETLの実装経験 ・チームでのレビュー/品質担保の経験

【Python/Databricks】銀行向けデータ基盤開発支援

大手銀行で利用しているアイリス（ツール）上にデータレイクを構築し、Pythonでデータ加工処理を実装してDatabricksへ格納します。 対象データは約2,000～3,000本を想定しており、基本設計からテストまで一連の工程を担当いただきます。 役割はメンバー想定で、常駐での参画となります（...

・基本設計～テストまでの実務対応が可能な方 ・Pythonによる開発経験3年以上 ・データ加工／ETL処理の実務経験 ・常駐勤務が可能な方

【Databricks/Python】銀行向けデータ基盤開発支援

大手銀行向けに、アイリス（社内ツール）上へデータレイクを構築します。 Pythonで大量データの加工パイプラインを実装し、Databricksへ格納・運用します。 対象データは約2,000～3,000本を想定しており、スケーラブルな処理設計と品質確保が求められます。 役割はメンバーポジションで...

・Databricksの利用経験（年数不問、実案件での活用経験が望ましい） ・Pythonでのデータ加工・ETL実装経験 ・大規模データの取扱いにおける基本的なパフォーマンス/品質観点 ・チーム開発でのコミュニケーションスキル

【AWS/Snowflake/Talend/リモート】データエンジニア/DWH・ETL設計構築

六本木を拠点にリモート併用で、DWH/ETL基盤の設計・実装・移行を担当いただきます。 ・データベースおよびDWHのスキーマ設計、レイヤー間（RAW→STG→DW/DM 等）のデータ移行設計と実装 ・顧客との要件整理、課題抽出、ソリューション提案 ・実装したソリューションの技術ドキュメント作成...

・開発および保守の実務経験4年以上 ・クラウド、DWH、ETLに関する十分な知識 ・AWS、Snowflake、Talend（もしくは同等ETL/ELTツール）の知見 ・データエンジニアリング向け各種データサービスの設計・設定経験 ・外国籍の方は日本での就業経験7年以上

【Python/SQL・Databricks/BigQuery歓迎】パイプライン構築案件

総合小売業向けに、PythonおよびSQLを用いたデータパイプラインの設計・開発・テストを担当いただきます。 DatabricksやBigQueryを活用したデータ処理・ETL/ELTの実装が発生する可能性があります（経験がある方は尚可）。 既存パイプラインの改善や運用・保守、データ品質の担保...

BigQuery歓迎 ・PythonおよびSQLを用いたデータパイプライン構築の実務経験 ・設計～実装～テストまで一連の工程に対応できること ・常駐勤務が可能で、勤怠・健康面に問題がないこと

【Python/SQL/dbt・Databricks】某企業向け_データ活用基盤移行(ETL開発)

大手企業向けのデータ活用基盤移行プロジェクトにおいて、dbt を用いたETL/ELT開発を担当いただきます。 主なミッションは、既存の Informatica で構築された処理を、Databricks 環境で動作する dbt ベースのデータパイプラインへリプレースすることです。 具体的には、...

dbt・Databricks ・ETL またはデータパイプラインの設計・実装経験 ・Python を用いた業務開発経験（3年以上） ・SQL を用いた業務経験（3年以上）

【二子玉川/AI×セキュリティデータ】某大手EC企業のデータエンジニアポジション

データ分析とインサイト抽出：サイバーセキュリティ関連データの詳細な分析を行い、傾向、パターン、異常を特定。可視化やレポートを通じてステークホルダーに共有。 AIモデルの展開と運用：AI/MLモデルを本番環境に展開・監視・保守し、高可用性と高パフォーマンスを確保。 AIインフラ管理：クラウド...

・SQL、Spark、Airflow、クラウドストレージ等のデータエンジニアリングツール経験 ・統計分析・データマイニング・機械学習に精通 ・データ分析・探索的調査の知識 ・LangChain、ベクタDB、HuggingFace、OpenAI API等のAIツール活用経験 ・Python／No...

【Python/リモートあり】GenerativeAI向けデータ基盤構築・運用支援(データエンジニア)

【20代、30代が活躍中！】 ※週5日〜OKの案件です！ ※実務経験1年以上お持ちの方が対象の案件です！ 【作業場所】新宿(週2リモート) 【時間】フレックスタイム制(コアタイム応相談) 【面談回数】1〜2回(オンライン) 【必須スキル】 ・Python/SQLによるデータ処理経験 ・RD...

・Python/SQLによるデータ処理経験 ・RDB/NoSQL/DWHにおけるDB設計・運用経験 ・クラウド(GCP/AWSなど)の利用経験 ・Docker/Kubernetesを用いたインフラ構築経験 ・API開発またはデータ連携設計・実装経験 ・ビジネスレベルの日本語での円滑なコミュニケ...

【Python/AWS/データレイク】データレイク基盤構築支援案件

某大手企業におけるデータレイク基盤の新規構築プロジェクトです。 データ収集から蓄積、加工、活用までのデータパイプライン全体を設計・実装し、 安定稼働に貢献していただきます。 データ駆動型のビジネスを推進するための重要な役割となります。 募集背景 事業拡大に伴い、増え続けるデータを戦略的に活用...

Pythonを用いたデータ処理の実務経験。 AWSなどのクラウド環境でのデータ基盤構築経験。 SQLによるデータ抽出・加工スキル。 データレイク、データウェアハウスに関する基本的な理解。

【Databricks/Python】某大手企業のデータパイプライン移行プロジェクト

【Python/データエンジニア】フルリモート可 データパイプライン移行支援

以下、概要になります ・フルリモート可能です ・大手企業のデータ基盤における既存SPARKパイプラインのDatabricks移行プロジェクト ・役割：開発メンバー ・主な業務：既存SPARKパイプラインの現状調査・仕様整理、DatabricksへのETLパイプラインの移行・実装...

・DWH／データパイプライン開発・運用経験 ・Pythonを用いたデータ処理の実務経験 ・SQLによるデータ加工・集計の実務経験 ・Apache Spark／PySparkの経験 ・Databricksの経験 ・複数名チームでのプロジェクト参画経験

【Python/AWS/Spark/一部リモート】データエンジニア（位置情報ビッグデータ分析基盤）

【Python/AWS/Spark】位置情報ビッグデータ分析基盤のデータエンジニア

この案件では、移動体に関する地理空間データの評価と比較を行い、データ調達を支援します。 具体的には、位置情報データ処理ソリューションの設計から開発までを担当していただきます。 スケーラブルなデータパイプラインやETL基盤の構築に携わり、機械学習モデルを活用した予測分析にも貢献していただきます。

以下に挙げるスキルと経験が必須となります。 ・データエンジニアとしての5年以上の実務経験 ・要件定義からの一連の開発工程経験 ・大規模データ処理に関する豊富な経験 ・データパイプラインおよびETL基盤の構築経験 ・AWS環境での開発経験 ・Apache Sparkなどのビッグデータフレームワー...