Apache Sparkの業務委託案件・フリーランス求人一覧｜ページ3

【センター北/C言語・Python】自動車ADAS・自動運転開発プロジェクト

大手自動車関連プロジェクトにて、ADAS（先進運転支援システム）および自動運転、コネクテッド領域の開発を担当します。 ご経験に応じて、プロジェクトマネジメント、モデルベース開発、車載組込みソフト開発、データ基盤構築、品質評価・検証などのポジションをご提案します。 自動車業界における大規模開発プロジェクトで、機能安全や品質基準に準拠した開発を推進していただきます。英語を用いたドキュメント対応や海外拠点との連携が発生する可能性もあります。 【技術スタック】 ・開発言語：C言語、C++、Python、Java ・クラウド：AWS、Azure ・データ処理：Spark ・その他：AUTOSAR

【Databricks/BI】データ分析・可視化支援コンサルタント

大手マテハン（マテリアルハンドリング）メーカーにおけるデータ利活用コンサルティング案件です。 Databricks を用いたデータ整形・加工プロセスの設計および実装、要望ヒアリングから要件定義、活用定着までの伴走支援を担当いただきます。 また、社内に蓄積されたデータの可視化（BIツール活用）と、分析基盤の運用・改善もお任せします。 常駐が基本ですが、一部リモートの相談も可能です。

【エンド直】マルチクラウド環境のデータ基盤構築・運用改善/データエンジニア募集

データ基盤構築をお任せします。 ・データレイク / ETL 基盤の構築 ・ AWS Glue（Apache Spark）による分散処理・ ETL 開発 ・ S3 / Lake Formation を用いたデータ管理・セキュリティ設計 ・ BigQuery ベースの DWH 環境整備 ・ AWS → GCP 間データ連携パイプラインの最適化 ・ BigQuery によるデータモデリング・クエリ最適化 ・ IaC を軸としたマルチクラウド管理 ・ Terraform による環境差分管理・自動化 ・ 品質管理・運用効率化 ・ Airflow などのワークフロー管理と CI/CD 整備 ・ データ品質テスト...

【Azure/Databricks/Azure AI Search】エネルギー会社向けセキュリティ審査支援AIエージェント開発【上級SE】

貴方様には、役員直下のポジションとして、財務・IR・M&A等、幅広い業務を通じて経営に貢献していただきます。上場企業としてのガバナンス強化、持続的な成長に向けた戦略立案から実行支援まで、経営層と密接に連携しながら、経営の中枢を担う重要な役割を担っていただきます。 【具体的には】 ◆ADLS→Databricks取込の実装（増分・エラー処理・再実行性を含むジョブ化） ◆Medallion（Bronze/Silver/Gold）実装（Deltaテーブル作成／スキーマ定義含む） ◆Gold出力〜Azure AI Search格納の実装（ADLS出力＋インデクサ設定・実行まで） ◆AI Searchのインデックス設計（フィールド/フ...

【Databricks/BI/大阪】データ分析・可視化支援コンサルタント

大手マテハン（マテリアルハンドリング）メーカー内にて、データ利活用のコンサルティングを担当いただきます。 - Databricks を用いたデータ整形・加工プロセスの設計および実装 - 顧客ヒアリングから要件定義、活用定着までの伴走支援 - 社内蓄積データの可視化（BIツール活用）および分析基盤の運用 - 運用改善やダッシュボード高度化の提案 常駐が基本ですが、状況により一部リモートの相談が可能です。

【Databricks/BI/大阪】データ分析・可視化支援コンサルタント

大手マテハンメーカー内にて、データ利活用のコンサルティングを担当いただきます。 具体的には、Databricksを活用したデータ整形・加工プロセスの設計/構築、顧客要望のヒアリングから要件定義、活用定着までの伴走支援、社内に蓄積されたデータの可視化（BIツール活用）および分析基盤の運用までを一貫してご対応いただきます。 常駐を基本としつつ、一部リモートの相談も可能です。

【Python・SQL/リモートあり】AI SaaSサービス データ分析・AI活用プロジェクトデータサイエンティストポジション

【20代、30代が活躍中！】 ※週5日〜OKの案件です！ ※実務経験1年以上お持ちの方が対象の案件です！ ▼概要 SaaSサービス データ分析・AI活用プロジェクトデータサイエンティストポジション 【業務内容】 本サービスは、ChatGPT、GPT-4 など生成AIを活用した法人向けプラットフォームおける、データ分析・AI活用プロジェクトデータサイエンティストポジションの募集になります。 ・生成AIプラットフォームの利用ログや業務データを活用したデータ分析・可視化 ・ユーザー行動分析、離脱率分析、機能利用状況の可視化 ・AIモデル出力データを用いた品質評価（精度・誤答率・業務貢献度など） ・Pythonを用いたデータ前処...

【リモート併用/Python】クラウド環境 データ基盤構築・運用支援（AI・分析対応）

クラウド環境におけるデータ基盤構築および運用支援業務。ETL/ELTによるデータ取込と整形、データ品質管理、AI/分析チームとの連携・調整。MLOpsや生成AIなど新技術の検証・活用支援も担当。 【技術スタック】 ・開発言語：Python、SQL ・クラウド：Azure／AWS／GCP（いずれか） ・ETL基盤：Databricks、Spark、Data Factory（尚可） ・技術領域：MLOps、生成AI、NLP、RAG（尚可）

【リモート併用/墨田区/Scala】生命保険業界　データエンジニア（バイリンガル）

生命保険業界のデータプラットフォーム構築プロジェクトにおいて、要件調整から設計、データパイプライン構築（Scala / Spark / Java）、CI/CDの自動化、スクリプト開発、運用支援などを担当。クラウドはAzureを中心とし、大規模なデータ処理基盤を構築・最適化する役割を担っていただきます。 【技術スタック】 ・開発言語：Scala、Java、Python ・フレームワーク：Spark ・インフラ：Azure ・データベース：Oracle、MS SQL Server ・その他：Git、Shell、CI/CD

Java／車載ビッグデータ可視化システム追加開発案件・求人

「走行データ」という巨大な資産を価値に変える。エンジニアとしての知的好奇心を刺激するプロジェクトです。本プロジェクトでは、車両から収集される膨大なデータを可視化するシステムの機能追加・維持保守を担当します。 ・監視レポート作成および分析報告 ・設計、製造、単体〜システムテスト、リリース作業までの一貫したデリバリー 市場価値・キャリアメリット： 「Connected Car × Cloud」の専門性を磨き、市場価値の高いエンジニアへ。 現在、自動車業界で最も注目される車載データの活用に携わることで、IoT分野の深い知見が得られます。また、AWSを用いたビッグデータ処理の経験は、今後のクラウドネイティブなキャリアにおいて強力...

【リモート併用/データ分析】生命保険向けBSA・システム分析業務

大手生命保険会社向けの業務分析およびシステム分析業務。要件定義からデータモデリング、データフロー設計、開発チームとの連携による仕様策定や成果物のレビューまで幅広く担当いただきます。日英バイリンガルスキルがある方を歓迎し、Hadoop/Spark環境での分析業務も含まれます。 【技術スタック】 ・データベース：Oracle、MS SQL Server、MongoDB ・ビッグデータ基盤：Hadoop、HBase、Spark ・OS：Linux

【Python】【SE】農機具メーカー向けデータ管理基盤運用・保守、開発支援の求人・案件

農機具メーカー向けデータ管理基盤運用・保守、開発支援にご参画していただきます。\n主な業務内容は以下のとおりです。\n・要件整理支援(機能、非機能要件をまとめる業務)\n・開発支援 等\n\n開発環境：Python、DataBricks、Azure、spark\n\n最寄り駅：堺東駅

【基本リモート/小川町/AWS・GCP】ハイブリッドクラウド基盤 データパイプライン開発

AWSとGCPを併用したハイブリッドクラウド基盤におけるデータパイプライン設計・開発を担当します。GlueによるETL処理、S3やLake Formationを活用したデータ管理、BigQueryを用いたDWH環境整備、Terraformによる環境構築の自動化、Airflowによるジョブ管理といった幅広い工程をお任せします。 【技術スタック】 ・開発言語：Python、Go、Java ・データ処理：AWS Glue（PySpark）、BigQuery ・インフラ：AWS、GCP ・IaC：Terraform ・ワークフロー管理：Airflow、MWAA ・データ管理：S3、Lake Formation ・BI：Looker ...

【Go/Scala/AWS/リモート】配信入稿管理システムの設計・開発・運用エンジニア募集

配信入稿管理システムの設計・開発・運用をご担当いただきます。 詳細設計から実装、単体・結合テスト、運用まで一貫して関与いただき、長期での改善・機能拡張を想定しています。 開発は基本リモートで進行し、Mac・GitHubを用いたチーム開発環境です。

【Python/Databricks】金融機関向けDWH開発業務支援

金融機関向けの新DWH構築に伴い、DatabricksとPythonを用いたETL処理開発をご担当いただきます。 主な作業は以下の通りです。 ・新規データ取り込みジョブの追加開発およびテスト（取り込みロジックは既存流用） ・既存データパイプラインの運用・保守対応 設計〜開発〜テストまで一貫して関与いただき、品質確保と安定稼働を担っていただきます。

【Python】【SE】保険会社向けデータサービス基盤構築の求人・案件

保険会社向けデータサービス基盤構築にご参画していただきます。\nAWSを活用したデータサービス基盤の構築の案件となります。\nGlue・Lambda（Python、Spark）を用いてのデータ連携処理の構築をご実施していただきます。

【千代田区/Python】金融機関向けDWH開発業務支援

新規データベース構築に伴い、ETL処理の設計・開発、既存パイプラインの保守運用業務をご担当いただきます。Pythonやdatabricks、SQLを中心に活用し、安定したデータ処理基盤の維持・改善を行います。 【技術スタック】 ・開発言語：Python ・分析基盤：databricks ・DWH：Google BigQuery ・データ処理：Apache Spark（PySpark）

【AWS/GCP/Terraform】データ基盤構築（データレイク・DWH・ETL）

AWSとGCPを活用したデータ基盤の構築をご担当いただきます。サービス運用やビジネス分析、出版社支援など多様なデータ活用ニーズに応えるためのスケーラブルな基盤を目指します。 主な担当領域: - データレイク/ETL基盤の整備 ・AWS Glue（Apache Spark）を用いた分散処理・ETL開発 ・S3やLake Formationを活用したデータガバナンス/セキュリティ設計 - BigQueryベースのDWH構築 ・AWS→GCP間のデータ連携フロー最適化 ・BigQueryにおけるデータモデリングとクエリ性能改善 - IaCによるマルチクラウド管理 ・Terraformでの環境差異の制御と自動化 - 運用効率化と品質...

流通向けアプリケーション開発【Java】【日本人限定/一部リモート】

下記ご確認の上、ご応募お願いいたします。 ーーーーーーーーーーーーーーーーーー ・本案件は、日本人限定 ・東京の顧客先に出社可能な方 ・週5日（月〜金）で稼働可能な方 ＊副業、請負案件ではございません。 ーーーーーーーーーーーーーーーーーー ・データ分析基盤構築およびアプリケーション開発(Java、Scala、Spark) ・AWS上でのJavaバックエンド開発 週5日、リモート

【Databricks/PySpark・Scala】商用車ロジスティクス可視化基盤のデータ処理最適化

トラック製造販売メーカー向けに、車両のGPSログを用いたリアルタイム可視化アプリのパフォーマンス最適化を行います。 現状、膨大なGPSデータ解析で処理遅延が発生しており、Databricks（PySpark/Scala）およびAzureデータ基盤を中心に、抜本的なチューニングと改善施策の設計・実装をご担当いただきます。 想定業務: ・Databricks（PySpark, Scala）のパフォーマンス最適化 ・大規模バッチ/ストリーミング処理の実装・改修 ・Azureデータ基盤（ADF/SQL/Functions等）の性能改善 ・保守運用、構成管理、リファクタリング 稼働形態は新川崎駅近辺にて、初月は週3出社、その後は週1...

【Python/機械学習/レコメンド/フルリモート】大規模消費者向けサービスのレコメンド基盤MLエンジニア（リード）

大規模MAUを誇るソーシャル系アプリ/WEBサービスにおいて、レコメンド領域のML基盤構築と改善をリードいただきます。 モデル開発からMLOps、プロダクト適用までを一貫して推進するポジションです。 具体的な担当業務： ・レコメンド向けML基盤（Training/Serving/Monitoring）の設計・構築 ・レコメンド/ランキング/パーソナライズモデルの研究開発 ・技術選定、開発ロードマップ策定および推進 ・特徴量設計、データ前処理、MLOpsの自動化推進 ・リアルタイム推論の最適化とスケール対応 ・技術課題の洗い出しと改善、品質向上施策の推進

【AWS/GCP/BigQuery/Terraform】データ基盤構築案件

AWS×GCPを活用したデータ基盤の設計・構築を担当いただきます。サービス運用支援、ビジネス分析、出版社支援など、多様なデータ活用ニーズに応えられる基盤を目指します。 主な業務: ・データレイク／ETL基盤の整備 └ AWS Glue（Apache Spark/PySpark）での分散処理およびETL開発 └ S3やLake Formationを用いたデータガバナンス／セキュリティ設計 ・BigQueryベースのDWH環境構築 └ AWS→GCP間のデータ連携フロー最適化 └ BigQueryでのデータモデリング／性能チューニング ・IaCによるマルチクラウド管理 └ Terraformでの環境差異管理と自動化 ・運用効率化...

【AWS/GCP/Terraform】データ基盤構築案件（AWS×GCP）

AWSとGCPを横断したデータ基盤の構築をご担当いただきます。サービス運用、ビジネス分析、出版社支援など多様なデータ活用ニーズに対応できるプラットフォームを目指します。 主な業務内容: ・データレイク/ETL基盤整備 - AWS Glue（Apache Spark/PySpark）による分散処理・ETL開発 - S3やLake Formationを活用したデータガバナンス/セキュリティ設計 ・BigQueryベースのDWH構築 - AWS→GCPのデータ連携フロー最適化 - BigQueryでのデータモデリング、クエリ最適化（パフォーマンス改善） ・IaCによるマルチクラウド管理 - Terraformで環境差異の...

【AWS/GCP/BigQuery/Terraform】データ基盤構築エンジニア

AWSとGCPを併用したデータ基盤の設計・構築・運用を担当いただきます。サービス運用やビジネス分析、出版社支援など多様なデータ活用ニーズに対応できる堅牢な基盤を目指します。 主な業務内容: ・データレイク/ETL基盤の整備 └ AWS Glue（Apache Spark/PySpark）を用いた分散処理・ETL開発およびパフォーマンス最適化 └ S3、Lake Formationを活用したデータガバナンス/セキュリティ設計 ・BigQueryベースのDWH構築 └ AWS→GCPのデータ連携フロー最適化 └ BigQueryでのデータモデリング、クエリ最適化（パーティション/クラスタリング） ・IaCによるマルチクラウド管理...

【Python/機械学習/フルリモート】ソーシャルECアプリのレコメンド基盤開発リード

ソーシャルコマースアプリにおけるレコメンド領域のML基盤構築・改善をリードいただきます。 - レコメンド向けML基盤の設計・構築（Training／Serving／Monitoring） - レコメンド／ランキング／パーソナライズなどの機械学習モデルを活用したプロダクト開発 - ロードマップ策定、技術選定、開発推進 - 特徴量設計、前処理、MLOps、実運用と継続的改善 - 実験管理・運用フローの自動化 - リアルタイム推論の性能最適化 - 関連プロダクトの品質改善や技術課題の解消 勤務地はフルリモート（渋谷オフィスあり）、長期参画を予定しています。

【AWS/GCP/データパイプライン】インフラ・データエンジニア募集

AWS（データレイク）とGCP（DWH）を組み合わせたハイブリッドクラウド基盤を拡張中です。 全社で高速にデータ活用を進めるため、AWS Glue や BigQuery を用いたデータパイプラインの設計・実装・運用をお任せします。 主な業務: - データレイク/ETL基盤の構築 - AWS Glue（Apache Spark/PySpark）による分散処理・ETL開発 - S3 / Lake Formation を活用したデータ管理・セキュリティ設計 - BigQuery ベースのDWH整備 - AWS→GCP 間のデータ連携パイプライン最適化 - BigQuery によるデータモデリング/クエリ最適化 - IaC を軸とし...

【Databricks/Tableau/フルリモート】大規模データ基盤の設計・パイプライン構築（Python）

既存のTableau環境にDatabricksを新たに採用し、社内外データを一元管理できる統合データ基盤を構築するプロジェクトです。 主にデータパイプラインの設計・実装、データモデリング、品質担保、運用設計までをご担当いただきます。 リアルタイム処理や高効率なETL/ELTの仕組みづくりにも関与いただく想定です。

Python／設備事業者向けDatabricks/Tableauを用いた統合データ基盤構築、BIシステム開発案件・求人

設備事業を展開するクライアントのDX推進プロジェクトとして、 社内外の膨大なデータを一元的かつ効率的に管理するための統合データ基盤構築に参画いただきます。 現在稼働中のTableau環境に加え、新たに高速かつ柔軟なデータ処理が可能な「Databricks」を導入し、 データレイクとDWH（データウェアハウス）の統合を目指します。 エンジニアの方には、主に以下の業務をお任せします。 ・Databricksを用いたデータ基盤環境の追加構築 ・Python/Sparkを活用した高効率なデータパイプラインの設計および実装 ・周辺データの準備処理（ETL/ELT）およびワークフローの整備 モダンなデータエンジニアリング技...

【Java/AWS】メガバンク向けシステム一元化開発

メガバンク向けに、銀行側と信託側システムの一元化を進める大規模プロジェクトです。12月から基本設計、1月から詳細設計、3月以降CD/UT、5月以降ITと工程が進み、C/Oは2027年2月予定の長期案件です。 既存システムの保守・運用を継続しつつ、信託側機能の取り込みによる統合を実施します。弊社体制参画中で、今後PG枠の増員を予定しています。 勤務は水天宮前/人形町駅近辺での常駐、定時は8:50〜17:30です。

【Python/Databricks】銀行向けデータ基盤開発支援

大手銀行向けに、アイリス（社内ツール）上へデータレイクを構築します。 Pythonで大量データの加工処理を実装し、Databricksへ格納・管理します。対象データは約2,000～3,000本を想定しています。 担当は基本設計～テストまでの工程を中心に、メンバーとして参画いただきます。 作業場所は中野での常駐勤務です。

【リモート併用/恵比寿/AWS】DWHシステムのエンハンス開発・保守

AWS環境上に構築されたDWHシステムの機能追加・改修・保守対応を行います。 ETLツール（AWS Glue）やPySparkを用いたバッチ開発、EventBridgeやStep Functionsでのジョブ管理、CloudWatchやDatadogによる監視運用設計を実施します。 またTerraformでのインフラ構築・管理、Gitによるバージョン管理も担当範囲です。 【作業期間】 2025年12月～（長期予定） 【作業時間】 9:30～18:00（昼休憩 12:00～13:00）

【Python/Databricks】銀行向けデータ基盤開発支援

大手銀行で利用しているアイリス（ツール）上にデータレイクを構築し、Pythonでデータ加工処理を実装してDatabricksへ格納します。 対象データは約2,000～3,000本を想定しており、基本設計からテストまで一連の工程を担当いただきます。 役割はメンバー想定で、常駐での参画となります（勤務地：中野）。 契約形態は準委任、商流は元請→上位→当社です。

【Java/Spring/フルリモート】大規模ECサイトの新規開発・保守

大規模な総合ECサイトにおいて、機能追加を含む新規開発および既存機能の保守運用を担当いただきます。 要件定義から設計・実装・テスト・リリース後の運用まで一貫して関わるポジションで、チームをリードしながら品質とスピードの両立を図っていただきます。 主な環境／技術: - 言語: Java、Objective-C、C# - フレームワーク: Spring（Spring Boot想定） - インフラ: 各種クラウド環境（AWS/GCP/Azureのいずれか） - ビッグデータ関連技術: 分散処理/ストリーミング基盤等（例: Hadoop/Spark/Kafka など） 体制: 複数チーム体制のうち、数名規模のサブチームをリードいた...

運動施設向けSaaSにおけるデータ基盤エンジニア（テックリード）

・新データ基盤の設計・構築（AWS／BigQuery／Snowflake等） ・ETL/ELTパイプラインの改善・最適化 ・データモデル設計／マルチテナント対応 ・データガバナンス、セキュリティ設計・運用、コンプライアンス対応 ・全社業務データ／IoTデータ／行動データの統合管理 ・BIツール連携設計 ・データ基盤運用・最適化、チーム技術育成・レビュー ＜工程＞ 要件定義、設計、構築、運用、最適化、技術リード ＜開発環境＞ 言語：Python／Go／Java クラウド：AWS／GCP／Snowflake IaC：Terraform／CloudFormation／CDK DWH：BigQuery／RDB...

【フルリモート/CI/CD】ヘルステック企業での患者向けコンテンツ配信基盤エンジニア

既存プロダクトと連携し、患者向けコンテンツ配信基盤の役割を担うPEHubと呼ばれるプロダクトの開発を担当頂きます。 ・プロダクトマネージャとの仕様策定 ・各種AWSサービスをフル活用したアーキテクチャ設計 ・社内プロダクトや社内サービスとのシステム連携 ・他プロダクトチームとシステム仕様・アーキテクチャのすり合わせ ・設計したシステムの実装と運用 ・各種インフラ運用の自動化、CI/CDの強化

【AWS/Snowflake/Talend/リモート】データエンジニア/DWH・ETL設計構築

六本木を拠点にリモート併用で、DWH/ETL基盤の設計・実装・移行を担当いただきます。 ・データベースおよびDWHのスキーマ設計、レイヤー間（RAW→STG→DW/DM 等）のデータ移行設計と実装 ・顧客との要件整理、課題抽出、ソリューション提案 ・実装したソリューションの技術ドキュメント作成（データフロー、ジョブ設計、運用手順） ・開発〜テスト〜運用保守までの一連の対応 開始時期は10月想定、1名募集です。

【Python/AWS/ETL】内製開発: 開発チーム(ETL)／リモート併用

顧客内製システムの自動化開発案件です。 現在、人手で実施している障害発生時の切り分けを、各業務フローを一元化し自動化します。ETL/Data Pipeline を中核に、Airflow を用いたワークフロー自動化、サーバレス/マイクロサービスを活用した実装を進めます。 DEV/QA を横断しての支援をお願いする可能性があります。

【リモート併用/恵比寿/Python】クラウドDWHシステム保守・開発案件

ポイント事業者向けDWHシステムの保守・開発業務を担当。 AWS環境上でのETL開発、運用監視、ジョブ管理、CICD構築など幅広い対応が求められます。 PythonやSQLでのデータ処理、運用業務、Gitによるバージョン管理の経験を活かし、効率的なシステム運用を実現していただきます。 Terraformによるパイプライン構築や小規模チームのリード経験があればより高いパフォーマンスが期待されます。 【技術スタック】 ・データベース：Apache Iceberg ・ETLツール：Glue（pyspark） ・ジョブ管理：EventBridge、StepFunctions ・運用監視：CloudWatch、DataDog ・開発言...

【AWS/サブリーダー】大手通信系インフラ高度化PJTの保守開発・技術フォロー

大手通信企業向けの大規模データ分析基盤において、AWSを中核とした保守開発・高度化をご担当いただきます。 チームでは新サービスの技術検討からインフラ設計、構築、リリースまで一連の工程を広く対応しており、CI/CD、Databricks、チャットボット、コンテナなどの新技術導入・刷新をPOC的に継続しています。 本ポジションは、技術面でのサブリーダーとして、リーダーのカバー範囲外のタスク補完やメンバーのフォローアップ、品質担保を推進していただきます。 ＜主な作業＞ ・AWS環境下でのサーバ構築・システム開発 ・Spark/EMRを用いたデータ分析・抽出 ・データ集計や手動更新、テストデータ導入 ・AWS Lambdaを用いたジョ...

バトル演出デザイナー／Unity・AfterEffects／ゲーム開発

爽快マッチパズルゲームを代表作として、本格王道RPGゲームを中心にゲームの企画・開発を行う会社にて、ゲーム開発におけるバトル演出デザイナー業務をお任せします。 ■□具体的には…□■ ・キャラクター、モンスターの必殺技／魔法演出作成（Unity／Photoshop／AfterEffects／SPARK GEARを使用） ＜こんな方におすすめです！＞ ・スキルアップしたい方 ・ゲーム開発に携わりたい方