Apache Sparkの業務委託案件・フリーランス求人一覧

Apache Spark
Apache Spark

Apache Sparkの業務委託案件・フリーランス求人一覧

全 420 件中 1-40件表示
募集中4日前

【Databricks】分析基盤設計支援のエンジニア求人・案件 システムエンジニア・プログラマー

〜1,000,000円/月
業務委託東京都
この案件を3行でまとめると
  • システムエンジニア/エンジニアとして東京都で勤務し、一部リモート可、フルタイム(100%)で稼働いただきます。報酬は月額100万円で、安定した収入が期待でき、業務に集中しやすい環境です。
  • Databricksを用いたデータ分析基盤構築プロジェクトの要件定義・設計支援を行い、Delta Lakeを活用したレイクハウス構成の設計やデータパイプラインの設計・実装、既存DWHの移行支援と統合設計ドキュメント作成を担当します。
  • 必須スキル: Databricksでの分析基盤構築経験、Sparkベースの処理設計・実装経験、要件定義・方式設計など上流工程経験、クラウド(Azure/AWS)構築経験。歓迎スキル: なし。
おすすめポイント
  • フルタイムで稼働できるシステムエンジニア/エンジニアの案件で、東京都内で勤務しつつ一部リモートが可能です。月額100万円の報酬が設定されており、安定した収入が期待できます。
  • DatabricksやSparkを使ったデータ分析基盤構築経験がある方におすすめです。上流工程の要件定義・設計経験も求められるため、設計力を活かしたい方に適しています。
  • クラウド(Azure/AWS)での構築経験がある方は、既存DWHの移行支援や統合設計ドキュメント作成に携わることができ、スキルアップに繋がります。
募集中25日前

(一部リモート)在庫最適化システムのデータ基盤構築【Python】(日本人限定)

750,000円/月
業務委託
職務内容

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 週5日、リモート

必須スキル

・Webシステム設計~開発経験3年以上ある方 ・Python開発経験1年以上ある方 ・Sparkなどの分散処理システムの経験がある方 ・SQLの実装経験 (基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方) ・データ基盤の構築経験ある方 ・AWSを用いた開発経験ある方 ・Dockerなどのコンテナ技術を利用した開発経験がある方

募集中26日前

【基本リモート/AWS】IoTデータ基盤改修 データエンジニア

1,580,000円〜1,710,000円/月
業務委託東京都
職務内容

IoTプラットフォーム向けデータ基盤改修プロジェクトにて、 メダリオンアーキテクチャをベースとした大規模データ基盤再構築を担当いただきます。 データレイクからDWH、データマートまでの各レイヤーにおいて、ETL再設計や過去データ移行、DWHテーブル再設計などを推進します。 263億行規模のセンサーデータ移行では、 Aurora MySQLからAurora PostgreSQLへの移行設計およびパーティションアタッチ方式による段階移行を実施します。 また、既存Lambda構成のGlue Job統合、Step Functionsを用いたオーケストレーション再設計、 EAIフロー統合、Silver層ETL改修なども担当いただきます...

必須スキル

・Apache Spark / AWS Glue / Apache Hudi のいずれかを用いたデータパイプラインの設計・実装経験(2年以上) ・PostgreSQLまたはMySQL等のRDBでの大規模データ移行経験 ・pg_dump / pg_restore / パーティションテーブル設計経験 ・億行〜数十億行規模のデータ取り扱い経験 ・メダリオンアーキテクチャに基づくデータ基盤設計または運用経験 ・AWSデータ基盤サービスを用いたETL構築経験 ・本番サービスのデータ移行・スキーマ変更経験 ・日本語での技術折衝経験 ・既存設計書レビューおよび設計判断経験

募集中1ヶ月前

【Hadoop/Spark】大規模データレイクの保守・運用業務支援の求人・案件

〜600,000円/月
業務委託東京都
職務内容

Hadoopに関する運用業務(ユーザサポート・定常業務・メンテナンス)の支援、プロダクト保守/運用業務、利用者からの問い合わせ対応(Trino/Sparkジョブ、クラスタ自体に関する質問等)、定常的なクラスタ運用業務(定期メンテナンスや増強、利用者要望への対応など)の対応。

必須スキル

・HadoopまたはSparkの運用業務経験 ・インフラ支援業務経験 ・コミュニケーション力

募集中2ヶ月前

大手インターネット企業におけるMLエンジニア【BigQuery・Terraform・MCP Server・RAG・LLM・Python・Apache Spark・codex・claude code/リモートあり】

790,000円〜840,000円/月
業務委託東京都 渋谷区
職務内容

【20代、30代が活躍中!】 ※週5日〜OKの案件です! ※実務経験1年以上お持ちの方が対象の案件です! ▼概要 大手インターネット企業におけるMLエンジニア 【業務概要】 ・全社データ分析基盤のアーキテクチャ設計・構築 ・データレイク / DWH(BigQuery)基盤の設計・運用 ・ETL / ELTパイプラインの設計・開発 ・クロスクラウドデータ連携(OCI → GCP)の設計・実装 ・データモデリング(OBT / mart)の設計 ・Terraformを用いたIaCによるインフラ管理 ・データ基盤に関わるネットワーク・セキュリティ設計(IAM / VPC / データガバナンス) ・AIデータアクセス基盤(MCP /...

必須スキル

・データ基盤 / DWHのアーキテクチャ設計経験 ・大規模データ処理(数千万〜数億レコード規模)の設計・開発経験 ・クラウド環境におけるデータ基盤構築経験(GCP / AWS / OCI 等) ・SQL / Pythonを用いたデータパイプライン開発経験 ・データモデリング(DWH / OBT / Star Schema等)の実務経験 ・データ基盤におけるアクセス制御・セキュリティ設計経験

募集中2ヶ月前

大手企業でのフロント業務支援スタッフ募集

〜500,000円/月
業務委託東京都 中央区 勝どき
職務内容

大手企業の総務部にて、フロント業務を担当していただきます。主な業務は受付対応、電話応対、来客案内、会議室への案内、そして事務作業やオフィス環境の維持管理です。 ■ 業務内容 - 受付業務と来客対応 - 電話応対と問い合わせ対応 - オフィス環境の整備と事務作業 【アピールポイント】 - 定時勤務で残業が少ない環境 - 大手企業での経験価値が高い案件 - 高いコミュニケーションスキルを活かせます

必須スキル

・PHP ・Java ・Scala ・Ruby ・Python ・Go ・Perl ・Hack ・Elixir ・JavaScript ・TypeScript ・React ・Node.js ・C ・C++ ・Delphi ・PL/SQL ・Pro*C ・C# ・.NET(VB) ・.NET(C#) ・VBA ・VB ・VC++ ・ASP ・COBOL ・Spring Framework ・Spring Boot ・Struts ・Seasar ・Seasar2 ・Swing ・JSP ・Play Framework ・Java EE ・Spark Fram...

募集中2ヶ月前

大手インターネット企業におけるMLエンジニア【BigQuery・Terraform・MCP Server・RAG・LLM・Python・Apache Spark・codex・claude code/リモートあり】

710,000円〜760,000円/月
業務委託東京都 渋谷区
職務内容

【20代、30代が活躍中!】 ※週5日〜OKの案件です! ※実務経験1年以上お持ちの方が対象の案件です! ▼概要 大手インターネット企業におけるMLエンジニア 【業務概要】 ・全社データ分析基盤のアーキテクチャ設計・構築 ・データレイク / DWH(BigQuery)基盤の設計・運用 ・ETL / ELTパイプラインの設計・開発 ・クロスクラウドデータ連携(OCI → GCP)の設計・実装 ・データモデリング(OBT / mart)の設計 ・Terraformを用いたIaCによるインフラ管理 ・データ基盤に関わるネットワーク・セキュリティ設計(IAM / VPC / データガバナンス) ・AIデータアクセス基盤(MCP /...

必須スキル

・データ基盤 / DWHのアーキテクチャ設計経験 ・大規模データ処理(数千万〜数億レコード規模)の設計・開発経験 ・クラウド環境におけるデータ基盤構築経験(GCP / AWS / OCI 等) ・SQL / Pythonを用いたデータパイプライン開発経験 ・データモデリング(DWH / OBT / Star Schema等)の実務経験 ・データ基盤におけるアクセス制御・セキュリティ設計経験

募集中2ヶ月前

日銀向けシステム開発エンジニア案件【Java・Python】

〜600,000円/月
業務委託東京都 港区 品川
職務内容

日本銀行向けのプロジェクトで、Java+JUnitまたはPython+pysparkを使用したシステムの製造フェーズにご参画いただきます。銀行に特化した経験がある方を募集しており、即戦力として活躍できる場を提供します。面談回数は2回を予定しており、場合によっては1回に減ることもあります。 ■ 業務内容 ・システムの製造フェーズ作業 ・既存システムの改善 ・技術的な課題解決 【アピールポイント】 ・銀行系システムに深く関わる経験が積める ・安定した金融機関プロジェクトによる長期稼働可能性 ・チーム体制で働くことで協調性を活かせる ・最寄駅が品川でアクセスが良い ・スキルに応じた報酬体系

必須スキル

・Java ・Python ・JUnit ・Spark Framework

募集中3ヶ月前

データ基盤パイプライン開発エンジニア募集

〜700,000円/月
業務委託東京都 大田区
職務内容

現行のデータ活用基盤からDatabricksへのデータ複製を行う パイプライン開発に携わっていただきます。初期構築は完了 しており、継続的な開発および一部維持管理を担当します。 ■ 業務内容 - データ複製パイプラインの設計と開発 - 継続的なデータ基盤の改良 - データ管理の効率化と品質改善 - 顧客ニーズのヒアリングと提案 【アピールポイント】 - 最先端技術を使用したデータ基盤強化プロジェクトに参画 - 技術力を活かして長期間プロジェクトに貢献可能 - 柔軟なプロジェクトマネジメント環境 - コミュニケーションスキルを活かせる場面が多い - キャリアアップにつながる経験を積める

必須スキル

・Python ・PL/SQL ・Spark Framework

募集中4ヶ月前

デジタルバンク新設に伴うデータ基盤構築/開発支援 ※シニアデータエンジニア

1,000,000円〜1,200,000円/月
業務委託東京都
職務内容

DXコンサルティング企業(エンド:金融業)でのプロジェクト案件。 □プロジェクト概要 ・デジタルバンク新設に伴うDatabricksを中心としたデータ基盤構築プロジェクトへ参画 ・目的:レイクハウス環境におけるデータパイプライン設計/実装および品質管理の遂行 ・期待:シニアデータエンジニアとしてチーム内の技術リードおよびレビューを担う □業務内容 ・Databricks上でのデータパイプライン設計/実装 ・データ品質管理、照合、性能最適化および運用改善 ・データモデル設計、下流API連携、チーム内の技術リードおよびレビュー ■求めるプロ人材、コンサルタントのスキル・経験・素養 ・データエンジニアリングまたはアナリティクス...

必須スキル

データエンジニアリングまたはアナリティクスエンジニアリングの実務経験を5年間以上有する人材 SQLおよびPythonを用いたデータパイプライン開発経験がある人材 -Databricks/Apache Spark/dbt等 AWS環境でのデータ基盤構築/運用およびGit、CI/CDの実務経験を有する人材

募集中4ヶ月前

(リモート)【Python】Saasプロダクトデータ基盤構築

750,000円/月
業務委託
職務内容

下記ご確認の上、ご応募お願いいたします。 ーーーーーーーーーーーーーーーーーー ・本案件は、日本人限定 ・東京の顧客先に出社可能な方 ・週5日(月〜金)で稼働可能な方 *副業、請負案件ではございません。 ーーーーーーーーーーーーーーーーーー ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 ・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語:Python、SQL ・DB:Aurora(PostgreSQL互換)、Redshift ・ライブラリフレームワーク:Pandas、Numpy...

必須スキル

・Webシステム設計〜開発経験 ・Python開発経験 ・Sparkなどの分散処理システムの経験 ・SQLの実装経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方) ・データ基盤の構築経験ある方 ・AWSを用いた開発経験ある方 ・Dockerなどのコンテナ技術を利用した開発経験

募集中4ヶ月前

(リモート)【Python】AI系サービスデータ基盤構築

750,000円/月
業務委託
職務内容

下記ご確認の上、ご応募お願いいたします。 ーーーーーーーーーーーーーーーーーー ・本案件は、日本人限定 ・東京の顧客先に出社可能な方 ・週5日(月〜金)で稼働可能な方 *副業、請負案件ではございません。 ーーーーーーーーーーーーーーーーーー 顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。 ・新規データ取得のETL及びデータウェアハウスの実装 ・データ基盤の運用及び保守開発 ・データの可視化 ・定例MTG対応 ・仕様書等ドキュメント作成(一部) 〜技術環境〜 OS:Linux、Windows 言語:Python、SQL DB:Redshift、Aurora(PostgreS...

必須スキル

・Pythonでアプリケーションの基本設計以降の経験 ・Sparkなどの分散処理システムの経験 ・SQLの実装経験 ・Redshift、Aurora(PostgreSQL互換)でデータ基盤の構築経験 ・AWS(ECS、S3、StepFunctions、Lambda、Redshift、Aurora等)を利用したシステム開発の経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方)

募集中4ヶ月前

デジタルカード事業の動画クリエイター募集

〜800,000円/月
業務委託東京都 渋谷区
職務内容

新規開発中のデジタルカード事業での動画クリエイターの募集です。ディレクターと連携し、動画を中心にデジタルカードやプロモーション用動画等の制作、外注会社のディレクション、制作方針の策定、制作物の検品を担当いただきます。 ■業務内容 - デジタルカードやプロモーション用動画の制作 - 外注会社のディレクション - 制作方針の策定 - 制作物の検品 - ディレクターとのコミュニケーション 【アピールポイント】 - ポートフォリオ提出必須によるスキルの明確化 - 即日参画可能でプロジェクトにすぐ関われる - 週2日のリモートで柔軟な働き方が可能 - 上限80万円の高単価案件 - 長期プロジェクトで安定した就業可能性

必須スキル

・PHP ・Java ・Scala ・Ruby ・Python ・Go ・Perl ・Hack ・Elixir ・JavaScript ・TypeScript ・React ・Node.js ・C ・C++ ・Delphi ・PL/SQL ・Pro*C ・C# ・.NET(VB) ・.NET(C#) ・VBA ・VB ・VC++ ・ASP ・COBOL ・Spring Framework ・Spring Boot ・Struts ・Seasar ・Seasar2 ・Swing ・JSP ・Play Framework ・Java EE ・Spark Fram...

募集中5ヶ月前

【Databricks/PySpark・Scala】商用車ロジスティクス可視化基盤のデータ処理最適化

800,000円〜1,050,000円/月
業務委託東京都
職務内容

トラック製造・販売メーカー向けに、車両輸送状況をリアルタイムに可視化する業務アプリのパフォーマンス改善を担当いただきます。現状、車両から送信される膨大なGPSログ解析で処理遅延が発生しており、Databricks を中心にデータ処理基盤の抜本的なチューニングと改善実装を行います。 想定業務: ・Databricks(PySpark/Scala)環境のパフォーマンス最適化 ・大規模データ処理(数億行規模)の実装・改修 ・Azure データ基盤(Data Factory など)のパフォーマンス改善 ・保守運用、構成管理、リファクタリング 商流はエンド→弊社→貴社。弊社から複数名稼働中で意思決定・動きは速い環境です。

必須スキル

必須スキル: ・Databricks 上でのコーディング経験(PySpark/Scala) ・コード/ジョブのチューニング実務経験 ・Spark クラスタの構造や処理方式、最適化手法に関する知識・実務 ・大規模データの実務経験(Hadoop/Spark クラスタで数億行規模の処理)

募集中5ヶ月前

【Databricks/SQL/Python/フルリモート】データ解析システム構築支援案件

700,000円〜800,000円/月
業務委託その他
この案件を3行でまとめると
  • Databricksを活用するデータエンジニア向けの案件で、勤務地はその他、勤務形態は常駐、週5日稼働・月70〜80万円です。
  • Databricksでのデータ解析システム構築支援がミッションです。設計・実装・テストを担い、SQL/PythonやSparkでの処理実装を進めていただきます。
  • 必須はSQL/Python/Spark、データパイプライン、Git、ユニットテスト、要件〜テスト設計、ドキュメント作成力で、Databricks等は歓迎です。
おすすめポイント
  • 最新のデータ解析基盤に携われ、DatabricksやクラウドDWH活用で着実なスキルアップが望めます。
  • 週5日・月70〜80万円のレンジで、データ基盤の設計から実装・テストまで幅広く関わりたい方に最適です。
  • 主体的に動きチームで成果を出せる方、分散処理やクラウド経験を活かしたい方におすすめです。
募集中5ヶ月前

SaaSのデータ基盤構築【Python】【日本人限定/一部リモート】

750,000円/月
業務委託
職務内容

下記ご確認の上、ご応募お願いいたします。 ーーーーーーーーーーーーーーーーーー ・本案件は、日本人限定 ・東京の顧客先に出社可能な方 ・週5日(月〜金)で稼働可能な方 *副業、請負案件ではございません。 ーーーーーーーーーーーーーーーーーー ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 ・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 ・基本設計、詳細設計、開発、体テスト、結合テスト、総合テスト、運用をご担当いただきます。 〜開発環境〜 ・開発言語:Python、SQL ・DB:Aurora(Post...

必須スキル

・何かしらのシステム開発経験3年以上 ・Pythonの実装経験1年以上 ・Sparkなどの分散処理システムの経験 ・SQLの実装経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方) ・データ基盤の構築経験 ・アプリケーションの設計経験 ・AWSなどクラウド環境を利用したシステム開発の経験

募集中5ヶ月前

需要予測サービスの導入支援【Python】【日本人限定/一部リモート】

700,000円/月
業務委託東京都 墨田区 錦糸町
職務内容

下記ご確認の上、ご応募お願いいたします。 ーーーーーーーーーーーーーーーーーー ・本案件は、日本人限定 ・東京の顧客先に出社可能な方 ・週5日(月〜金)で稼働可能な方 *副業、請負案件ではございません。 ーーーーーーーーーーーーーーーーーー ・小売業向け需要予測サービスの導入支援 ・ベンダー側SEとして要件定義から導入までの対応 ・お客様からの要望に合わせて下記対応 -モデルに読み込ませるデータの加工、ストレージへの対応 -モデル構築、インターフェースの開発 -システムの移行、データの移行(パフォーマンス検証) 週5日、リモート

必須スキル

・Python(Spark)の開発経験 ・クラウド上の開発経験 ・DBの知識

募集中5ヶ月前

【Databricks/PySpark/Azure】商用車ロジスティクス可視化基盤のデータ処理最適化

780,000円〜880,000円/月
業務委託神奈川県
この案件を3行でまとめると
  • データエンジニア向けの神奈川県内、常駐(リモート不可)、週5日稼働の案件で、月額78〜88万円、Databricks/PySpark/Azureに携わります。
  • 可視化基盤の処理を高速・安定化することがミッションで、Databricks最適化や大規模処理実装・改修、Azure基盤改善と保守・リファクタリングを担います。
  • 必須はDatabricksのPySpark/Scala実装とチューニング、Spark最適化・大規模データ経験で、歓迎は基盤運用、Azure、クエリ調整、スクリプトやGitHubです。
おすすめポイント
  • 月額78〜88万円のレンジで、Databricks最適化や大規模処理に携われる高単価案件です。
  • Spark最適化やコードチューニングに強みがあり、実運用の改善に意欲的な方におすすめです。
  • Azureデータ基盤や保守・構成管理の実務経験を活かし、常駐で腰を据えて取り組みたい方に最適です。
募集中5ヶ月前

【Java/Spark/AWS】メガバンク向けシステム一元化案件

550,000円〜600,000円/月
業務委託東京都
職務内容

大手メガバンク向けに、銀行側と信託側のシステムを統合(一元化)する大型プロジェクトです。 12月~基本設計、1月~詳細設計、3月~CD/UT、5月~IT(結合/総合テスト)を予定し、C/Oは2027年2月を見込みます。良好であれば以降の延長可能性もあります。 担当想定は以下の通りです。 ① 既存システムの保守・運用 ② 銀行側と信託側のシステム統合(取込)により、信託側をクローズ 環境はJava、Shell(Java起動)、Spark(分散処理・データマッピング)、Python(Spark起動)で、AWS上での稼働が想定されています。 稼働は水天宮前/人形町駅付近での常駐、定時は8:50~17:30です。弊社体制で参画中で、ベ...

必須スキル

・Javaを用いた開発経験が豊富で、詳細設計以降を自走できる方 ・プロジェクト完遂に向けて協調的に取り組める方

募集中5ヶ月前

【Python/AWS/データ基盤】大手製造小売向けデータプラットフォーム開発・運用(リモート)

600,000円〜700,000円/月
業務委託東京都
職務内容

大手製造小売企業における、AWSベースのデータ基盤の構築・運用案件です。 主な業務は以下の通りです。 ・AWSを活用したデータ基盤の設計、構築、運用 ・Airflow等を用いたETL/データパイプラインの設計〜改善 ・Spark/PySparkによる大規模データ処理の実装 ・分析用データモデルの設計、dbtを用いたモデリング・開発 ・運用チームのタスク管理、コードレビュー、トラブルシューティング対応 など 期間は2026年1月開始の長期予定(初月単月契約、以降応相談)。勤務地は茅場町を拠点としたリモート併用で、就業時間は9:00〜18:00です。 面談は1回(弊社同席)。募集は1名、年齢不問です。 二段階認証(Authent...

必須スキル

・PythonおよびShellの開発経験:5年以上 ・Spark/PySparkを用いた大規模データ処理の実務経験 ・AWSのデータ系サービス(S3/Glue/Athena/Kinesis/ECS/MWAA 等)の実務経験 ・ETL/データパイプラインを自立して設計・実装した経験 ・DWH/データモデリングの設計スキル ・ビジネスレベルの中国語運用能力

募集中6ヶ月前

【Java/Spark】メガバンク向けシステム一元化開発

600,000円〜650,000円/月
業務委託東京都
職務内容

メガバンク向けに、銀行側と信託側のシステムを一本化する大規模プロジェクトです。既存システムの保守・運用を行いつつ、段階的に基本設計、詳細設計、製造・単体テスト、結合テスト、ITを実施し、最終的に信託側システムをクローズします。 期間の目安: ・12月~ 基本設計 ・1月~ 詳細設計 ・3月~ 製造/UT ・5月~ IT ・C/O:2027年2月予定(以降の延長可能性あり) 環境:Java、Shell(Java起動)、Spark(分散処理・データマッピング)、Python(Spark起動)、AWS想定 作業場所:水天宮前/人形町駅(常駐) 定時:8:50~17:30 体制:元請けから複数名体制で参画中。ベテラン+若手のセット提案...

必須スキル

・Javaでの開発経験が豊富で、詳細設計以降を自走できる方 ・プロジェクト完遂に向けて主体的かつ協力的に動ける方

募集中6ヶ月前

【Python/Spark・AWS Glue/Step Functions】データサービス基盤(ODS/Data-Hub)開発

470,000円〜610,000円/月
業務委託東京都
職務内容

データ活用基盤において、各種源泉システムからのデータ蓄積を担う ODS(Operational Data Store) と、源泉システムと ODS 間のデータ連携を実現する Data-Hub を中核コンポーネントとして設計・実装します。 基本設計以降の工程を担当し、ETL/ELT パイプラインの設計・構築、バッチ/ストリーミング処理、API 連携の実装、クラウド上での運用まで幅広く対応いただきます。 主な利用技術は Python、Spark、AWS Glue、AWS Step Functions、EMR、Lambda、各種データベースとなります。

必須スキル

・DWH/ODS の設計・開発経験 ・ETL/ELT パイプラインの設計および実装経験 ・AWS を用いたデータ基盤開発(Glue/Step Functions/EMR/Lambda など) ・データベース操作の実務経験 ・バッチ処理/ストリーミング処理/外部API連携の実装経験 ・Python/Spark を用いた開発経験5年以上

募集中6ヶ月前

【Java/TypeScript/Python/フルリモ】官公庁向け情報管理システムPoC開発

700,000円〜800,000円/月
業務委託その他
この案件を3行でまとめると
  • エンジニア向けの勤務地は「その他」の常駐案件で、週5日フルタイム稼働、月70万〜80万円、主要言語はJava・TypeScript・Pythonの開発案件です。
  • 官公庁向け情報管理システムのPoCで来年度本番に向け主要機能を構築します。DB抽出とExcel帳票出力、Azureやコンテナ活用の実装を担当いただきます。
  • Java/TypeScript/PythonとDockerの実装経験、AzureのData Lake StorageまたはSynapseの利用経験が必須で、Spark読解力やContainer Apps経験は歓迎です。
おすすめポイント
  • PoC段階から品質担保や課題解決に関われるため、技術的裁量を持って価値提供しやすい案件です。
  • 官公庁向けでAzureデータ基盤に触れられるため、クラウドやコンテナでの実務経験を深めたいエンジニアに最適です。
  • 仕様書を読み解き自走でき、課題管理表やチャットでの確認連携が得意な方におすすめです。
募集中8ヶ月前

【AWS/インフラ/Spark】大手通信系データ分析基盤の高度化開発PJT サブリーダー

600,000円〜620,000円/月
業務委託東京都
職務内容

大手通信企業向けの大規模データ分析基盤における保守・機能拡張プロジェクトです。 AWSを中心に、新サービス導入の技術検討からインフラ構成検討・設計、リリースまで一連の工程を担当します。 直近ではCI/CD、Databricks、チャットボット、コンテナなどの新技術をPOC的に継続導入しています。今回は技術面でのサブリーダーとして、リーダーの補完やメンバーフォローを担える方を募集します。上位からは現在7名参画中です。 <想定業務> ・AWS環境でのサーバ構築やシステム開発 ・Spark/EMRによるデータ分析・抽出 ・データ集計、手動更新、テストデータ投入 ・AWS Lambdaでのジョブ実行コントロール ほか <システム...

必須スキル

Spark ・AWS等クラウドを用いたインフラ設計・構築・運用経験(目安5年) ・サブリーダー経験、またはAWS設計/構築のエキスパート ・汎用プログラミング言語での開発経験(Python/Node.js/Java/Go等) ※ゲーム領域出身でもAWSスキルが高ければ提案可

募集中11ヶ月前

【二子玉川/AI×セキュリティデータ】某大手EC企業のデータエンジニアポジション

1,250,000円〜1,350,000円/月
業務委託東京都 二子玉川(東京都)
職務内容

データ分析とインサイト抽出:サイバーセキュリティ関連データの詳細な分析を行い、傾向、パターン、異常を特定。可視化やレポートを通じてステークホルダーに共有。 AIモデルの展開と運用:AI/MLモデルを本番環境に展開・監視・保守し、高可用性と高パフォーマンスを確保。 AIインフラ管理:クラウドリソースや専用ハードウェアを含むAI/データインフラの選定、導入、管理。 データパイプラインの構築:大規模なサイバーセキュリティ関連データの取り込み、処理、変換のための堅牢かつスケーラブルなパイプラインを設計・構築・保守。 AIモデルの性能最適化:本番環境でのAI/MLモデルの性能を最適化(ファインチューニング、スケーリング、リソース...

必須スキル

・SQL、Spark、Airflow、クラウドストレージ等のデータエンジニアリングツール経験 ・統計分析・データマイニング・機械学習に精通 ・データ分析・探索的調査の知識 ・LangChain、ベクタDB、HuggingFace、OpenAI API等のAIツール活用経験 ・Python/Node.js等によるAIサービスの統合 ・PyTorch/TensorFlowによるAI/MLモデル開発 ・MLflow/Weights & Biases等のMLOps知識 ・大規模データセット・データウェアハウスの取扱経験 ・SQLなどデータベース言語に精通 ・Python、R、PowerShell等のスクリプト言語習熟 ・Tableau...

募集中21日前

スマホ向けゲーム開発エンジニア案件

750,000円〜900,000円/月
業務委託東京都 新宿区
職務内容

スマートフォン向けソーシャルゲームの開発・運用を担当いただきます。新規タイトルの設計・実装および既存タイトルの機能追加や運用改善、エンジニア視点での企画提案や開発プロセスの改善、企画・デザイン・サーバサイドなど他職種との連携による開発推進を行います。

必須スキル

・Unityを用いたソーシャルゲームの開発・運用経験3年以上 ・尚可スキルの複数項目を満たす方

募集中23日前

【Unity/C#/フルリモート】スマホ向けソーシャルゲーム開発エンジニア

550,000円〜850,000円/月
業務委託東京都
職務内容

某有名スマホ向けソーシャルゲームの開発・運用をお任せする案件です。 具体的には、新規ゲームタイトルの設計・実装に加え、既存タイトルの機能追加や運用改善に幅広く携わっていただきます。 エンジニア視点での積極的な企画提案や、開発プロセスの改善にも貢献できる方を求めています。 企画、デザイン、サーバーサイドなど、様々な職種のメンバーと密接に連携し、円滑に開発を推進していただきます。

必須スキル

・UnityおよびC#を用いたソーシャルゲーム開発において、要件定義から設計、実装までの一連の実務経験(目安5年以上) ・プランナーやデザイナーの意図を正確に汲み取り、一人で仕様策定から実装まで完遂できる自走力 ・複雑な機能におけるパフォーマンス最適化や、堅牢なアーキテクチャ設計の実務経験

募集中25日前

【リモート併用/品川/AWS】大手メーカー向けデータ利活用支援

660,000円〜720,000円/月
業務委託東京都 港区 品川
職務内容

大手メーカー向けデータ利活用支援案件にて、既存ETLシステムの改修業務を担当します。 構築済みシステムへのIF追加・変更に伴う改修を中心に、要件定義から設計、開発、試験まで幅広く対応いただきます。参画初期はソースコード修正や試験工程からキャッチアップを行い、徐々に上流工程も担当いただく想定です。 【技術スタック】 ・クラウド:AWS ・AWSサービス:Glue、S3、IAM ・開発言語:SQL、SparkSQL ・BIツール:PowerBI

必須スキル

・設計スキル ・SQLの実装経験 ・Glueを用いたETL処理経験またはSQL主体のETL設計・実装経験 ・AWS基本知識(S3、IAMロール等)

募集中1ヶ月前

【C#/Unity/PHP/AWS/リモート応相談】スマホ向けゲーム開発エンジニア

650,000円〜850,000円/月
業務委託東京都
職務内容

人気スマートフォン向けソーシャルゲームの新規開発および既存タイトルの運用・改善に携わっていただきます。 具体的には、以下の業務が中心となります。 - 新規ゲームタイトルの設計・実装 - 既存タイトルの機能追加開発や運用改善業務 - エンジニアとしての視点から、企画への積極的な提案や開発プロセスの効率化 - 企画、デザイン、サーバーサイドチームなど、多岐にわたる職種と連携し、開発プロジェクトを推進

必須スキル

PHP ・Unityを利用したスマートフォン向けソーシャルゲームの開発・運用経験が3年以上ある方 ・尚可スキル項目から複数に該当する方

募集中1ヶ月前

【DWH】大手インターネット企業におけるMLエンジニアの求人・案件

〜750,000円/月
業務委託東京都
職務内容

・全社データ分析基盤のアーキテクチャ設計・構築 ・データレイク / DWH(BigQuery)基盤の設計・運用 ・ETL / ELTパイプラインの設計・開発 ・クロスクラウドデータ連携(OCI → GCP)の設計・実装 ・データモデリング(OBT / mart)の設計 ・Terraformを用いたIaCによるインフラ管理 ・データ基盤に関わるネットワーク・セキュリティ設計(IAM / VPC / データガバナンス) ・AIデータアクセス基盤(MCP / Agent)の構築

必須スキル

・データ基盤 / DWHのアーキテクチャ設計経験 ・大規模データ処理(数千万〜数億レコード規模)の設計・開発経験 ・クラウド環境におけるデータ基盤構築経験(GCP / AWS / OCI 等) ・SQL / Pythonを用いたデータパイプライン開発経験 ・データモデリング(DWH / OBT / Star Schema等)の実務経験 ・データ基盤におけるアクセス制御・セキュリティ設計経験

募集中1ヶ月前

【リモート併用/AWS】人流・消費データ分析基盤向けデータエンジニア

830,000円〜900,000円/月
業務委託東京都
職務内容

人流データおよび消費データを活用した分析基盤構築案件です。ブログウォッチャーから提供される人流データとSMBC消費データをAWS S3へ蓄積し、AthenaおよびGlueを活用した中間加工・ETL処理を実施します。 QuickSightから参照するためのデータセット設計やダッシュボード構築も担当いただきます。データパイプライン設計からデータレイク運用、可視化基盤構築まで一貫して携われるポジションです。 【技術スタック】 ・クラウド:AWS ・データ分析:Athena、QuickSight ・ETL:Glue(PySpark) ・ストレージ:S3 ・SQL:Presto SQL

必須スキル

・AWS Athena(Presto SQL)の実務経験 ・AWS Glue(PySpark)の実務経験 ・AWS S3を用いたデータレイク設計経験 ・Athena/Glueを用いたETL・データ加工経験

募集中1ヶ月前

【Unity/C#/ゲーム/一部リモート可】スマホ向けソーシャルゲーム開発エンジニア

650,000円〜850,000円/月
業務委託東京都
職務内容

スマートフォン向けソーシャルゲームにおける開発および運用をご担当いただきます。 - 新規タイトルの設計・実装、ならびに既存タイトルの機能追加や運用最適化 - エンジニア視点での企画提案、開発プロセスやワークフローの改善推進 - 企画・デザイン・サーバサイドなど多職種と連携した開発ドライブ 出社とリモートの併用が基本ですが、フルリモートも相談可能です。

必須スキル

・Unityを用いたソーシャルゲームの開発・運用経験3年以上 ・歓迎要件の複数を満たしていること

募集中1ヶ月前

【Python/Java/Node.js】道路マネジメントプラットフォーム開発(バックエンド/データ基盤)

650,000円〜800,000円/月
業務委託東京都
職務内容

道路マネジメント向けプラットフォームにおけるバックエンド開発およびデータ基盤構築をご担当いただきます。 ・ETL/データパイプラインの設計・実装 ・REST APIの設計・開発 ・大規模データの処理、データ統合/モデリング ・社内外システムとの連携対応 不確実性のある要件下でも、データ志向で設計を推進いただける方を求めています。

必須スキル

・Python/Java/Node.jsのいずれかでの開発経験 ・REST APIの設計/開発経験 ・SQLおよびRDBの実務経験 ・Gitを用いたチーム開発経験 ・ETL/データパイプラインの設計経験 ・大規模データ処理の実務経験

募集中1ヶ月前

【Python/Java/Node.js】道路マネジメントプラットフォーム開発(バックエンド・データ基盤)

750,000円〜850,000円/月
業務委託東京都
職務内容

道路インフラ領域における大量データを統合・利活用するプラットフォームの開発案件です。 - バックエンド開発:Python / Java / Node.js のいずれかでのREST API設計・実装 - データ基盤構築:大規模データのETL、データパイプラインの設計・開発 - 空間データ処理:地理空間情報の統合・モデリング、関連システムとの連携 フル出社(築地オフィス)での稼働となります。

必須スキル

必須(技術): - Python / Java / Node.js のいずれかでの実務開発経験 - REST APIの設計・開発経験 - SQLおよびRDBの実務経験 - Gitを用いたチーム開発経験 必須(データ系): - ETL/データパイプラインの設計経験 - 大量データ処理の実務経験

募集中2ヶ月前

大手インターネット企業におけるLLMOps【LLM・LLMOps・ML・RAG・Langfuse・TypeScript・Node.js/リモートあり】

790,000円〜840,000円/月
業務委託東京都 渋谷区
職務内容

【20代、30代が活躍中!】 ※週5日〜OKの案件です! ※実務経験1年以上お持ちの方が対象の案件です! ▼概要 大手インターネット企業におけるLLMOps / MLエンジニア 【業務概要】 ・Langfuseを用いたLLMトレース・評価基盤の設計 ・自動評価 / 人手評価の設計および運用 ・ログデータ分析による品質課題の特定 ・プロンプト / モデル改善提案と検証 ・改善サイクルの仕組み化(再現可能な運用設計) ・コスト・トークン最適化設計 ◆主な開発環境・ツール -Cloud Google Cloud(BigQuery / GCS / STS / VPC-SC / IAM) Oracle Cloud(Exadata ...

必須スキル

・LLM/MLの本番運用経験 ・モデル評価指標の設計経験 ・データ分析に基づく改善提案経験 ・LLMOpsツールの利用経験

募集中2ヶ月前

Python/リース会社向け情報系システムにおけるDatabricks移行・バッチ性能改善エンジニア開発案件・求人

〜800,000円/月
業務委託東京都 新宿区
職務内容

・大手リース会社の根幹を支える情報系システムにおいて、現行のバッチ処理における性能課題を打破する極めて重要なミッションです。 具体的には、Databricksへの移行を通じて、膨大なデータの高速処理を実現していただきます。 現行のSQLロジックを深く読み解き、最適なアーキテクチャへの再設計(基本、詳細設計)から、テストツールを駆使した品質担保、さらにはジョブ性能のチューニングまで、エンジニアとしての技術的好奇心を刺激する一気通貫の業務内容です。 ・データ基盤の近代化という、クライアントのビジネススピードを加速させるやりがいの大きなプロジェクトに、あなたのスキルを最大限に活かしてみませんか。 ※リモートワーク可

必須スキル

Python ・SQLの実務経験:3年以上 ・PySpark、またはPythonの実務経験

募集中2ヶ月前

大手インターネット企業におけるLLMOps / MLエンジニア【LLM・LLMOps・ML・RAG・Langfuse・TypeScript・Node.js/リモートあり】

710,000円〜760,000円/月
業務委託東京都 渋谷区
職務内容

【20代、30代が活躍中!】 ※週5日〜OKの案件です! ※実務経験1年以上お持ちの方が対象の案件です! ▼概要 大手インターネット企業におけるLLMOps / MLエンジニア ・Langfuseを用いたLLMトレース・評価基盤の設計 ・自動評価 / 人手評価の設計および運用 ・ログデータ分析による品質課題の特定 ・プロンプト / モデル改善提案と検証 ・改善サイクルの仕組み化(再現可能な運用設計) ・コスト・トークン最適化設計 ◆主な開発環境・ツール - Cloud Google Cloud(BigQuery / GCS / STS / VPC-SC / IAM) Oracle Cloud(Exadata / Data...

必須スキル

・LLM/MLの本番運用経験 ・モデル評価指標の設計経験 ・データ分析に基づく改善提案経験 ・LLMOpsツールの利用経験

募集中2ヶ月前

データ分析基盤構築リモート併用大手インターネット事業会社データエンジニア募集

650,000円〜800,000円/月
業務委託
職務内容

インターネット事業を主軸に展開している東証プライム上場企業にて、データエンジニアとして参画。全社データ分析基盤のアーキテクチャ設計・構築。データレイク / DWH基盤の設計・運用。ETL / ELTパイプラインの設計・開発。クロスクラウドデータ連携の設計・実装。データモデリングの設計。Terraformを用いたIaCによるインフラ管理。データ基盤に関わるネットワーク・セキュリティ設計。AIデータアクセス基盤の構築。

必須スキル

・大規模データ基盤(DWH)設計・構築経験 ・高度なデータモデリングおよびパイプライン開発(SQL/Python)経験 ・最新技術(IaC/RAG基盤/分散処理)を用いた運用経験

募集中3ヶ月前

Python/大手インターネット企業におけるLLMOps / MLエンジニアの開発案件・求人

〜1,000,000円/月
業務委託東京都 渋谷区
職務内容

大手インターネット企業の全社横断的なデータ分析基盤、およびAIデータアクセス基盤をゼロベースから設計・構築していただきます。 クロスクラウド環境でのデータ基盤構築から、最新のMCP/Agentを用いたAI連携まで、モダンなデータエンジニアリングの最前線に立つワクワクするプロジェクトです。 ・全社データ分析基盤のアーキテクチャ設計・構築 ・データレイク / DWH(BigQuery)基盤の設計・運用 ・ETL / ELTパイプラインの設計・開発 ・クロスクラウドデータ連携(OCI → GCP)の設計・実装 ・データモデリング(OBT / mart)の設計 ・Terraformを用いたIaCによるインフラ管理 ・デ...

必須スキル

Python ・LLM/MLの本番運用経験 ・モデル評価指標の設計経験 ・データ分析に基づく改善提案経験 ・LLMOpsツールの利用経験

募集中3ヶ月前

【基本フルリモート/Python/AWS】生成AIテキスト分析システム最適化エンジニア

1,000,000円〜1,080,000円/月
業務委託東京都
職務内容

自動車会社およびコールセンター向けSNSに投稿される顧客評価テキストデータを対象に、生成AIを用いて分類および要約を行うデータ分析システムの構築プロジェクトです。 本案件ではPoC段階ではなく、本番稼働に向けたシステム構築フェーズに参画いただきます。分析精度を維持しながら処理性能を高め、生成AIの利用コスト削減を実現するための処理ロジックの設計および実装を担当します。 主な業務は、データ分析システムのバッチ処理設計、Pythonを用いたデータ処理ロジックの開発、処理パフォーマンスの改善、生成AI呼び出し処理の最適化などです。 テキストデータの分析処理を効率的に実行するためのアーキテクチャ設計や、生成AIを活用した業務シス...

必須スキル

・PythonまたはPySparkを用いたバッチ処理の設計および開発経験 ・生成AIを活用したアプリケーション開発経験 ・生成AIのプロンプト設計およびコスト最適化の経験 ・本番システムの構築または運用経験 ・クラウド環境での開発経験

インディバースフリーランスであなたにピッタリの
フリーランス案件が見つかる

15万件以上のフリーランス案件から一括検索

エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。

あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。

単価相場

Apache Spark案件の単価相場と案件傾向

更新日: 2026-06-08

  • Apache Sparkのフリーランス単価のボリュームゾーンは月額80万円です。
  • 掲載案件の最高単価は月額180万円で、高単価案件では担当工程や周辺スキルも重要になります。
  • 現在の公開案件数は255件です。単価だけでなく、工程・働き方・稼働日数も合わせて確認してください。

Apache Spark案件を、単価相場・働き方・担当工程の観点で整理しました。求人一覧を見る前に、募集傾向と単価帯の目安を確認できます。

公開案件数
255件 現在一覧で確認できる案件数
平均単価
82.7万円 248件の単価データから算出
中央値
80万円 極端な高単価案件の影響を受けにくい目安
最高単価
180万円 掲載案件で確認できる上限単価

工程別の傾向

Apache Spark案件を主な担当工程で見ると、中央値は要件定義は85万円、詳細設計は75万円、実装は90万円でした。要件定義や設計まで担う案件ほど、実装だけでなく調整力や業務理解も重視されます。

  • 要件定義 85万円 18件
  • 詳細設計 75万円 10件
  • 実装 90万円 33件
  • テスト 80万円 3件

条件を選択

スキル
Apache Spark

Apache Spark案件の平均単価相場

平均 82.7万円中央値 80万円集計 248

Apache Spark案件の過去2年の平均単価相場推移

2年の変化量増加傾向
+0.6万円
開始 2024.06 81万円最新 2026.05 88.7万円
40万50万60万70万80万90万100万110万2024.062024.112025.042025.092026.022026.0581万円87.9万円85万円95万円75.7万円81万円83.3万円77.8万円50万円72.5万円65万円93.9万円82万円78万円80.4万円74.1万円89.1万円82.7万円84.2万円78.8万円81.1万円88.7万円

Apache Spark案件の過去2年の平均単価相場は、おおよそ0.6万円増加しています。直近(2026年5月)では、平均単価は88.7万円でした。

Apache Spark案件の過去2年の案件数推移

2年の変化量増加傾向
+6.7件
開始 2024.06 30件最新 2026.05 10件
0件10件20件30件2024.062024.112025.042025.092026.022026.0530件8件1件2件3件3件0件3件5件1件2件0件1件9件4件5件5件16件16件20件18件13件7件10件

Apache Spark案件の過去2年の平均月次新規案件数は、7.6件でした。直近(2026年5月)では、直近の案件数は10件でした。

Apache Spark案件の仕事内容

Apache Spark案件で中心になるのは、ETL/ELTやバッチ処理を通じたデータパイプライン開発です。業務データやログ、外部データを取り込み、加工・集計してDWHやデータレイクへ届ける流れを、設計から実装、テスト、運用改善まで担当する案件がよく見られます。

レイクハウス文脈ではDatabricks上でSpark(PySpark/Scala)を用い、ノートブックやジョブ運用、データ連携や標準化を進める役割も増えています。既存基盤の移行や刷新、性能課題の特定とチューニング、データ品質担保の仕組み化など「作って終わりではない」継続改善が業務に含まれやすい点が特徴です。

また、基盤そのものの構築だけでなく、利用者向けのAPI仕様策定やシステム間連携、認可を含む設計支援を求める案件もあります。PMOとして計画・進捗・課題管理を担いつつ、Databricksやクラウド上の設計をリードするなど、推進と技術の両輪を期待されるケースも見られます。

Apache Spark案件で求められる必須スキル

必須要件としては、Sparkを用いた分散処理の実務経験、またはSparkを利用する基盤でのデータ処理開発経験が核になります。特にPython(PySpark)やScalaでの実装経験、SQLでの抽出・変換・集計を自力で組み立てられることが、データ基盤系の案件では求められやすい傾向です。

加えて、ETL/データパイプラインの設計・構築経験や、RDB/DWHを前提にしたデータモデリングの基礎が重視されます。運用フェーズまで含む案件も多く、障害調査や問い合わせ対応、ジョブ管理、ログからの原因切り分けなど、安定稼働を支える実務スキルが必要になることもあります。

チーム開発の前提として、Gitを用いた開発フローやレビューに慣れていること、要件整理や設計意図を文章で説明できるドキュメンテーション力も必須になりやすいです。Databricks案件では、ワークスペース設計やノートブック運用、ジョブ化・再実行性など、運用設計まで踏み込めることが評価されます。

Apache Spark案件であると有利な歓迎スキル

歓迎スキルとして多いのは、レイクハウス関連の周辺技術への理解と実務経験です。Delta LakeやApache Iceberg、Apache Hudiのようなテーブル形式、dbtによる変換基盤、データ品質テストの自動化やメタデータ管理など、Spark処理を「運用可能なプロダクト」に仕上げる領域が挙がりやすいです。

クラウドのデータサービス経験も評価されやすく、AWSならGlue(PySpark)、EMR、Athena、Lake Formation、Step Functions、GCPならBigQueryやDataproc、Cloud Composer(Airflow)、AzureならData FactoryやADLSなどの利用経験があると選択肢が広がります。IaCとしてTerraformを使った環境構築や、CI/CD整備の経験も歓迎されがちです。

さらに、KafkaやKinesis、Pub/Subといったストリーミング/メッセージング基盤の経験、API連携や認可(OAuth2.0/OIDC)を踏まえた設計経験、地理空間データの扱い(PostGIS等)など、ドメインや用途に寄った強みがあると特定案件で刺さりやすくなります。

Apache Spark案件で評価されやすい実務経験

評価されやすいのは、大規模データを前提にした設計判断と改善の実績です。数千万〜数億レコード規模の処理を想定し、パーティション設計、ジョイン最適化、キャッシュ戦略、クラスタ設定などを含めて性能課題を解いた経験は、Spark案件で強い武器になります。

また、既存基盤の移行やモダナイズをリードした経験も重要視されます。例えばInformatica等の既存処理をDatabricks/dbtへ置き換える、オンプレ/旧構成からクラウドへ移行する、SQLロジックを読み解いて再設計しテストで品質を担保する、といった「現状理解→再設計→移行」の一連ができると評価されやすいです。

技術面だけでなく、関係者と要件を詰めて合意形成する経験も加点になりやすい傾向があります。PMOやリードとして、進捗・課題・リスク管理をしながら、データ基盤の設計・運用方針をまとめた経験、レビューやルール策定でチームの生産性を上げた経験も、実務能力として見られます。

Apache Spark案件でよく使われる開発環境

Apache Spark案件では、実行基盤としてDatabricks、AWS Glue(PySpark)、Amazon EMR、GCP Dataprocなどがよく使われます。言語はPython(PySpark)とSQLが軸になりやすく、案件によってScalaやJavaが混ざる構成も見られます。データストアはBigQuery、Redshift、Snowflake、RDB(Aurora/SQL Server等)と併用されることが多いです。

周辺にはワークフロー基盤としてAirflow(MWAA/Cloud Composer)やStep Functions、ジョブ管理や監視としてCloudWatchや各種監視ツール、バージョン管理としてGitHub/GitLab、タスク管理としてJira/Backlog、ドキュメントとしてConfluence/Notionなどが組み合わさります。IaCにTerraformを採用し、複数環境をコードで管理する構成も一般的です。

参画後に動きやすくするには、Sparkの実装だけでなく、クラスタの考え方(並列性、シャッフル、I/O、メモリ)と、パイプライン全体の設計(再実行性、冪等性、リトライ、障害時切り分け)を説明できる状態が望ましいです。Databricksではジョブ/ワークフロー運用や、ワークスペース間連携、テーブル設計(Bronze/Silver/Goldなど)を理解していると立ち上がりが早くなります。

Apache Spark案件を選ぶときのチェックポイント

まず確認したいのは、Sparkで何をする案件かです。ETL中心なのか、DWH/データモデリングまで担うのか、ストリーミング処理まで含むのかで、必要な経験が大きく変わります。特にDatabricks案件では、実装だけでなく運用標準化やルール策定まで求められることがあるため、期待役割をすり合わせるとミスマッチを防げます。

次に、性能改善の比重と責任範囲を確認しましょう。Sparkクラスタのチューニングやクエリ最適化が主戦場の案件もあれば、設計レビューや技術QAが中心の案件もあります。既存ロジックの読み解きや移行が多い場合は、テスト設計や品質担保の進め方、データ品質管理の仕組みの有無も重要な判断材料になります。

最後に、基盤がどのクラウド/サービスで組まれているか、周辺の運用がどこまで整っているかを見ておくと安心です。TerraformやCI/CD、監視、データガバナンス(権限・認可、カタログ、閉域構成など)の前提によって、立ち回りと求められるスキルが変わります。オンサイト要件や関係者調整の濃さも、参画後の負荷に直結します。

Apache Spark案件の将来性・需要

求人票からは、データレイク/レイクハウスの整備や、クラウドDWHと組み合わせた基盤構築が継続的に求められていることが読み取れます。特にDatabricksやGlueを含む運用可能なETL基盤の整備、IcebergやDelta Lakeなどのテーブル形式を前提にした性能と標準化のニーズが強まっています。

また、既存基盤の刷新やクロスクラウド連携、ガバナンス・セキュリティ設計など、データ基盤が「企業の共通基盤」へ広がるほど上流の設計力が重要になります。単にSparkジョブを書けるだけでなく、責務分割、運用設計、ドキュメントレビューまで担える人材の価値が上がりやすい領域です。

生成AIやRAGの文脈でも、学習/検索に耐えるデータ整備や品質管理、アクセス制御が前提になり、結果的にデータ基盤側の負荷は増えやすい傾向があります。Sparkの分散処理スキルを軸に、クラウド・ガバナンス・品質管理へスキルを広げると、中長期で案件選択の幅が広がります。

Apache Spark案件のよくある質問

Apache SparkはPython(PySpark)だけで応募できますか?

PySpark中心の案件は多く、PythonとSQLでデータパイプラインを実装するポジションがよく見られます。一方でScala指定の案件や、既存資産がScalaのため読めることを期待される案件もあるため、応募時は「実装言語」と「既存コードの読解要否」を確認すると確実です。

Databricks経験がないと難しいですか?

Databricks経験が必須の案件もありますが、Sparkの実務経験やETL/モデリング経験があれば、歓迎要件として扱われるケースも見られます。ノートブック運用、ジョブ/ワークフロー運用、Delta Lakeなど、参画後に学ぶ範囲がどこまでかを事前にすり合わせるのがおすすめです。

運用・保守が中心の案件でもSparkスキルは伸びますか?

クラスタ運用や問い合わせ対応が主でも、ジョブの失敗原因調査、性能劣化の切り分け、メンテナンスや増強対応などを通じて、Sparkの実運用スキルは伸びやすいです。開発比率を重視する場合は、改修・最適化の裁量や、改善テーマが定常的にあるかを確認すると判断しやすくなります。

性能改善の経験がない場合、何を準備するとよいですか?

性能改善が主テーマの案件では、実行計画の読み取り、パーティション設計、シャッフルやスキューの理解、ストレージ形式やテーブル設計の影響などが問われやすいです。過去案件での処理遅延の原因究明や、SQLの改善、データ量増加時の工夫を整理しておくと、チューニング実績が少なくても強みとして伝えやすくなります。

インディバースフリーランスであなたにピッタリの
フリーランス案件が見つかる

15万件以上のフリーランス案件から一括検索

エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。

あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。