Apache Sparkの業務委託案件・フリーランス求人一覧｜ページ2

大手通信業者様のデータ情報系システム（大規模DWH）を 段階的にクラウドシフトしている案件です。

大手通信企業向けの大規模データ分析基盤にて、保守開発および新規技術導入を推進するサブリーダーを募集します。 AWSを中心に、インフラ構成の検討・設計からリリースまで一連を担当。CI/CD、Databricks、チャットボット、コンテナ等のPOC的導入・刷新にも関与いただきます。 具体的には、AWS環境でのサーバ構築やシステム開発、EMR/Sparkを用いたデータ分析・抽出、データ集計・手動更新、テストデータ導入、AWS Lambdaによるジョブ実行コントロールなどをお任せします。

データ分析とインサイト抽出：サイバーセキュリティ関連データの詳細な分析を行い、傾向、パターン、異常を特定。可視化やレポートを通じてステークホルダーに共有。 AIモデルの展開と運用：AI/MLモデルを本番環境に展開・監視・保守し、高可用性と高パフォーマンスを確保。 AIインフラ管理：クラウドリソースや専用ハードウェアを含むAI／データインフラの選定、導入、管理。 データパイプラインの構築：大規模なサイバーセキュリティ関連データの取り込み、処理、変換のための堅牢かつスケーラブルなパイプラインを設計・構築・保守。 AIモデルの性能最適化：本番環境でのAI/MLモデルの性能を最適化（ファインチューニング、スケーリング、リソース...

Databricksをベースとした既存データ分析基盤からの即時キャッチアップが求められており、 加えて即時運用開発へ移行いただける方を募集しております。 ＜業務内容＞ ・既存システムのキャッチアップ ・データ分析基盤の保守開発 ＜就業時間＞ 9:00-18:00 ※※こちらの案件は現在募集を終了しております※※

学生向け学習支援サービスにおけるデータ分析基盤の保守開発をご担当いただきます。 既存システムの仕様を迅速にキャッチアップし、Azure関連技術を活用したシステムの保守および開発に従事していただきます。 【具体的には】 ◆既存データ分析基盤の保守・開発業務 ◆既存システムの仕様把握・キャッチアップ ◆Azure Data Factory、Data Lake Storage、Databricks 等の利用 ◆SQL、Python（PySpark）、Apache Sparkを用いた開発

データ分析用途のデータマネジメントシステムをクラウド環境へ移行するプロジェクトです。 【作業体制】 以下いずれかのチームにアサインされます。 1. SASからSASViyaへの移行（データマート設計・開発・テスト） 2. Databricks / Apache Spark / SQL / Pythonを利用した設計・開発・テスト

★【～75万円/フリーランス/Python/Spark】小売/卸売業向けAI系サービス_データ基盤構築/~75万@フルリモート※30~50代活躍中!!【業務内容】 ・某ベンチャー企業にて、在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に 増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、 データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じ...

★【～65万円/フリーランス/AWS/Spark】電力データ活用基盤移行に伴うインフラ基盤設計・構築支援@豊洲（テレワーク併用）※30~50代活躍中!!【業務内容】 電力データ活用基盤移行に伴う基盤設計・構築支援 ・詳細設計書の執筆 ・パラメータシート作成 ・検証環境の構築 ・基盤の構築作業 ・単体/結合試験項目書の作成、テストの実施 ・その他障害対応、技術検証、ベンダー問い合わせ対応など ◆FREE BRAINは エンジニアの方の思いを汲んだ 最高のマッチングを提供します ---------------------------------------------------- ◎小さな組織だから叶う『質の高いコンサルタント』...

★【～85万円/フリーランス】大手CRM戦略の立案・実施・分析/~85万円※30~50代活躍中!!【業務内容】 ・分析基盤整備 └ダッシュボードの作成（KPIツリー、目的別ボード） └ユーザー行動の可視化（推移、利用特性） └分析基盤整備の推進（データ取得の推進、課題点洗い出し） ・分析 └データを用いた仮説検証（機能、UI改善、施策） └ユーザー行動（数値化、可視化、セグメント分類） └効果検証（広告、キャンペーン、メールマガジン等） └得られたデータを元にしたインサイトの提供 20代～40代中心の現場となっております【求める人物像】 【必須条件】 ・過去1年以内に当社への応募履歴のない方 ・業務委託(準委任契約)が可能な方...

★【～75万円/フリーランス】≪Python≫エンドユーザー向けAWS基盤の開発エンジニア/~75万円【業務内容】 既存のAWSデータレイク基盤をベースにした追加開発【求める人物像】 【必須条件】 ・過去1年以内に当社への応募履歴のない方 ・業務委託(準委任契約)が可能な方 ・100％（平日の週5日）稼働が可能な方。 ※副業希望の方はご案内ができかねます。 ・日本語ネイティブな方。（日本語でのコミュニケーション必要不可欠になります。） ・日本在住の方 ・ITスキルを使用した実務経験をお持ちの方 【尚可条件】 ・首都圏にお住まいの方 ・出社ができる方(フル出社尚良し) ※下記の方はご応募いただけません ・現在就業中の方で、退職時...

★【～70万円/フリーランス】≪Python≫新規データマート DWH構築支援/~70万円※30~50代活躍中!!【業務内容】 -新規データマートの要件定義 -ユーザの要望を聞いて、新しいデータマートを作成したり 既存の集計フローを自動化することで効率化を図ります -データマート作成 -既存帳票(Excel,CSV)からSQL作成、BIでの可視化 -データのETL処理やETL処理のためのスクリプト・ システム開発運用改善業務 -データマート日次運用保守業務【求める人物像】 【必須条件】 ・過去1年以内に当社への応募履歴のない方 ・業務委託(準委任契約)が可能な方 ・100％（平日の週5日）稼働が可能な方。 ※副業希望の方はご案...

★【~105万円/フリーランス】≪SQLエンジニア≫顧客ID採番用ロジック・テーブル作成支援※30～50代活躍中!!【業務内容】 ・Azure Databricksを用い、4つの個人情報データを基に顧客IDを採番するロジック・テーブルの作成（保険会社向け） ・基本設計、開発、テスト 【求める人物像】 【必須条件】 ・過去1年以内に当社への応募履歴のない方 ・業務委託(準委任契約)が可能な方 ・100％（平日の週5日）稼働が可能な方。 ※副業希望の方はご案内ができかねます。 ・日本語ネイティブな方。（日本語でのコミュニケーション必要不可欠になります。） ・日本在住の方 ・ITスキルを使用した実務経験をお持ちの方 【尚可条件】 ・...

・全社データ分析基盤のアーキテクチャ設計・構築 ・データレイク / DWH（BigQuery）基盤の設計・運用 ・ETL / ELTパイプラインの設計・開発 ・クロスクラウドデータ連携（OCI → GCP）の設計・実装 ・データモデリング（OBT / mart）の設計 ・Terraformを用いたIaCによるインフラ管理 ・データ基盤に関わるネットワーク・セキュリティ設計（IAM / VPC / データガバナンス） ・AIデータアクセス基盤（MCP / Agent）の構築

人流データおよび消費データを活用した分析基盤構築案件です。ブログウォッチャーから提供される人流データとSMBC消費データをAWS S3へ蓄積し、AthenaおよびGlueを活用した中間加工・ETL処理を実施します。 QuickSightから参照するためのデータセット設計やダッシュボード構築も担当いただきます。データパイプライン設計からデータレイク運用、可視化基盤構築まで一貫して携われるポジションです。 【技術スタック】 ・クラウド：AWS ・データ分析：Athena、QuickSight ・ETL：Glue（PySpark） ・ストレージ：S3 ・SQL：Presto SQL

大手製造メーカー向けに、営業活動の高度化を目的としたデータ活用プロジェクトに参画いただきます。 PMOとしてのプロジェクト運営支援に加え、Databricksを用いたデータ基盤の設計・構築・運用設計までをカバーします。 具体的には、プロジェクト計画策定・進捗/課題/リスク管理、関係各所との調整、要件整理、Databricksワークスペース設計、データパイプライン/ETLの実装方針策定、品質管理とリリース計画の推進をお任せします。 募集背景 営業領域でのデータ活用加速に伴い、データ基盤の再構築とプロジェクト推進力の強化が必要となったため、PMO兼データ基盤リードを増員募集します。

道路マネジメント向けプラットフォームのバックエンド開発およびデータ基盤構築を担当いただきます。 要件が流動的な状況での設計判断、データドリブンなシステム設計、複数ソースのデータ統合・モデリングを推進するフェーズです。 API実装、ETL/データパイプライン構築、大量データ処理の最適化、運用を通じてプロダクトの価値最大化に貢献いただきます。 勤務地は築地のオフィス常駐、期間は2026年5月〜9月末（延長の可能性あり）です。 募集背景 道路関連データの統合活用を加速するため、バックエンドとデータ基盤を強化。要件が変化しやすい初期〜成長フェーズにつき、即戦力となるエンジニアを増員募集します。

AWS上でのApache Icebergを用いたデータ基盤構築案件です。顧客打合せへの参加、基盤設計に関連するQ&A対応、各種設計ドキュメントのレビューを中心にご担当いただきます。 API仕様策定（REST）、システム間連携およびイベント通知、認可まわりの方針策定に加え、Glue/Step Functions等を用いたETLパイプラインの設計・改善、Icebergテーブルのパフォーマンス調整もお任せします。 フルリモートでの参画が可能な長期想定のポジションです。 募集背景 利用者向けデータ提供の拡充に伴い、Icebergを活用したデータ基盤の高性能化・標準化が必要となったため、設計リードおよびレビューを担える即戦力を増員します。

商用車の受注から引き渡しまでの業務を支える営業システムにおいて、データ加工・処理・連携基盤の開発を担当いただきます。 Azure SQL、SQL Server、Azure Functions を中心に、DWH 構築やETL/ELTパイプラインの設計・実装、データ品質担保、運用改善まで一連をご対応いただきます。 一部Pythonを用いたバッチ・スクリプト開発、DatabricksやAzure Data Factoryを活用したデータパイプライン構築も想定しています。 地域特性を反映した要件のため、全国の販売拠点への短期出張（2〜3か月に1回、1〜2日程度）の可能性があります。 募集背景 既存参画者の交代に伴う増員・リプレイス案...

・ データレイク / ETL 基盤の構築 ・ AWS Glue（Apache Spark）による分散処理 ・ ETL 開発 ・ S3 / Lake Formation を用いたデータ管理・セキュリティ設計 ・ BigQuery ベースの DWH 環境整備 ・ AWS → GCP 間データ連携パイプラインの最適化 ・ BigQuery によるデータモデリング・クエリ最適化 ・ IaC を軸としたマルチクラウド管理 ・ Terraform による環境差分管理・自動化 ・ 品質管理・運用効率化 ・ Airflow などのワークフロー管理と CI/CD 整備 ・ データ品質テストの自動化

金融機関向けのAIデータ基盤整備プロジェクトに参画いただきます。 Databricksを用いたデータパイプライン（ETL）の設計・実装、AIエージェントやRAGの適用を見据えたAI処理の組み込み、ワークスペース間のデータ連携設計、社内データの構造化整備を担当します。 あわせて、パイプラインの汎用化・標準化やコーディングルールの策定、定例会での進捗・課題報告もお任せします。 元請け経由の案件で、丸の内エリアに原則常駐（リモートは一部相談可）となります。 募集背景 AI活用を見据えたデータ基盤整備とパイプライン標準化を短期間で推進するための増員募集です。

大手インターネット企業におけるMLエンジニアを募集しています。 ＜業務内容＞ ・全社データ分析基盤のアーキテクチャ設計・構築 ・データレイク / DWH（BigQuery）基盤の設計・運用 ・ETL / ELTパイプラインの設計・開発 ・クロスクラウドデータ連携（OCI → GCP）の設計・実装 ・データモデリング（OBT / mart）の設計 ・Terraformを用いたIaCによるインフラ管理 ・データ基盤に関わるネットワーク・セキュリティ設計（IAM / VPC / データガバナンス） ・AIデータアクセス基盤（MCP / Agent）の構築" ＜環境＞ -Cloud Google Cloud（...

【20代、30代が活躍中！】 ※週5日〜OKの案件です！ ※実務経験1年以上お持ちの方が対象の案件です！ ▼概要 大手インターネット企業におけるLLMOps / MLエンジニア 【業務概要】 ・Langfuseを用いたLLMトレース・評価基盤の設計 ・自動評価 / 人手評価の設計および運用 ・ログデータ分析による品質課題の特定 ・プロンプト / モデル改善提案と検証 ・改善サイクルの仕組み化（再現可能な運用設計） ・コスト・トークン最適化設計 ◆主な開発環境・ツール -Cloud Google Cloud（BigQuery / GCS / STS / VPC-SC / IAM） Oracle Cloud（Exadata ...

・大手リース会社の根幹を支える情報系システムにおいて、現行のバッチ処理における性能課題を打破する極めて重要なミッションです。 具体的には、Databricksへの移行を通じて、膨大なデータの高速処理を実現していただきます。 現行のSQLロジックを深く読み解き、最適なアーキテクチャへの再設計（基本、詳細設計）から、テストツールを駆使した品質担保、さらにはジョブ性能のチューニングまで、エンジニアとしての技術的好奇心を刺激する一気通貫の業務内容です。 ・データ基盤の近代化という、クライアントのビジネススピードを加速させるやりがいの大きなプロジェクトに、あなたのスキルを最大限に活かしてみませんか。 ※リモートワーク可

・Langfuseを用いたLLMトレース・評価基盤の設計 ・自動評価 / 人手評価の設計および運用 ・ログデータ分析による品質課題の特定 ・プロンプト / モデル改善提案と検証 ・改善サイクルの仕組み化（再現可能な運用設計） ・コスト・トークン最適化設計

【20代、30代が活躍中！】 ※週5日〜OKの案件です！ ※実務経験1年以上お持ちの方が対象の案件です！ ▼概要 大手インターネット企業におけるLLMOps / MLエンジニア ・Langfuseを用いたLLMトレース・評価基盤の設計 ・自動評価 / 人手評価の設計および運用 ・ログデータ分析による品質課題の特定 ・プロンプト / モデル改善提案と検証 ・改善サイクルの仕組み化（再現可能な運用設計） ・コスト・トークン最適化設計 ◆主な開発環境・ツール - Cloud Google Cloud（BigQuery / GCS / STS / VPC-SC / IAM） Oracle Cloud（Exadata / Data...

インターネット事業を主軸に展開している東証プライム上場企業にて、データエンジニアとして参画。全社データ分析基盤のアーキテクチャ設計・構築。データレイク / DWH基盤の設計・運用。ETL / ELTパイプラインの設計・開発。クロスクラウドデータ連携の設計・実装。データモデリングの設計。Terraformを用いたIaCによるインフラ管理。データ基盤に関わるネットワーク・セキュリティ設計。AIデータアクセス基盤の構築。

大手インターネット企業にて、全社データ分析基盤のアーキテクチャ設計および構築をMLエンジニアとして担当していただきます。 主な業務は、数千万〜数億レコード規模の大規模データを扱うデータレイクやDWH（BigQuery）の設計・運用です。 具体的には、OCIからGCPへのクロスクラウドデータ連携の実装や、ETL/ELTパイプラインの開発、Terraformを用いたIaCによるインフラ管理を担っていただきます。 また、AIデータアクセス基盤（MCP/Agent）の構築や、データガバナンス・セキュリティ設計（IAM/VPC）など、最先端のデータ基盤構築に幅広く携わることができる環境です。

在庫管理等の分散処理システムをHadoop on Sparkで組んでおり DMCから逆輸入による導入を実施。 【特徴】 ・SIer内hadoopスペシャリストに相談可能。 ・オフショアメンバー（中国）側と連携して進める。 公開_備考：-

【業務内容】 ●担当領域 SaaS/キャリアプラットフォームで用いるLLM/AIエージェントシステムの開発 ●担当役割 LLM/AIエージェントの開発、LLM関連APIの開発、Vector DBの整備 ●担当業務（必須） ・LLMを用いたエージェントの構築 ・RAGにおけるRetrieverの実装 ・LLMOpsの整備 ・CI/CDの構築とエージェントのデプロイ ・エージェントを用いたAPIの実装 ・開発したエージェントのAPI化 ●担当業務（スキルベースでご相談） ・LLM/AIエージェントの開発・デプロイ ・LLM/AIエージェントの運用基盤構築および運用 ・RAGのためのデータ基盤・データベースの整備 ・エージェン...

【企業概要】 ・主に証券・金融業界向けに基幹システムや情報系システムを開発してきました。 近年では証券・金融業界に加え、中堅・中小企業へのDX促進サポートに注力しています。 【案件内容】 情報系システムの刷新に関するプロジェクトで、データ連携バッチを中心に更新作業を進めます。主にDataStage、SPARK、インフォマティカ、Python、JP1を使用し、すべてがAWS上で展開されます。 【業務内容】 ・情報系システムのデータ連携バッチの刷新 ・DataStageやインフォマティカの活用によるデータ管理 ・PythonやSPARKを用いたデータ処理の最適化 ・AWSを活用したクラウド環境でのシステム構築と運用 ・JP1を...

新規プロダクトの開発となります。 ・フロントエンドからサーバーサイド、バッチの開発とフルスタックに１つの機能の開発を行っていただきます。 ・仕様の確認、実装方針検討、設計、実装、テスト、コードレビューと、開発の工程を一通り担当していただくため、要件定義から仕様検討まで詳細設計からコーディングまでといった限られた役割ではなく、裁量大きく開発をしたい方、能動的に開発を推し進めて頂ける方を求めています。 【業務内容】 ・大規模な新規機能追加 ・パフォーマンスチューニング などの難易度の高い開発業務 ・基盤：AWS ・言語：Ruby on Rails ・主要データベース：MySQL 公開_備考：※月額報酬額は「最大稼働可能日数」で換...

■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airflowを利用したデータパイプラインの開発運用 効率的なデータ活用を推進するための中間テーブル設計 公開_備考：※月額報酬額は「最大稼働可能日数」で換算した際の金額です

今回は自社開発中のデータ統合プラットフォームのサーバーサイドエンジニアを募集します。 - k8s on GCPを使ったデータパイプライン基盤/API開発 - Spark on k8s を使ったパイプライン内のサーバーレスコンピューティング基盤開発 - Data Prep-Model Scoring までをサーバーレスで一気通貫で提供するML基盤開発 公開_備考：※月額報酬額は”最大稼働可能日数”で換算した際の金額です。

【概要】 クライアント内のデータレイク・DWH管理するDWHチームの募集になります。 アダルトコンテンツ：有 【主な作業内容】 1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) 【求める人物像】 ・根気よく問題と向き合い解決まで取り組んでいただける方 ・課題を俯瞰的に捉え、似た課題を効率的に解決するような創意工夫が行える方 【開発環境】 [言語] Python, Hive, Spark [AWS] EMR, Glu...

大手インターネット企業の全社横断的なデータ分析基盤、およびAIデータアクセス基盤をゼロベースから設計・構築していただきます。 クロスクラウド環境でのデータ基盤構築から、最新のMCP/Agentを用いたAI連携まで、モダンなデータエンジニアリングの最前線に立つワクワクするプロジェクトです。 ・全社データ分析基盤のアーキテクチャ設計・構築 ・データレイク / DWH（BigQuery）基盤の設計・運用 ・ETL / ELTパイプラインの設計・開発 ・クロスクラウドデータ連携（OCI → GCP）の設計・実装 ・データモデリング（OBT / mart）の設計 ・Terraformを用いたIaCによるインフラ管理 ・デ...

大手インターネット企業の社内において、生成AI・機械学習を活用した業務改善およびビジネス価値創出を推進いただくポジションです。 不正決済検知（ML）、ユーザースコアリング（ML）、業務効率化プロセス（生成AI）などの類似テーマの知見を活かし、以下のフェーズを一気通貫で担当いただきます。 1) 企画：目的・課題の明確化、実現可能性の検討、ROIの試算 2) 開発：システム/モデル設計、モデル構築、オフライン/オンライン評価とビジネスインパクト検証 3) 運用：業務への導入、保守運用、継続的改善 ビジネス視点でのAI利活用を上流から担える希少な案件です。エンド側プロパーも参画しているため、すべての領域の第一人者である必要はあり...

自動車会社およびコールセンター向けSNSに投稿される顧客評価テキストデータを対象に、生成AIを用いて分類および要約を行うデータ分析システムの構築プロジェクトです。 本案件ではPoC段階ではなく、本番稼働に向けたシステム構築フェーズに参画いただきます。分析精度を維持しながら処理性能を高め、生成AIの利用コスト削減を実現するための処理ロジックの設計および実装を担当します。 主な業務は、データ分析システムのバッチ処理設計、Pythonを用いたデータ処理ロジックの開発、処理パフォーマンスの改善、生成AI呼び出し処理の最適化などです。 テキストデータの分析処理を効率的に実行するためのアーキテクチャ設計や、生成AIを活用した業務シス...

企業のマーケティングDXや事業変革をデータ活用で支援するコンサルティングファームにて、データ基盤（DWH・ETL・データレイク）の設計・構築を担当いただきます。 東証プライム上場企業を中心とした大手クライアントに対し、データドリブン経営の核となる基盤づくりをリードするポジションです。 具体的には、Snowflake、BigQuery、Databricksといった最新のクラウドDWHの導入支援や、Python/SQLを用いた効率的なデータパイプライン（ETL/ELT）の設計・実装に携わっていただきます。 また、ストリーミングデータ処理やデータガバナンス設計など、大規模かつ複雑なデータ環境において最適なアーキテクチャを提案・構築...

データレイク / ETL基盤の整備として、AWS Glue（Apache Spark）を用いた分散処理およびETL開発、S3やLake Formationを活用したデータガバナンスおよびセキュリティ設計を行います。

エンド直案件にて、九段下常駐でデータレイク/ETL基盤の設計・構築・運用を担当いただきます。 主な業務は以下の通りです。 ・データレイクおよびETL基盤の構築 ・AWS Glue（Apache Spark/PySpark）による分散処理とETL開発 ・S3/Lake Formation を利用したデータ管理とセキュリティ設計 ・BigQuery を中心としたDWH環境の整備、データモデリング、クエリ最適化 ・AWS→GCP 間のデータ連携パイプライン最適化 ・Terraform を活用したIaCによるマルチクラウドの構成管理/自動化 ・Airflow/MWAA 等のワークフロー管理とCI/CD基盤整備 ・データ品質テストの自動...