Apache Spark × データエンジニアの業務委託案件・フリーランス求人一覧
【Python/Databricks】金融機関向けDWH開発支援
金融機関における新データベース構築プロジェクトにおいて、 データ統合（ETL）処理にDatabricksを活用します。 PythonとDatabricksを用いた以下の業務をご担当いただきます。 ・新規データを取り込むジョブの追加開発およびテスト（既存処理を流用予定） ・既存データパイプライ...
・Pythonを用いた業務開発経験2年以上 ・SQLを用いた業務開発経験2年以上 ・システム開発における設計、開発、テストの実務経験3年以上
データエンジニア（AWS × GCP）
・ データレイク / ETL 基盤の構築 ・ AWS Glue（Apache Spark）による分散処理 ・ ETL 開発 ・ S3 / Lake Formation を用いたデータ管理・セキュリティ設計 ・ BigQuery ベースの DWH 環境整備 ・ AWS → GCP 間データ連携パ...
・ AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） ・ GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） ・ BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） ・ AWS Glue（PySpa...
【PMO/Databricks】大手メーカー向け営業高度化支援
大手製造メーカー向けに、営業活動の高度化を目的としたデータ活用プロジェクトに参画いただきます。 PMOとしてのプロジェクト運営支援に加え、Databricksを用いたデータ基盤の設計・構築・運用設計までをカバーします。 具体的には、プロジェクト計画策定・進捗/課題/リスク管理、関係各所との調整...
・PMOとしての実務経験（進捗/課題/リスク/品質/変更管理、会議体運営、ステークホルダー調整） ・Databricksの実務経験（ワークスペース設計、データパイプライン構築、ノートブック運用 等）
【Python/Java/Node.js】道路マネジメントプラットフォーム開発エンジニア（バックエンド／データ基盤）
道路マネジメント向けプラットフォームのバックエンド開発およびデータ基盤構築を担当いただきます。 要件が流動的な状況での設計判断、データドリブンなシステム設計、複数ソースのデータ統合・モデリングを推進するフェーズです。 API実装、ETL/データパイプライン構築、大量データ処理の最適化、運用を通...
・Python / Java / Node.js のいずれかでの開発実務経験 ・REST API の設計・実装経験 ・SQL および RDB を用いた開発・運用経験 ・Git を用いたチーム開発の経験 ・ETL／データパイプラインの設計・構築経験 ・大規模データの処理・最適化に関する実務経験
【AWS/Apache Iceberg/フルリモート】AWS+Iceberg基盤の構築（API設計/ETL）
AWS上でのApache Icebergを用いたデータ基盤構築案件です。顧客打合せへの参加、基盤設計に関連するQ&A対応、各種設計ドキュメントのレビューを中心にご担当いただきます。 API仕様策定（REST）、システム間連携およびイベント通知、認可まわりの方針策定に加え、Glue/Step F...
・REST API設計、システム間連携設計、イベント通知設計、認可設計など、利用者向けサービス仕様策定の実務経験 ・利用者視点でI/Fの使いやすさや責務分割を評価できる、一般的なバックエンド開発の知見 ・AWS Glue / Step Functions などを活用したETLパイプライン構築の...
【SQL/Python/Azure（Databricks・Data Factory）】商用車営業システム向けデータ基盤開発/リモート併用
商用車の受注から引き渡しまでの業務を支える営業システムにおいて、データ加工・処理・連携基盤の開発を担当いただきます。 Azure SQL、SQL Server、Azure Functions を中心に、DWH 構築やETL/ELTパイプラインの設計・実装、データ品質担保、運用改善まで一連をご対...
・SQLの実務経験（Stored Procedure作成、CROSS APPLY等を用いた高度なクエリ最適化が可能な方） ・Pythonによる開発経験（バッチ/データ処理スクリプト等） ・DWH/データ基盤の設計・実装経験 ・データ加工/集計/可視化に関する実務経験 ・Azure環境での開発/...
【Databricks/Azure/常駐可】金融機関向けAIデータ基盤整備（Databricksエンジニア）
金融機関向けのAIデータ基盤整備プロジェクトに参画いただきます。 Databricksを用いたデータパイプライン（ETL）の設計・実装、AIエージェントやRAGの適用を見据えたAI処理の組み込み、ワークスペース間のデータ連携設計、社内データの構造化整備を担当します。 あわせて、パイプラインの汎...
・Databricksを用いたデータパイプライン（ETL）の設計・実装経験 ・Azure上での開発実務経験 ・Pythonによるデータ処理／ETL実装スキル ・データモデリング／DB設計の知見 ・Gitを用いたチーム開発経験 ・関係者との円滑なコミュニケーション（要件整理／報告・連絡・相談）
【Databricks/常駐】Databricksによるデータ統合・分析基盤構築支援
受託案件において、Databricksを活用したデータ統合および分析業務の基盤構築を支援いただきます。 具体的には、各種データソースの取り込み・クレンジング・変換処理の設計/実装、Delta Lake を前提としたデータモデリング、ノートブック/ジョブの実装・スケジューリング、分析用データマー...
・Databricks を用いたデータ統合（ETL/ELT）実務経験 ・Databricks を用いた分析基盤の構築または分析ワークロードの実務経験 ・チームでの開発/運用を想定したノートブック/ジョブ設計の経験
【Databricks/常駐】Databricks構築作業支援（データ統合・分析基盤）
受託案件において、Databricksを活用したデータ統合および分析基盤の構築支援を行います。 - 各種データソースの取り込み・前処理・変換（ETL/ELT）の設計と実装 - ノートブック/ジョブ/ワークフローの構築、運用設計 - データクオリティ/スキーマ管理、パフォーマンス最適化 - 分析...
必須スキル: - Databricksを用いたデータ統合（ETL/ELT）の実務経験 - Databricksを用いた分析・データマート構築の実務経験 - ノートブック/ジョブ/ワークフロー設計・実装経験 - 日本語での円滑なコミュニケーション（要ネイティブレベル）
【フルリモート／週5／Python】ペタバイト級のデータ基盤を構築し事業成長を牽引する次世代データエンジニア
【フルリモート／週5／Python】ペタバイト級のデータ基盤を構築し事業成長を牽引する次世代データエンジニア ### お任せしたいこと ［役割］データエンジニアとして、グローバルで展開する複数プロダクトから日々生成される数十億件（ペタバイト級）のトラッキングデータやトランザクションデータを統...
【AWS/Python/SQL/PySpark/一部リモート可】データレイク基盤構築向け技術検証ポジション
CDP基盤の立ち上げに向け、AWS上での技術調査・PoCを担当いただきます。 - S3上のデータを前提としたクレンジング、名寄せ、マスキング方式の検討 - データレイク用S3への最適なデータ配置・パーティション設計やフォーマット（例：Parquet、Iceberg等）の検討 - Redshif...
以下のご経験が必須です。 - AWSの実務経験（特にS3を用いたデータ取り扱い） - Pythonでのデータ処理実務経験 - SQLによる集計・分析・最適化の経験 - PySparkを用いた分散データ処理の経験
【Python/Java/Node.js】道路マネジメントプラットフォーム開発エンジニア（バックエンド／データ基盤）
道路マネジメント向けのプラットフォーム開発において、バックエンド機能およびデータ基盤の構築を担当いただきます。 REST APIの設計・実装、ETL/データパイプライン設計、大規模データの処理、異種データの統合・モデリングをお任せします。 インフラや防災領域に関わるデータ活用プロジェクトで、要...
・Python／Java／Node.js のいずれかでの開発経験 ・REST APIの設計・開発経験 ・SQLおよびRDBの実務経験 ・Gitを用いたチーム開発経験 ・ETL／データパイプラインの設計経験 ・大規模データ処理の実務経験
【フルリモート／週5／Python】ペタバイト級のビッグデータを統合するモダンデータスタック（データ基盤）のデータエンジニア
【フルリモート／週5／Python】ペタバイト級のビッグデータを統合するモダンデータスタック（データ基盤）のデータエンジニア ### お任せしたいこと ［役割］データエンジニアとして、社内外のあらゆるシステムから生成される数千億レコードのログデータやトランザクションデータを収集・統合し、分析...
【Scala】大手広告系企業向けツール開発案件
広告配信企業向けのデータ処理・分析基盤や自社DSPの開発、保守運用を担当していただきます。 新規機能追加や既存機能の改修が主な作業です。
Scala, MySQL, Apache Spark - Scalaを使用した開発経験 - 分散処理フレームワーク（Hadoop, Spark等）を用いたデータ処理の実務経験 - MySQL, OracleなどのRDBMSに対する設計- 構築- 運用経験
【Scala】動画広告の配信ログの処理システム開発案件
動画広告の配信ログの処理システムの開発を担当していただきます。 ログデータの集計や解析のためのバッチ処理の開発や、リアルタイムでのログの収集・解析のための開発をお任せします。
Scala, MySQL, Apache Spark - Scalaを使用した開発経験 - 分散処理フレームワークであるApache Sparkの使用経験
【Scala】分析システム開発案件
大規模なデータ分析システムの開発を行います。 データの収集から前処理、機械学習モデルの構築や予測モデルの実装など、幅広いタスクを担当していただきます。
Scala, MySQL - Scalaによる開発経験 - データ処理に関する実務経験 - SQLを用いたデータ加工- 集計の経験
【SQL】ビッグデータ分析に伴うデータ抽出案件
大量のデータを分析するため、特定の条件を満たすデータを抽出する業務を担当いただきます。 ビッグデータプラットフォーム上のデータを対象とし、適切なクエリを作成し、抽出されたデータを報告書やダッシュボード等に反映させます。
Python, R言語, SQL, Hadoop, Apache Spark - SQLによるデータ抽出- 加工の経験 - ビッグデータプラットフォームの基礎知識（HadoopやSparkなど） - データ分析ツールの基礎知識（PythonやRなど）
【Python】toC向けサービスのデータ分析基盤構築案件
toC向けサービスのデータ分析基盤構築案件です。 業務内容は、GCP環境でのデータ分析基盤の構築、データパイプラインの設計、DWHの活用、SQLを使用したデータ抽出や加工などです。複数ポジションがあるため、スキルや経歴に合わせて決定します。
Python - Pythonを使用した開発経験 - データ分析基盤の構築経験
【DBエンジニア（SQL全般）】データエンジニア
■概要 AWSを使用したビッグデータ解析や分散処理基盤の開発を担当します。ビジネスサイドの要望を踏まえ、最適なアーキテクチャを設計し、運用フローの自動化なども提案・実装します。 ■具体的な業務内容 ・AWSを使用したビッグデータ解析および基盤設計 ・運用フローの自動化提案および実装 ...
・データ処理基盤の設計/構築、または運用経験（1年以上） ・AWS もしくは GCPを利用したサービスの構築経験（1年以上） ・SQL による簡単なデータ分析の経験
【生成AI/機械学習/一部リモート】大手ネット企業内の業務改善推進（企画〜開発〜運用）
大手インターネット企業の社内において、生成AI・機械学習を活用した業務改善およびビジネス価値創出を推進いただくポジションです。 不正決済検知（ML）、ユーザースコアリング（ML）、業務効率化プロセス（生成AI）などの類似テーマの知見を活かし、以下のフェーズを一気通貫で担当いただきます。 1)...
・機械学習/統計モデリングの実務経験（分類/回帰、特徴量設計、評価指標の設計など） ・生成AIの活用経験（プロンプト設計、RAG、もしくはLLM API/OSSの実装活用いずれか） ・要件定義～運用までの一連の開発プロセスにおける実務経験 ・ビジネス課題の整理およびROIを意識した施策立案・検...
インディバースフリーランスであなたにピッタリの
フリーランス案件が見つかる
110件以上のフリーランス案件から一括検索
エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。
あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。