この案件では、移動体に関する地理空間データの評価と比較を行い、データ調達を支援します。 具体的には、位置情報データ処理ソリューションの設計から開発までを担当していただきます。 スケーラブルなデータパイプラインやETL基盤の構築に携わり、機械学習モデルを活用した予測分析にも貢献していただきます。
以下に挙げるスキルと経験が必須となります。 ・データエンジニアとしての5年以上の実務経験 ・要件定義からの一連の開発工程経験 ・大規模データ処理に関する豊富な経験 ・データパイプラインおよびETL基盤の構築経験 ・AWS環境での開発経験 ・Apache Sparkなどのビッグデータフレームワークの活用経験 ・Python、Java、SQLを用いた開発経験 ・Linux/Bashの知識、データベースおよびサーバーサイドの設計実装能力
現行ETL基盤（IBM Datastage）からDatabricks（Lakehouse基盤）への移行パイロット検証に参画。 移行可否・移行方式・ツールの有効性を検証。 ・Datastage既存ジョブの構造・処理内容の確認 ・マイグレーションツールを用いたDatabricksへの変換 ・変換結果の動作検証（PySpark／SQL／Workflow等） ・DatastageとDatabricksの処理結果比較（データ品質・性能等） ・ツールで変換できない部分の手動移行検証 ・検証結果の整理（課題・改善点・移行可否判断材料の作成） ・パイロット結果を踏まえた移行方式の提案・フィードバック
・ETL開発の経験（Datastage等） ・Databricks（ノートブック・Workflow・Delta Lake）の利用経験 ・Spark／PySpark／SQLを用いたデータ処理経験 ・データパイプラインの設計・実装経験 ・新技術の検証やPoCに対応できる方
▍環境面：リモート併用相談可！ ▍インボイス未登録の方OKです！ Java移行開発支援業務にて Java,OCIの経験者を募集しています！ ◆想定作業◆ ・レガシー刷新向けPoC対応 ・RFP回答資料の作成支援 ・共通基盤機能の設計開発 ・ミドルウェア環境構築対応 ・開発後の各種テスト実施 ～～～～～～～～～～～～～～～～～～～～ 他お任せしたいPJは複数ありますので、 ご希望のご条件、内容をお聞かせください！
◎必要スキル・経験◎ ・Spring batchを用いた開発のご経験 ・Apache Sparkを用いた開発のご経験 ・WebLogic環境構築のご経験 ・JP1またはZabbix利用のご経験 ・環境構築から開発テストまで自走経験のある方 ◎尚可・歓迎◎ オンサイト作業が可能な方！ _ _ ―――――――――――――――――――― ◎給与・報酬◎ 800,000円 ～ 900,000円（税込） あくまでも目安ですのでご相談下さい！ _ ――――――――――――――――――――
Hadoopに関する運用業務（ユーザサポート・定常業務・メンテナンス）の支援、プロダクト保守/運用業務、利用者からの問い合わせ対応（Trino/Sparkジョブ、クラスタ自体に関する質問等）、定常的なクラスタ運用業務（定期メンテナンスや増強、利用者要望への対応など）の対応。
・HadoopまたはSparkの運用業務経験 ・インフラ支援業務経験 ・コミュニケーション力
Hadoopに関する運用業務（ユーザサポート・定常業務・メンテナンス）の支援、プロダクト保守/運用業務、利用者からの問い合わせ対応（Trino/Sparkジョブ、クラスタ自体に関する質問等）、定常的なクラスタ運用業務（定期メンテナンスや増強、利用者要望への対応など）の対応。
・HadoopまたはSparkの運用業務経験 ・インフラ支援業務経験 ・コミュニケーション力
〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓 【案件名】 大規模データレイクの保守・運用業務支援 【案件概要】 Hadoopを中心としたデータレイク基盤における運用・保守支援案件。 ユーザサポート、定常運用、クラスタメンテナンスなどを担当。 【業務内容】 ・Hadoopに関する運用業務（ユーザサポート、定常業務、メンテナンス） ・プロダクト保守／運用業務 ・利用者からの問い合わせ対応 （Trino／Sparkジョブ、クラスタ関連の問い合わせ対応） ・定常的なクラスタ運用業務（メンテナンス、増強、利用者要望対応） 【勤務地】 紀尾井町（フルリモ検討可能） 【勤務時間】 10:00～19:00 【勤務開始】 2026年4月2...
フルリモート検討可
Pythonの実務経験（Pythonの実装が決まった為） Sparkのクラスタ構成を構築した経験 Sparkを利用したシステム開発経験 要件や仕様など顧客折衝を行う立場でのプロジェクト参画経験
・新規データマートの要件定義 ・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化 ・データマート作成 ・既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・ システム開発運用改善業務 ・データマート日次運用保守業務
・Python(Pandas)でのデータ分析,アプリケーション開発経験 ・SQL(Windows関数やUNION,副問合せを流ちょうに扱える方) ・AWS分析基盤開発経験 (Glue,Athena,QuickSightの経験,他のAWSサービスにも詳しい方歓迎) ・要件定義経験 ・データマート分析基盤の構築,運用経験 (Spark,Prestoなどの使用経験歓迎) ・ETL処理の開発,利用経験
モバイルゲーム及びコンシューマーゲーム開発におけるエフェクト制作業務。 【想定業務】 ・ゲーム開発におけるエフェクト制作業務 ・エフェクト表現の検証、作業効率化の為のツール支援業務 ・エフェクトに関するクオリティ管理、監修業務
・ゲームエンジンやDCCツールを使用したエフェクト制作の実務経験 ・下記ゲームエンジン、ツールを使用したエフェクト制作経験をお持ちの方 （Unity、UnrealEngine、Houdini、Maya、SPARK GEAR など）
■案件名：金融機関向けDWH開発業務支援 ■期間：4月～6月（延長可能性あり） ■場所：千代田区周辺 ■作業形態：常駐 ■内容： 新データベース構築に伴う ETL 開発（Databricks・Python） 新規データ取り込みジョブの追加開発・テスト（取り込み処理は既存流用） 既存パイプラインの保守・運用 ■単価：70～75万円程度（140-180） ■面談：1回 ■人数：1名
■必須スキル： ・Python基本設計からの経験2年以上 ・SQL業務経験 2年以上 ・コミュニケーション能力 ■尚可スキル： ・Databricks 経験 ・Apache Spark（PySpark）経験 ・Google BigQuery 経験（簡単なクエリレベル）
セキュリティ機能の開発
・Java開発経験、Linux運用経験 ・Spring,Kubernetes,Docker,Apache spark,envoy,スクラム開発
大規模データ処理プラットフォームの開発案件です。 主に、データ分析基盤の開発をご担当いただきます。 ご興味のある方はお気軽にお問い合わせ下さい。
Scala - Scalaを使用した開発経験 - HadoopやSparkなどの大規模データ処理プラットフォームの使用経験
広告配信企業向けのデータ処理・分析基盤や自社DSPの開発、保守運用を担当していただきます。 新規機能追加や既存機能の改修が主な作業です。
Scala, MySQL, Apache Spark - Scalaを使用した開発経験 - 分散処理フレームワーク（Hadoop, Spark等）を用いたデータ処理の実務経験 - MySQL, OracleなどのRDBMSに対する設計- 構築- 運用経験
動画広告の配信ログの処理システムの開発を担当していただきます。 ログデータの集計や解析のためのバッチ処理の開発や、リアルタイムでのログの収集・解析のための開発をお任せします。
Scala, MySQL, Apache Spark - Scalaを使用した開発経験 - 分散処理フレームワークであるApache Sparkの使用経験
教育分野に特化した動画配信サービスの開発を担当していただきます。 新規機能の開発や既存機能の改善、品質向上などをお任せします。
Scala, MySQL, Apache Spark - Scalaを使用した開発経験 - RESTful APIの設計- 実装の経験 - SQLを使用したデータベース設計- 開発の経験
マーケティングデータ分析基盤の開発を担当していただきます。 ビッグデータ分析技術や機械学習技術を駆使し、最適な解析環境の構築を目指します。
Scala, MySQL, Apache Spark - Scalaを使用した開発経験 - 分散処理フレームワークの使用経験（Apache Sparkなど） - RDBMSの使用経験
広告プラットフォームの開発・運用をご担当いただきます。 具体的な業務内容はデータ処理フレームワークおよびテクノロジを使用した大規模なバッチおよびリアルタイムのデータ・パイプラインの構築・保守・運用 、適切なアーキテクチャ選定、および開発・運用プロセスを推進するためのエンジニアリングチーム（または、プロジェクトチーム）のリード、実装における技術選定（アーキテクチャと開発プロセス）および本番システムの品質担保（運用・保守）です。
Java8 以上, Perl, Hadoop, Apache Spark, AWS, GCP - Hadoop、Spark、Kafka、Hiveを使用した開発経験 - データパイプラインの機能- 非機能要件の策定、設計、構築、並びに運用経験 - 後述言語を使用した5年以上のソフトウェア開発経験 （Java、 Python、 Go、 Bash、 Perl etc） - 5年以上のソフトウェア開発経験及び要件定義、仕様策定、実装、テスト、リリース、保守運用まで一貫した開発経験 - データベース設計とパフォーマンスチューニングの経験 - GCPを使用した開発経験がある方（その他クラウドAWSなど検討可） - 英語の読み書きができる方...
以下、概要になります ・フルリモート可能です ・Databricksを用いたデータ基盤の開発において、設計から製造・テストまで一連の工程を担当するポジション ・役割：開発メンバー ・フェーズ：要件定義～テスト ・主な業務：データ基盤の設計・開発・テスト、一部要件定義など
データエンジニア ・Databricksでの開発経験 ・AWSやデータ分析関連案件の参画経験 ・Apache Spark（Java／Python）の経験、またはAmazon EMRの利用経験
＜＜スマホゲームを中心に、「ゲームで世界に感動を創り出す」企業！！＞＞ ゲーム開発におけるエフェクトデザイナー業務をお任せします。 ■□具体的には…□■ ・バトルキャラクター、モンスターのエフェクトデザイン制作 ・シナリオキャラクターのエフェクトデザインの制作 ・エフェクト演出制作 ・組み込み、実装 ・使用ツール ∟SPARK GEAR／Unity／Photoshop／Maya ＜こんな方におすすめです！＞ ・デザインスキルを活かしたい方 ・新しい技術や表現に挑戦したい方
・SPARK GEARを使用した実務経験 ・エフェクト制作経験 ・3Dモデル／モーション制作経験 ・Unityを使用した組み込み経験 ・制作レギュレーションの策定経験 ・勤務地まで通勤可能な方
＜＜スマホゲームを中心に、「ゲームで世界に感動を創り出す」企業！！＞＞ ゲーム開発におけるエフェクトデザイナー業務をお任せします。 ■□具体的には…□■ ・バトルキャラクター、モンスターのエフェクトデザイン制作 ・シナリオキャラクターのエフェクトデザインの制作 ・エフェクト演出制作 ・組み込み、実装 ・使用ツール ∟SPARK GEAR／Unity／Photoshop／Maya ＜こんな方におすすめです！＞ ・デザインスキルを活かしたい方 ・新しい技術や表現に挑戦したい方
・SPARK GEARを使用した実務経験 ・エフェクト制作経験 ・3Dモデル／モーション制作経験 ・Unityを使用した組み込み経験 ・制作レギュレーションの策定経験 ・勤務地まで通勤可能な方
■ 案件名：LCR一元化対応 ■内容： バーゼル流動性カバレッジ比率規制（LCR）に対応するシステム 某金融機関にて、グループ内システムの統合プロジェクト 詳細設計以降のフェーズを担当。 ■ 期 間：3月～長期 ■ 場 所：長崎（常駐） ■ 人 数：5名 ■ 単 金：60-65万 ■ 時間幅：140-180 ■ 精 算：有（上下割） ■ 面 談：1回
▼必須スキル: ・JAVA開発で、詳細設計フェーズからの経験 ・SQL（ORACLE）の使用経験 ・LINUXの操作が可能（開発での使用程度でOK） ・外国籍の場合、ネイティブに近いコミュニケーションが取れる ▼尚可スキル： ・PythonおよびSparkの知識
トラック製造販売メーカー向けに、商用車の輸送状況をリアルタイム可視化する業務アプリのパフォーマンス改善を担当いただきます。 膨大な車載GPSログの解析で発生している処理遅延を解消するため、Databricks（PySpark/Scala）を中心にデータ処理基盤の抜本的なチューニングおよび改善実装を実施します。 主な作業内容: ・Databricks（PySpark, Scala）環境のパフォーマンス最適化 ・大規模データ処理の実装/改修（数億行規模） ・Azure上のデータ基盤のボトルネック解析と改善 ・保守、構成管理、リファクタリング 稼働形態は新川崎駅近辺にて初月は週3出社、その後は週1出社を想定（状況により変更の可能...
必須スキル: ・Databricksでの実装経験（PySpark, Scala） ・コード/ジョブのチューニング経験 ・Sparkクラスタの構造・処理方式・最適化手法に関する知見 ・大規模データ処理の実務経験（Hadoop/Sparkで数億行規模のデータ取り扱い）
保険会社向けデータサービス基盤構築にご参画していただきます。\nAWSを活用したデータサービス基盤の構築の案件となります。\nGlue・Lambda（Python、Spark）を用いてのデータ連携処理の構築をご実施していただきます。
・AWS・Glueの構築の経験 ・Python、Sparkを用いての開発の経験
以下、概要になります ・フルリモート可能です ・Databricksを用いたデータ解析システムの構築支援 ・役割：データ基盤開発担当 ・フェーズ：設計～テスト ・主な業務：データパイプライン設計・構築、データ処理実装、テストコード作成、ドキュメント整備など
データエンジニア ・SQL、Python、Spark（その他Hadoop、Apache Kafka、Mesos等の分散処理基盤構築）によるデータ処理経験 ・データパイプライン構築・運用経験 ・Git等のバージョン管理システムの使用経験 ・テスティングフレームワークを用いたユニットテストの経験（テストコード作成を含む） ・要件定義、基本設計、詳細設計、テスト設計の経験 ・プロジェクト関係者とコミュニケーションが取れるレベルのドキュメント作成能力
トラック製造・販売メーカー向けに、車両輸送状況をリアルタイムに可視化する業務アプリのパフォーマンス改善を担当いただきます。現状、車両から送信される膨大なGPSログ解析で処理遅延が発生しており、Databricks を中心にデータ処理基盤の抜本的なチューニングと改善実装を行います。 想定業務: ・Databricks（PySpark/Scala）環境のパフォーマンス最適化 ・大規模データ処理（数億行規模）の実装・改修 ・Azure データ基盤（Data Factory など）のパフォーマンス改善 ・保守運用、構成管理、リファクタリング 商流はエンド→弊社→貴社。弊社から複数名稼働中で意思決定・動きは速い環境です。
必須スキル: ・Databricks 上でのコーディング経験（PySpark/Scala） ・コード/ジョブのチューニング実務経験 ・Spark クラスタの構造や処理方式、最適化手法に関する知識・実務 ・大規模データの実務経験（Hadoop/Spark クラスタで数億行規模の処理）
トラック製造販売メーカー向けに、車両のGPSログを用いたリアルタイム可視化アプリのパフォーマンス最適化を行います。 現状、膨大なGPSデータ解析で処理遅延が発生しており、Databricks（PySpark/Scala）およびAzureデータ基盤を中心に、抜本的なチューニングと改善施策の設計・実装をご担当いただきます。 想定業務: ・Databricks（PySpark, Scala）のパフォーマンス最適化 ・大規模バッチ/ストリーミング処理の実装・改修 ・Azureデータ基盤（ADF/SQL/Functions等）の性能改善 ・保守運用、構成管理、リファクタリング 稼働形態は新川崎駅近辺にて、初月は週3出社、その後は週1...
必須スキル: ・Databricksでの開発経験（PySparkおよびScalaでのコーディング） ・Sparkクラスタの構造/処理方式の理解と各種最適化手法によるチューニング実務 ・大規模データ処理の経験（Hadoop/Sparkクラスタで数億行規模のデータ取り扱い） これまでの実案件での性能改善（スケジューリング/パーティション設計/キャッシュ戦略/ジョイン最適化 など）の実績が望まれます。
自社サービスのデータエンジニアとして、ビッグデータ解析/分散処理基盤開発をお任せします。 今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、 その推進をお願いできればと考えております。 ＜具体的な業務例＞ ・Databricks 上に構築された社内向けの新データ基盤の開発・運用 ・AWS 上に構築された旧データ基盤の運用 ・社内各所の要求に応じた dbt によるデータモデリング ・AWSを利⽤したビッグデータ解析⽤分散処理基盤のアーキテクチャ選定から設計 ・実装、運⽤フロー⾃動化の提案、実装 ・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定 ・各所ニーズ(マーケター、サイエンティスト、機械...
・pull request ベースでの Python 等のプログラム開発経験（5年以上） ・データ基盤の設計/構築、または運用経験（3年以上） ・SQL によるデータ分析やデータモデリングの経験（3年以上） ・AWS もしくは GCPを利用したサービスの構築経験（3年以上） ・dbtを用いたデータモデルやデータパイプラインの開発経験（1年以上） 【あると望ましいスキル・経験】 ・データ基盤チームのチームリードの経験 ・Databricks, Snowflake などのプラットフォーム上に構築されたデータ基盤の開発・運用経験 ・Terraform による IaC の経験 ・Apache Spark 等の分散処理フレームワークを...
大手メガバンク向けに、銀行側と信託側のシステムを統合（一元化）する大型プロジェクトです。 12月～基本設計、1月～詳細設計、3月～CD/UT、5月～IT（結合/総合テスト）を予定し、C/Oは2027年2月を見込みます。良好であれば以降の延長可能性もあります。 担当想定は以下の通りです。 ① 既存システムの保守・運用 ② 銀行側と信託側のシステム統合（取込）により、信託側をクローズ 環境はJava、Shell（Java起動）、Spark（分散処理・データマッピング）、Python（Spark起動）で、AWS上での稼働が想定されています。 稼働は水天宮前/人形町駅付近での常駐、定時は8:50～17:30です。弊社体制で参画中で、ベ...
AWS ・Javaを用いた開発経験が豊富で、詳細設計以降を自走できる方 ・プロジェクト完遂に向けて協調的に取り組める方
大手製造小売企業における、AWSベースのデータ基盤の構築・運用案件です。 主な業務は以下の通りです。 ・AWSを活用したデータ基盤の設計、構築、運用 ・Airflow等を用いたETL/データパイプラインの設計〜改善 ・Spark/PySparkによる大規模データ処理の実装 ・分析用データモデルの設計、dbtを用いたモデリング・開発 ・運用チームのタスク管理、コードレビュー、トラブルシューティング対応 など 期間は2026年1月開始の長期予定（初月単月契約、以降応相談）。勤務地は茅場町を拠点としたリモート併用で、就業時間は9:00〜18:00です。 面談は1回（弊社同席）。募集は1名、年齢不問です。 二段階認証（Authent...
データ基盤 ・PythonおよびShellの開発経験：5年以上 ・Spark/PySparkを用いた大規模データ処理の実務経験 ・AWSのデータ系サービス（S3/Glue/Athena/Kinesis/ECS/MWAA 等）の実務経験 ・ETL/データパイプラインを自立して設計・実装した経験 ・DWH/データモデリングの設計スキル ・ビジネスレベルの中国語運用能力
大手製造小売業におけるデータ設計開発業務の運用リーダーとしてご参画していただきます。\n\n主に下記作業をご担当いただきます。\n・AWS を活用したデータ基盤（DWH／データレイク）の設計・構築・運用\n・Glue・Spark／PySpark・MWAA などを用いた ETL／\nデータパイプラインの開発・改善\n・分析向けデータモデル（DWH スキーマ等）の設計および dbt を用いたモデル開発\n・データ処理の品質管理、パフォーマンス改善、運用フローの最適化\n・運用チームのタスク管理・トラブルシューティングなどのリーダー業務\n\n【開発環境】\n使用言語: Python, Shell Script, SQL\nデータ処...
・中国語スキル（ビジネスレベル） ・Python/Shell経験 ・Spark/PySparkに精通し、大規模データ処理ができる ・AWSのデータ関連サービスに精通している（以下を含むが、これらに限らない） ┗Sc // Glue（Catalog / Job） // Athena // Kinesis // ECS // MWAA（Managed Airflow） ・ETLデータパイプラインの開発・実装を独立して行うことができる ・データモデル（ディメンション・ファクトテーブル・DWHアーキテクチャ等）の設計スキル
メガバンク向けに、銀行側と信託側のシステムを一本化する大規模プロジェクトです。既存システムの保守・運用を行いつつ、段階的に基本設計、詳細設計、製造・単体テスト、結合テスト、ITを実施し、最終的に信託側システムをクローズします。 期間の目安： ・12月～ 基本設計 ・1月～ 詳細設計 ・3月～ 製造/UT ・5月～ IT ・C/O：2027年2月予定（以降の延長可能性あり） 環境：Java、Shell（Java起動）、Spark（分散処理・データマッピング）、Python（Spark起動）、AWS想定 作業場所：水天宮前/人形町駅（常駐） 定時：8:50～17:30 体制：元請けから複数名体制で参画中。ベテラン＋若手のセット提案...
・Javaでの開発経験が豊富で、詳細設計以降を自走できる方 ・プロジェクト完遂に向けて主体的かつ協力的に動ける方
データ活用基盤において、各種源泉システムからのデータ蓄積を担う ODS(Operational Data Store) と、源泉システムと ODS 間のデータ連携を実現する Data-Hub を中核コンポーネントとして設計・実装します。 基本設計以降の工程を担当し、ETL/ELT パイプラインの設計・構築、バッチ/ストリーミング処理、API 連携の実装、クラウド上での運用まで幅広く対応いただきます。 主な利用技術は Python、Spark、AWS Glue、AWS Step Functions、EMR、Lambda、各種データベースとなります。
・DWH/ODS の設計・開発経験 ・ETL/ELT パイプラインの設計および実装経験 ・AWS を用いたデータ基盤開発（Glue／Step Functions／EMR／Lambda など） ・データベース操作の実務経験 ・バッチ処理／ストリーミング処理／外部API連携の実装経験 ・Python／Spark を用いた開発経験5年以上
案件概要：データ分析基盤構築案件 業務内容： 現状のデータ分析基盤はTalend、RedShiftを用いたアーキテクチャだが 性能限界が見込まれいるため、改善すべき処理や課題の抽出を実施する案件 場所：基本リモート 外国籍：NG
・大量データを扱うバッチ設計 ※現行データ分析基盤(Talend、RedShift)の課題や改善点など抽出可能なこと ・Apache Sparkなどフレームワークを利用した大量データを処理するバッチシステムの設計・開発スキル保有
インディバースフリーランスであなたにピッタリの
フリーランス案件が見つかる
8万件以上のフリーランス案件から一括検索
エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。
あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。
インディバースフリーランスであなたにピッタリの
フリーランス案件が見つかる
8万件以上のフリーランス案件から一括検索
エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。
あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。