トラック製造販売メーカー向けに、商用車の輸送状況をリアルタイム可視化する業務アプリのパフォーマンス改善を担当いただきます。 膨大な車載GPSログの解析で発生している処理遅延を解消するため、Databricks（PySpark/Scala）を中心にデータ処理基盤の抜本的なチューニングおよび改善実装を実施します。 主な作業内容: ・Databricks（PySpark, Scala）環境のパフォーマンス最適化 ・大規模データ処理の実装/改修（数億行規模） ・Azure上のデータ基盤のボトルネック解析と改善 ・保守、構成管理、リファクタリング 稼働形態は新川崎駅近辺にて初月は週3出社、その後は週1出社を想定（状況により変更の可能...
必須スキル: ・Databricksでの実装経験（PySpark, Scala） ・コード/ジョブのチューニング経験 ・Sparkクラスタの構造・処理方式・最適化手法に関する知見 ・大規模データ処理の実務経験（Hadoop/Sparkで数億行規模のデータ取り扱い）
保険会社向けデータサービス基盤構築にご参画していただきます。 AWSを活用したデータサービス基盤の構築の案件となります。 Glue・Lambda（Python、Spark）を用いてのデータ連携処理の構築をご実施していただきます。
・AWS・Glueの構築の経験 ・Python、Sparkを用いての開発の経験
保険会社向けデータサービス基盤構築にご参画していただきます。\nAWSを活用したデータサービス基盤の構築の案件となります。\nGlue・Lambda（Python、Spark）を用いてのデータ連携処理の構築をご実施していただきます。
・AWS・Glueの構築の経験 ・Python、Sparkを用いての開発の経験
以下、概要になります ・フルリモート可能です ・Databricksを用いたデータ解析システムの構築支援 ・役割：データ基盤開発担当 ・フェーズ：設計～テスト ・主な業務：データパイプライン設計・構築、データ処理実装、テストコード作成、ドキュメント整備など
データエンジニア ・SQL、Python、Spark（その他Hadoop、Apache Kafka、Mesos等の分散処理基盤構築）によるデータ処理経験 ・データパイプライン構築・運用経験 ・Git等のバージョン管理システムの使用経験 ・テスティングフレームワークを用いたユニットテストの経験（テストコード作成を含む） ・要件定義、基本設計、詳細設計、テスト設計の経験 ・プロジェクト関係者とコミュニケーションが取れるレベルのドキュメント作成能力
トラック製造・販売メーカー向けに、車両輸送状況をリアルタイムに可視化する業務アプリのパフォーマンス改善を担当いただきます。現状、車両から送信される膨大なGPSログ解析で処理遅延が発生しており、Databricks を中心にデータ処理基盤の抜本的なチューニングと改善実装を行います。 想定業務: ・Databricks（PySpark/Scala）環境のパフォーマンス最適化 ・大規模データ処理（数億行規模）の実装・改修 ・Azure データ基盤（Data Factory など）のパフォーマンス改善 ・保守運用、構成管理、リファクタリング 商流はエンド→弊社→貴社。弊社から複数名稼働中で意思決定・動きは速い環境です。
必須スキル: ・Databricks 上でのコーディング経験（PySpark/Scala） ・コード/ジョブのチューニング実務経験 ・Spark クラスタの構造や処理方式、最適化手法に関する知識・実務 ・大規模データの実務経験（Hadoop/Spark クラスタで数億行規模の処理）
トラック製造販売メーカー向けに、車両のGPSログを用いたリアルタイム可視化アプリのパフォーマンス最適化を行います。 現状、膨大なGPSデータ解析で処理遅延が発生しており、Databricks（PySpark/Scala）およびAzureデータ基盤を中心に、抜本的なチューニングと改善施策の設計・実装をご担当いただきます。 想定業務: ・Databricks（PySpark, Scala）のパフォーマンス最適化 ・大規模バッチ/ストリーミング処理の実装・改修 ・Azureデータ基盤（ADF/SQL/Functions等）の性能改善 ・保守運用、構成管理、リファクタリング 稼働形態は新川崎駅近辺にて、初月は週3出社、その後は週1...
必須スキル: ・Databricksでの開発経験（PySparkおよびScalaでのコーディング） ・Sparkクラスタの構造/処理方式の理解と各種最適化手法によるチューニング実務 ・大規模データ処理の経験（Hadoop/Sparkクラスタで数億行規模のデータ取り扱い） これまでの実案件での性能改善（スケジューリング/パーティション設計/キャッシュ戦略/ジョイン最適化 など）の実績が望まれます。
自社サービスのデータエンジニアとして、ビッグデータ解析/分散処理基盤開発をお任せします。 今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、 その推進をお願いできればと考えております。 ＜具体的な業務例＞ ・Databricks 上に構築された社内向けの新データ基盤の開発・運用 ・AWS 上に構築された旧データ基盤の運用 ・社内各所の要求に応じた dbt によるデータモデリング ・AWSを利⽤したビッグデータ解析⽤分散処理基盤のアーキテクチャ選定から設計 ・実装、運⽤フロー⾃動化の提案、実装 ・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定 ・各所ニーズ(マーケター、サイエンティスト、機械...
・pull request ベースでの Python 等のプログラム開発経験（5年以上） ・データ基盤の設計/構築、または運用経験（3年以上） ・SQL によるデータ分析やデータモデリングの経験（3年以上） ・AWS もしくは GCPを利用したサービスの構築経験（3年以上） ・dbtを用いたデータモデルやデータパイプラインの開発経験（1年以上） 【あると望ましいスキル・経験】 ・データ基盤チームのチームリードの経験 ・Databricks, Snowflake などのプラットフォーム上に構築されたデータ基盤の開発・運用経験 ・Terraform による IaC の経験 ・Apache Spark 等の分散処理フレームワークを...
大手メガバンク向けに、銀行側と信託側のシステムを統合（一元化）する大型プロジェクトです。 12月～基本設計、1月～詳細設計、3月～CD/UT、5月～IT（結合/総合テスト）を予定し、C/Oは2027年2月を見込みます。良好であれば以降の延長可能性もあります。 担当想定は以下の通りです。 ① 既存システムの保守・運用 ② 銀行側と信託側のシステム統合（取込）により、信託側をクローズ 環境はJava、Shell（Java起動）、Spark（分散処理・データマッピング）、Python（Spark起動）で、AWS上での稼働が想定されています。 稼働は水天宮前/人形町駅付近での常駐、定時は8:50～17:30です。弊社体制で参画中で、ベ...
AWS ・Javaを用いた開発経験が豊富で、詳細設計以降を自走できる方 ・プロジェクト完遂に向けて協調的に取り組める方
大手製造小売企業における、AWSベースのデータ基盤の構築・運用案件です。 主な業務は以下の通りです。 ・AWSを活用したデータ基盤の設計、構築、運用 ・Airflow等を用いたETL/データパイプラインの設計〜改善 ・Spark/PySparkによる大規模データ処理の実装 ・分析用データモデルの設計、dbtを用いたモデリング・開発 ・運用チームのタスク管理、コードレビュー、トラブルシューティング対応 など 期間は2026年1月開始の長期予定（初月単月契約、以降応相談）。勤務地は茅場町を拠点としたリモート併用で、就業時間は9:00〜18:00です。 面談は1回（弊社同席）。募集は1名、年齢不問です。 二段階認証（Authent...
データ基盤 ・PythonおよびShellの開発経験：5年以上 ・Spark/PySparkを用いた大規模データ処理の実務経験 ・AWSのデータ系サービス（S3/Glue/Athena/Kinesis/ECS/MWAA 等）の実務経験 ・ETL/データパイプラインを自立して設計・実装した経験 ・DWH/データモデリングの設計スキル ・ビジネスレベルの中国語運用能力
大手製造小売業におけるデータ設計開発業務の運用リーダーとしてご参画していただきます。 主に下記作業をご担当いただきます。 ・AWS を活用したデータ基盤（DWH／データレイク）の設計・構築・運用 ・Glue・Spark／PySpark・MWAA などを用いた ETL／ データパイプラインの開発・改善 ・分析向けデータモデル（DWH スキーマ等）の設計および dbt を用いたモデル開発 ・データ処理の品質管理、パフォーマンス改善、運用フローの最適化 ・運用チームのタスク管理・トラブルシューティングなどのリーダー業務 【開発環境】 使用言語: Python, Shell Script, SQL データ処理: Spark / PyS...
・中国語スキル（ビジネスレベル） ・Python/Shell経験 ・Spark/PySparkに精通し、大規模データ処理ができる ・AWSのデータ関連サービスに精通している（以下を含むが、これらに限らない） ┗Sc // Glue（Catalog / Job） // Athena // Kinesis // ECS // MWAA（Managed Airflow） ・ETLデータパイプラインの開発・実装を独立して行うことができる ・データモデル（ディメンション・ファクトテーブル・DWHアーキテクチャ等）の設計スキル
大手製造小売業におけるデータ設計開発業務の運用リーダーとしてご参画していただきます。\n\n主に下記作業をご担当いただきます。\n・AWS を活用したデータ基盤（DWH／データレイク）の設計・構築・運用\n・Glue・Spark／PySpark・MWAA などを用いた ETL／\nデータパイプラインの開発・改善\n・分析向けデータモデル（DWH スキーマ等）の設計および dbt を用いたモデル開発\n・データ処理の品質管理、パフォーマンス改善、運用フローの最適化\n・運用チームのタスク管理・トラブルシューティングなどのリーダー業務\n\n【開発環境】\n使用言語: Python, Shell Script, SQL\nデータ処...
・中国語スキル（ビジネスレベル） ・Python/Shell経験 ・Spark/PySparkに精通し、大規模データ処理ができる ・AWSのデータ関連サービスに精通している（以下を含むが、これらに限らない） ┗Sc // Glue（Catalog / Job） // Athena // Kinesis // ECS // MWAA（Managed Airflow） ・ETLデータパイプラインの開発・実装を独立して行うことができる ・データモデル（ディメンション・ファクトテーブル・DWHアーキテクチャ等）の設計スキル
メガバンク向けに、銀行側と信託側のシステムを一本化する大規模プロジェクトです。既存システムの保守・運用を行いつつ、段階的に基本設計、詳細設計、製造・単体テスト、結合テスト、ITを実施し、最終的に信託側システムをクローズします。 期間の目安： ・12月～ 基本設計 ・1月～ 詳細設計 ・3月～ 製造/UT ・5月～ IT ・C/O：2027年2月予定（以降の延長可能性あり） 環境：Java、Shell（Java起動）、Spark（分散処理・データマッピング）、Python（Spark起動）、AWS想定 作業場所：水天宮前/人形町駅（常駐） 定時：8:50～17:30 体制：元請けから複数名体制で参画中。ベテラン＋若手のセット提案...
・Javaでの開発経験が豊富で、詳細設計以降を自走できる方 ・プロジェクト完遂に向けて主体的かつ協力的に動ける方
データ活用基盤において、各種源泉システムからのデータ蓄積を担う ODS(Operational Data Store) と、源泉システムと ODS 間のデータ連携を実現する Data-Hub を中核コンポーネントとして設計・実装します。 基本設計以降の工程を担当し、ETL/ELT パイプラインの設計・構築、バッチ/ストリーミング処理、API 連携の実装、クラウド上での運用まで幅広く対応いただきます。 主な利用技術は Python、Spark、AWS Glue、AWS Step Functions、EMR、Lambda、各種データベースとなります。
・DWH/ODS の設計・開発経験 ・ETL/ELT パイプラインの設計および実装経験 ・AWS を用いたデータ基盤開発（Glue／Step Functions／EMR／Lambda など） ・データベース操作の実務経験 ・バッチ処理／ストリーミング処理／外部API連携の実装経験 ・Python／Spark を用いた開発経験5年以上
案件概要：データ分析基盤構築案件 業務内容： 現状のデータ分析基盤はTalend、RedShiftを用いたアーキテクチャだが 性能限界が見込まれいるため、改善すべき処理や課題の抽出を実施する案件 場所：基本リモート 外国籍：NG
・大量データを扱うバッチ設計 ※現行データ分析基盤(Talend、RedShift)の課題や改善点など抽出可能なこと ・Apache Sparkなどフレームワークを利用した大量データを処理するバッチシステムの設計・開発スキル保有
案件概要：データ分析基盤構築案件(Talend、RedShift、Apache Sparkなど) 業務内容： 現状のデータ分析基盤はTalend、RedShiftを用いたアーキテクチャだが 性能限界が見込まれいるため、改善すべき処理や課題の抽出を実施する案件 場所：基本リモート 外国籍：NG
・大量データを扱うバッチ設計 ※現行データ分析基盤(Talend、RedShift)の課題や改善点など抽出可能なこと ・Apache Sparkなどフレームワークを利用した大量データを処理するバッチシステムの設計・開発スキル保有
概要：大手通信業者様のデータ情報系システム（大規模DWH）を 段階的にクラウドシフトしている案件です。 担当工程：設計、製造、試験の一連タスクを対応 勤務形態：出勤＋在宅の併用型 参画直後の2ヶ月はフル常駐。本番作業時も出社。 出社時は門前仲町駅 面 談：１回web、その他顔合わせの可能性があり 単 価：スキル見合い、140-180h、15分単位、支払サイト３５日、法人契約可
・基本設計～開発、試験工程までの経験が有り この工程範囲を１人称で進められる方 ・チーム特性からある程度自主的に動ける方 ・spark、linux、RDBの開発経験 ＃シェルの作り込みなどLinuxに長けてる必要あり
・新データ基盤の設計・構築（AWS／BigQuery／Snowflake等） ・ETL/ELTパイプラインの改善・最適化 ・データモデル設計／マルチテナント対応 ・データガバナンス、セキュリティ設計・運用、コンプライアンス対応 ・全社業務データ／IoTデータ／行動データの統合管理 ・BIツール連携設計 ・データ基盤運用・最適化、チーム技術育成・レビュー （工程）要件定義、設計、構築、運用、最適化、技術リード （開発環境） 言語：Python／Go／Java クラウド：AWS／GCP／Snowflake IaC：Terraform／CloudFormation／CDK DWH：BigQuery／RDBMS...
・クラウド（AWS／GCP／Snowflake等）での大規模データ基盤構築・運用経験 ・Terraform／CloudFormation／CDK等によるIaC本番運用経験 ・RDBMS／SQLを用いたテーブル設計・ETL開発経験 ・Python／Go／Java等でのデータ処理バッチ設計・開発経験 ・ステークホルダー調整を伴う基盤開発推進経験 ・技術的リード経験 ・セキュリティ／データ品質に関する強い意識 ・マルチクラウド／ハイブリッド構築経験 ・数百万件規模／リアルタイム処理のパイプライン構築経験 ・ETLフレームワーク（Spark／dbt／Dataform／Trocco等）利用経験 ・機械学習を用いた予測...
大手通信企業向けの大規模データ分析基盤における保守・機能拡張プロジェクトです。 AWSを中心に、新サービス導入の技術検討からインフラ構成検討・設計、リリースまで一連の工程を担当します。 直近ではCI/CD、Databricks、チャットボット、コンテナなどの新技術をPOC的に継続導入しています。今回は技術面でのサブリーダーとして、リーダーの補完やメンバーフォローを担える方を募集します。上位からは現在7名参画中です。 ＜想定業務＞ ・AWS環境でのサーバ構築やシステム開発 ・Spark/EMRによるデータ分析・抽出 ・データ集計、手動更新、テストデータ投入 ・AWS Lambdaでのジョブ実行コントロール ほか ＜システム...
Spark ・AWS等クラウドを用いたインフラ設計・構築・運用経験（目安5年） ・サブリーダー経験、またはAWS設計/構築のエキスパート ・汎用プログラミング言語での開発経験（Python／Node.js／Java／Go等） ※ゲーム領域出身でもAWSスキルが高ければ提案可
インディバースフリーランスであなたにピッタリの
フリーランス案件が見つかる
6万件以上のフリーランス案件から一括検索
エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。
あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。
インディバースフリーランスであなたにピッタリの
フリーランス案件が見つかる
6万件以上のフリーランス案件から一括検索
エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。
あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。