掲載終了5ヶ月前

【Databricks/PySpark/Scala】商用車ロジスティクス可視化基盤のデータ処理最適化

800,000〜1,050,000/月

作業内容

トラック製造販売メーカー向けに、商用車の輸送状況をリアルタイム可視化する業務アプリのパフォーマンス改善を担当いただきます。膨大な車載GPSログの解析で発生している処理遅延を解消するため、Databricks（PySpark/Scala）を中心にデータ処理基盤の抜本的なチューニングおよび改善実装を実施します。主な作業内容: ・Databricks（PySpark, Scala）環境のパフォーマンス最適化・大規模データ処理の実装/改修（数億行規模）・Azure上のデータ基盤のボトルネック解析と改善・保守、構成管理、リファクタリング稼働形態は新川崎駅近辺にて初月は週3出社、その後は週1出社を想定（状況により変更の可能性あり）。

必須スキル

必須スキル: ・Databricksでの実装経験（PySpark, Scala）・コード/ジョブのチューニング経験・Sparkクラスタの構造・処理方式・最適化手法に関する知見・大規模データ処理の実務経験（Hadoop/Sparkで数億行規模のデータ取り扱い）

歓迎スキル

歓迎スキル: ・データ基盤の構築/運用経験（特にAzure: Data Factory, SQL Server/Database, Databricks, Functions, DevOps など）・Azureインフラの知識（VNet, Private Link Service, Private Endpoint, Load Balancer 等）・Transact-SQLでの高度なクエリ実装およびチューニング経験・Python/PowerShell等によるスクリプト開発・GitHubを用いたソースコード管理

稼働条件

週5日 / 一部リモート可

面談回数

1回

契約形態

業務委託(フリーランス)

開発環境

開発環境: ・プラットフォーム: Azure（Databricks, Data Factory, SQL Database/Server, Functions, DevOps）・言語: PySpark, Scala, SQL, Python, PowerShell ・バージョン管理: GitHub ・データ規模: 数億行クラスのバッチ/ストリーミング処理・その他: Spark最適化（パーティショニング、キャッシュ戦略、ジョイン戦略、AQE など）

作業時間

10:00〜19:00（フレックス/時差出勤は応相談）

精算基準時間

140~180時間 (上下割)

募集回数

1回

募集背景

GPSログ増加に伴う解析遅延の解消と、将来的なスケールを見据えた処理基盤の最適化を推進するための増員です。弊社からも複数名が参画しており、意思決定が速い体制です。担当工程詳細設計,実装,テスト,運用・保守,データ分析募集人数 1人チーム規模 6-10名平均稼働時間平均160〜180時間/月を想定現場の雰囲気データドリブンな改善志向で、意思決定が迅速。既存メンバーとの連携もスムーズです。案件担当のコメント Databricks/Sparkのチューニングに強みをお持ちの方に最適です。動きが速い現場のため、改善提案から実装まで一気通貫で推進できる方を歓迎します。