掲載終了6ヶ月前

【Databricks/PySpark・Scala】商用車ロジスティクス可視化基盤のデータ処理最適化

800,000〜1,050,000/月

作業内容

トラック製造販売メーカー向けに、車両のGPSログを用いたリアルタイム可視化アプリのパフォーマンス最適化を行います。現状、膨大なGPSデータ解析で処理遅延が発生しており、Databricks（PySpark/Scala）およびAzureデータ基盤を中心に、抜本的なチューニングと改善施策の設計・実装をご担当いただきます。想定業務: ・Databricks（PySpark, Scala）のパフォーマンス最適化・大規模バッチ/ストリーミング処理の実装・改修・Azureデータ基盤（ADF/SQL/Functions等）の性能改善・保守運用、構成管理、リファクタリング稼働形態は新川崎駅近辺にて、初月は週3出社、その後は週1出社予定（状況により変更の可能性あり）です。

必須スキル

必須スキル: ・Databricksでの開発経験（PySparkおよびScalaでのコーディング）・Sparkクラスタの構造/処理方式の理解と各種最適化手法によるチューニング実務・大規模データ処理の経験（Hadoop/Sparkクラスタで数億行規模のデータ取り扱い）これまでの実案件での性能改善（スケジューリング/パーティション設計/キャッシュ戦略/ジョイン最適化など）の実績が望まれます。

歓迎スキル

歓迎スキル: ・データ基盤の設計/構築/運用経験（特にAzure: Data Factory, SQL Server/Database, Databricks, Functions, DevOps 等）・Azureインフラ知識（VNet, Private Link Service, Private Endpoint, Load Balancer 等）・Transact-SQL による高度なクエリ実装とチューニング（インデックス/統計/実行計画の最適化）・Python/PowerShell 等のスクリプト作成スキル・GitHub でのソースコード管理経験

稼働条件

週5日 / 一部リモート可

面談回数

1回

契約形態

業務委託(フリーランス)

開発環境

開発/運用環境: ・データ処理: Databricks（PySpark, Scala）, Spark ・クラウド: Microsoft Azure（Data Factory, SQL Server/SQL Database, Functions, DevOps）・言語/スクリプト: Python, Scala, PowerShell, T-SQL ・構成管理/CI: GitHub, Azure DevOps ・その他: ストレージ/ネットワーク（VNet, Private Endpoint 等）

作業時間

10:00〜19:00を目安（フレックス/調整可）

精算基準時間

140~180時間 (上下割)

募集回数

1回

募集背景

リアルタイム可視化アプリの処理遅延解消と将来的なスケールに耐える基盤強化のため、DatabricksおよびAzureを中心とした性能最適化の専門人材を追加募集します。既に当社メンバーが複数名参画しており、意思決定や実装のスピード感がある環境です。担当工程詳細設計,実装,テスト,運用・保守,データ分析募集人数 1人チーム規模 6-10名平均稼働時間月間目安140〜180時間現場の雰囲気スピード感があり、技術選定や改善提案が歓迎される現場。課題ドリブンでコミュニケーションが活発です。案件担当のコメント Databricks/Sparkのチューニングに強みを持つ方にマッチします。既存メンバーとの連携が取りやすく、改善提案から実装までスピーディに進められる現場です。