【Databricks/Spark/Python/フルリモート】某大手企業データパイプライン移行プロジェクト
この案件を3行でまとめると
- 大手企業のデータ基盤モダン化を目的とした、DatabricksへのSPARKパイプライン移行プロジェクトです。
- SPARKパイプラインの調査・仕様整理、DatabricksへのETL移行・実装、シルバーレイヤー・ゴールドレイヤーのデータ変換処理開発・テスト、品質保証を担当します。
- フルリモートで週5日稼働、月額650〜750万円の報酬と、最新技術を活用したデータ基盤構築経験を積める点が魅力です。
作業内容
このプロジェクトでは、現在稼働しているSPARKデータパイプラインの現状を深く調査し、その仕様を明確に整理することから始まります。 その後、Databricks環境へのETLパイプラインの移行と実装を進めていただきます。 具体的には、シルバーレイヤーおよびゴールドレイヤーにおけるデータ変換処理の開発とテスト、そして移行が完了した後のシステム動作の確認と品質保証を担当していただきます。 募集背景 某大手企業におけるデータ基盤のモダン化およびパフォーマンス向上を目的とした、既存データパイプラインの移行プロジェクトです。 最新のテクノロジーを活用し、より効率的で堅牢なデータ処理基盤を構築するため、即戦力となるデータエンジニアを募集しています。
必須スキル
データウェアハウス（DWH）やデータパイプラインの構築、および運用に関する豊富な経験が必須です。 Pythonを使用したデータ処理の実務経験、特にSQLを活用したデータ加工や集計のスキルも求められます。 技術スタックとしては、Apache SparkやPySpark、そしてDatabricksの実務経験が重要です。 また、複数名のチームで協力し、プロジェクトを推進した経験をお持ちの方を歓迎します。
歓迎スキル
シルバーデータおよびゴールドデータの設計・開発経験がある方は特に歓迎いたします。 さらに、アジャイルやスクラム開発手法の経験をお持ちの方も、当プロジェクトで大いに貢献できるでしょう。
稼働条件
週5日 / 月平均140～180時間程度 / フルリモート
契約形態
業務委託(フリーランス)
開発環境
開発環境としては、主にPython、SQLを使用します。 データ処理基盤にはApache Spark、PySpark、そしてDatabricksを採用しています。
精算基準時間
140h〜180h
募集回数
1回
スキル
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
この案件のおすすめポイント
- フルリモートで週5日稼働、月額650〜750万円の報酬が明記されており、在宅で安定した収入を得たいデータエンジニアにおすすめです。
- Databricks・PySpark・Pythonを使用したETLパイプライン移行経験がある方に最適で、既存SPARKパイプラインの調査・移行業務を通じて実務スキルをさらに磨けます。
- 大手企業のデータ基盤モダン化プロジェクトに参画でき、シルバーレイヤー・ゴールドレイヤー設計・開発経験を活かせるため、キャリアアップを目指す方におすすめです。
よくある質問
案件について詳しく聞いてみませんか？
知りたい内容を選んでください（複数選択可）