掲載終了1ヶ月前
【Databricks/Python】某大手企業のデータパイプライン移行プロジェクト
650,000〜750,000/月
この案件を3行でまとめると
- 職種: データエンジニア／データサイエンティスト、勤務地: 東京都、リモート可、週3日程度の出社とリモートワークで稼働します。
- 既存SparkパイプラインをDatabricksへ移行し、約1,000本規模のETLを実装・テストします。
- Python、SQL、Apache Spark/PySpark、Databricks環境での開発経験が必須です。
作業内容
某大手企業向けのデータ基盤において、既存のSparkパイプラインをDatabricks環境へ移行するプロジェクトです。 約1,000本規模のETLパイプライン移行・実装に加え、シルバーレイヤーおよびゴールドレイヤーにおけるデータ変換処理の開発・テストを担当いただきます。 データソースはIcebergテーブルやS3、アウトプット先はSnowflakeとなります。
必須スキル
データウェアハウス（DWH）およびデータパイプラインの開発・運用経験、特にPython、SQL、Apache Spark/PySparkを用いた実務経験は必須です。Databricks環境での開発経験も求められます。
歓迎スキル
Snowflakeの利用経験や、アジャイル/スクラム開発手法の経験をお持ちの方は歓迎いたします。
稼働条件
週3日程度の出社とリモートワークを併用する勤務形態です。 / 月間140～180時間程度の稼働を想定しています。 / 一部リモート可
契約形態
業務委託(フリーランス)
開発環境
主要な技術スタック：Python, SQL, Apache Spark/PySpark, Databricks, Snowflake。 データソースとしてIcebergテーブルとS3、出力先としてSnowflakeを使用します。
精算基準時間
140h〜180h
募集回数
1回
スキル
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
この案件のおすすめポイント
- 週3日程度の出社とリモートワークで柔軟に働ける環境です。
- 月間140〜180時間の稼働で、報酬は650,000円〜750,000円/月です。
- 約1,000本規模のETLパイプライン移行プロジェクトで実務経験を活かせます。
よくある質問
一部リモート可で、週3日程度の出社とリモートワークを併用します。
3件以上の応募でご希望の条件の案件に参画しやすくなります
人気案件は申し込みが集中します。ご相談はお早めに！
案件について詳しく聞いてみませんか？
知りたい内容を選んでください（複数選択可）