掲載終了27日前
【Python/Spark/Databricks/フルリモート】大手事業会社のデータパイプライン移行プロジェクト
650,000〜750,000/月
作業内容
既存のSparkデータパイプラインの現状を詳細に調査し、仕様を整理するフェーズから参画いただきます。 DatabricksへのETLパイプラインの移行と実装を進め、シルバー/ゴールドレイヤーのデータ変換処理の開発およびテストを担当。 移行後のシステムが安定稼働するよう、徹底した動作確認と品質保証を行います。 募集背景 事業拡大に伴うデータ基盤の近代化・効率化を目的とした、データパイプラインの刷新プロジェクトです。
必須スキル
データウェアハウス(DWH)やデータパイプラインの開発および運用経験は必須です。 Pythonを活用したデータ処理の実務経験、SQLを用いたデータ加工・集計スキルも求められます。 具体的には、Apache SparkやPySpark、そしてDatabricksの実務経験が重要となります。 さらに、複数名のチームでプロジェクトに参画し、貢献した経験をお持ちの方を歓迎します。
歓迎スキル
シルバーデータやゴールドデータの設計・開発経験をお持ちの方、またアジャイル開発やスクラム開発の経験がある方は、即戦力としてご活躍いただけます。
稼働条件
週5日 / 月平均160時間程度 / フルリモート
契約形態
業務委託(フリーランス)
開発環境
主要な開発環境はDatabricksであり、PythonやSQLを用いたデータ処理が中心となります。 既存のパイプラインはApache Spark/PySparkで構築されています。
精算基準時間
140h〜180h
募集回数
1回
スキル
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
3件以上の応募でご希望の条件の案件に参画しやすくなります
人気案件は申し込みが集中します。ご相談はお早めに!
案件について詳しく聞いてみませんか?
知りたい内容を選んでください(複数選択可)