掲載終了1ヶ月前
【Databricks,Datastage,PySpark,ETL/リモート併用】DatastageからDatabricksへのマイグレーション、パイロット検証【ミドル・シニアエンジニア(40代、50代、60代)】の案件
〜800,000/月
作業内容
現行ETL基盤(IBM Datastage)からDatabricks(Lakehouse基盤)への移行パイロット検証に参画。 移行可否・移行方式・ツールの有効性を検証。 ・Datastage既存ジョブの構造・処理内容の確認 ・マイグレーションツールを用いたDatabricksへの変換 ・変換結果の動作検証(PySpark/SQL/Workflow等) ・DatastageとDatabricksの処理結果比較(データ品質・性能等) ・ツールで変換できない部分の手動移行検証 ・検証結果の整理(課題・改善点・移行可否判断材料の作成) ・パイロット結果を踏まえた移行方式の提案・フィードバック
必須スキル
・ETL開発の経験(Datastage等) ・Databricks(ノートブック・Workflow・Delta Lake)の利用経験 ・Spark/PySpark/SQLを用いたデータ処理経験 ・データパイプラインの設計・実装経験 ・新技術の検証やPoCに対応できる方
歓迎スキル
・Datastageの実務経験 ・データレイク・DWH・ETL移行プロジェクトの経験 ・マイグレーションツールの検証・評価経験
面談回数
1回
契約形態
業務委託(フリーランス)
募集回数
1回
職種・ポジション
スキル
バックエンド:
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
3件以上の応募でご希望の条件の案件に参画しやすくなります
人気案件は申し込みが集中します。ご相談はお早めに!
案件について詳しく聞いてみませんか?
知りたい内容を選んでください(複数選択可)
