掲載終了3ヶ月前
【データ基盤エンジニア】Youtubeデータ取得バッチ基盤のリファクタリングおよびdbt移行業務
〜850,000/月
作業内容
ライブ配信事業における、Youtubeのデータ取得バッチ基盤リファクタリングおよびdbt移行に携わって頂きます。 目的 - StepFunctionsベースの既存バッチをk8sコンテナベース構成へ移行 - バッチシステムからdbt部分の分離 - 既存運用負荷軽減・可読性向上 業務内容 - Youtubeの既存バッチの保守 - StepFunction管理dbtの分離 - 既存バッチの処理フローの整理 - 新バッチ開発
必須スキル
・Pythonバッチ開発経験 (スクレイピング系の開発経験があれば確度が高いです) ・dbt, ETLの開発経験 ・AWSでの開発経験 ・GitHubを利用した開発経験
歓迎スキル
・Goバッチ開発経験 ・Snowflake開発経験
稼働条件
フルリモート
面談回数
1回
契約形態
業務委託
開発環境
Python、AWS
募集回数
1回
募集背景
2次請け
職種・ポジション
企業名
エッジテクノロジー株式会社
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
3件以上の応募でご希望の条件の案件に参画しやすくなります
人気案件は申し込みが集中します。ご相談はお早めに！
案件について詳しく聞いてみませんか？
知りたい内容を選んでください（複数選択可）