Python/Youtubeデータ取得バッチ基盤のリファクタリングおよびdbt移行

募集中4ヶ月前

Python/Youtubeデータ取得バッチ基盤のリファクタリングおよびdbt移行

〜990,000/月

作業内容

ライブ配信事業における、Youtubeのデータ取得バッチ基盤リファクタリングおよびdbt移行に携わっていただきます。 ・Youtubeの既存バッチの保守 ・StepFunction管理dbtの分離 ・既存バッチの処理フローの整理 ・新バッチ開発(StepFunctionsベースからk8sコンテナベース構成へ移行)

必須スキル

・GCP 実務経験(BigQuery / GCS / Pub/Sub / GKE のうち複数) ・Kubernetes 運用経験(Argo Workflows / ArgoCD は特に歓迎)

歓迎スキル

・dbt/Dataform等のデータモデリングツールを用いた開発経験 ・Snowflakeを用いた開発・運用経験 ・外部API(YouTube Data API/YouTube Analytics API等)のクォータや認可に関する制約を考慮した開発経験

稼働条件

140時間 ~ 180時間 / フルリモート

契約形態

フルリモート

募集回数

1回

スキル

バックエンド:

企業名

サービス/プロジェクト名

詳細スケジュール/リリース時期

現場責任者の雰囲気

開発体制の詳細

詳細は面談でお伝えします。ご相談ください。

一部の情報は非公開の場合があります

案件について詳しく聞いてみませんか?

知りたい内容を選んでください(複数選択可)