【Python,SQL PL/SQL,OCI(Oracle Cloud Infrastructure),開発経験,インフラ設計構築/フルリモート】データ分析プラットフォームのバッチ開発・運用エンジニア
作業内容
ライブ配信事業におけるYouTubeのデータ取得バッチ基盤のリファクタリングおよびdbtへの移行・再構築業務を担当する。 GKEおよびArgo Workflows環境で稼働するデータ収集バッチの運用保守から、新たな分析ニーズに基づく新規バッチの設計・開発、Snowflake内でのデータモデル整備まで幅広く推進する。 主な業務内容は以下の通り。 ・GKE + Argo Workflows環境で稼働する外部API連携バッチの定常運用、パフォーマンス改善、および障害対応 ・事業側の各種分析ニーズに応じた新規データ収集バッチの設計、実装、およびテスト ・Snowflake内におけるデータ加工処理、データマート作成、およびdbtを用いたデータモデリング整備 ・YouTube Data API等の外部API制約(クォータ制限、OAuth認証等)を考慮したデータ収集処理の最適化・リファクタリング
必須スキル
・GCP(Google Cloud Platform)環境における実務経験(BigQuery、GCS、Pub/Sub、GKEのうち複数の実務利用経験) ・Kubernetes(GKE環境等)における運用および各種管理実務経験
歓迎スキル
・Argo WorkflowsまたはArgoCDを活用したワークフロー管理・GitOps運用の実務経験 ・dbtやDataform等のデータモデリングツールを用いたデータパイプライン開発・運用経験 ・Snowflakeを用いたデータウェアハウス構築・運用およびデータ加工の実務経験 ・YouTube Data API、YouTube Analytics API等、外部APIのクォータ制限・認可仕様を考慮した開発経験
稼働条件
リモート
面談回数
1回
契約形態
業務委託(フリーランス)
開発環境
SQL PL/SQL その他 Python 開発経験 OCI(Oracle Cloud Infrastructure)
募集回数
1回
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
案件について詳しく聞いてみませんか?
知りたい内容を選んでください(複数選択可)
