【Python/dbt/AWS/フルリモート】YouTubeデータ取得バッチ基盤リファクタリング・dbt移行エンジニア
作業内容
ライブ配信関連事業において、YouTubeデータ取得バッチ基盤のリファクタリングとdbtへの移行を担当いただきます。 主な目的: - 既存のStep FunctionsベースのバッチをKubernetesコンテナ基盤へ移行 - バッチシステムからdbtを切り離し、疎結合化を実現 - 運用負荷の軽減とコード可読性の向上 業務内容: - YouTube関連の既存バッチ保守・改善 - Step Functions配下で管理されているdbtの分離・再設計 - 既存バッチの処理フロー整理、ジョブ定義の見直し - 新バッチ（コンテナベース）開発および移行に伴うテスト・運用設定 フルリモートでの参画が可能です。
必須スキル
・Pythonによるバッチ開発経験 ・スクレイピングや外部API/データ取得処理の開発経験 ・dbtおよびETLパイプラインの設計・実装経験 ・AWS上での開発運用経験（例: Step Functions, ECS/EKS, Lambda, S3 などのいずれか） ・GitHubを用いたチーム開発経験（PR/コードレビュー/CIのいずれか）
歓迎スキル
・Goでのバッチ開発経験 ・Snowflakeを用いた開発・運用経験 ・Kubernetes上でのバッチ/ジョブ実行設計経験 ・データ基盤のリファクタリングやモダナイズプロジェクトの実務経験
稼働条件
週5日 / フルリモート
面談回数
1回
契約形態
業務委託(フリーランス)
開発環境
開発環境例: - 言語: Python（必要）、Go（歓迎） - DWH/ETL: dbt、Snowflake（歓迎） - インフラ: AWS（Step Functions, EKS/ECS, Lambda, S3 など）、Kubernetes - VCS/CI: GitHub - その他: コンテナ/Docker、監視・ジョブ管理ツール
作業時間
11:00〜20:00（休憩含む）
精算基準時間
7~9時間 (上下割)
募集回数
1回
募集背景
ライブ配信領域のデータ活用強化に伴い、既存のバッチ基盤をコンテナベースへ移行し、運用性と拡張性を高めるための増員募集となります。 担当工程 要件定義,基本設計,詳細設計,実装,テスト,運用・保守,データ分析 募集人数 1人 チーム規模 2-5名 平均稼働時間 標準7〜9時間/日を目安 現場の雰囲気 フルリモート中心で、自走的に改善提案できるエンジニアが活躍する環境。 案件担当のコメント Python×dbt×AWSの実務経験を活かし、バッチ基盤のコンテナ移行にドライブをかけられる方を歓迎します。スクレイピング/外部API連携経験があると立ち上がりが早いです。
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
この案件のおすすめポイント
- 30代活躍中
- 40代活躍中
- 外国籍が活躍中
- フリーランス多数
- 新技術に積極的
- 安定稼働
- 長期案件
- 急募
- 即日参画可能
この案件を掲載しているエージェントについて
広済堂ビジネスサポート
運営会社：株式会社広済堂ビジネスサポート案件について詳しく聞いてみませんか？
知りたい内容を選んでください（複数選択可）