【BigQuery/Airflow/フルリモート】大手インターネット企業向けDWH設計・構築SE
作業内容
大手インターネット企業の新規DWH構築プロジェクトに参画いただき、社内に散在するデータの一元管理を目的とした基盤整備を担当します。 BigQuery/Airflow を軸に、データ取り込みパイプラインの設計・開発・運用改善までを一貫してお任せします。Google系およびオープンソース技術を用い、データの連携・加工・集約を行う土台を構築していく想定です。 フルリモートが可能で、拠点は品川ですが基本的に出社は発生しません。
必須スキル
▼ご提案の際はスキルに◯×をお願いいたします。 ・BigQuery を用いた開発経験 ・DWH/データ基盤の設計・開発経験 ・Airflow の実務利用経験 ・データ取り込みパイプラインの設計・実装経験
歓迎スキル
▼ご提案の際はスキルに◯×をお願いいたします。 ・Docker や CI/CD に関する基礎知識 ・Debezium など CDC(Change Data Capture)の利用経験 ・データ品質管理(重複・欠損・遅延検知など)の設計経験 ・障害監視・アラート設計、および運用改善の経験
稼働条件
目安140-180時間/月 / 平日フルタイム想定 / 週5日 / フルリモート
面談回数
2回
契約形態
業務委託(フリーランス)
開発環境
・DWH/分析基盤: BigQuery ・ストレージ: Google Cloud Storage (GCS) ・データ形式: Parquet ・データ処理: Spark ・実行コンテナ: Google Kubernetes Engine (GKE) ・パイプライン制御: Airflow ・連携(ストリーミング/CDC): Kafka, Debezium Spark、Docker、BigQuery、Kubernetes
作業時間
9:00〜17:30
精算基準時間
140〜180h
募集回数
1回
募集背景
BigQuery/Airflow を中心にモダンなデータ基盤づくりに携われる案件です。クライアントから10名以上が同エンドで稼働中(本PJにも3名参画)で、キャッチアップしやすい環境です。
スキル
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
案件について詳しく聞いてみませんか?
知りたい内容を選んでください(複数選択可)