【AWS/GCP/データエンジニア】データ基盤構築(常駐)

掲載終了4ヶ月前

【AWS/GCP/データエンジニア】データ基盤構築(常駐)

850,000〜1,150,000/月

作業内容

エンド直案件にて、九段下常駐でデータレイク/ETL基盤の設計・構築・運用を担当いただきます。 主な業務は以下の通りです。 ・データレイクおよびETL基盤の構築 ・AWS Glue(Apache Spark/PySpark)による分散処理とETL開発 ・S3/Lake Formation を利用したデータ管理とセキュリティ設計 ・BigQuery を中心としたDWH環境の整備、データモデリング、クエリ最適化 ・AWS→GCP 間のデータ連携パイプライン最適化 ・Terraform を活用したIaCによるマルチクラウドの構成管理/自動化 ・Airflow/MWAA 等のワークフロー管理とCI/CD基盤整備 ・データ品質テストの自動化と運用効率化 就業時間は10:00〜19:00、WEB面談1回(弊社同席)を予定しています。 募集背景 マルチクラウドでのデータ基盤強化とスケール対応に伴う増員のため、即戦力となるデータエンジニアを募集します。

必須スキル

データエンジニア ・AWSでのインフラ構築/運用経験(S3, IAM, VPC など) ・GCPの構築経験(特に BigQuery と IAM/ネットワーク設定) ・BigQuery を用いた分析SQLの実務経験(パーティショニング/クラスタリングの知見) ・AWS Glue(PySpark)でのETL開発とパフォーマンスチューニング経験 ・Terraform によるIaCの実践経験(マルチクラウドまたは複数環境)

歓迎スキル

・Looker Studio 等でのBIダッシュボード構築経験 ・Airflow/MWAA による複雑ジョブの管理経験 ・Delta Lake / Apache Iceberg / Apache Hudi を用いたレイクハウス設計 ・Kinesis/Firehose/Pub/Sub などを用いたストリーミング処理 ・Python / Go / Java によるツール・ユーティリティ開発

稼働条件

週5日常駐(九段下) / 平均160〜180時間/月を想定 / 常駐

契約形態

業務委託(フリーランス)

開発環境

・クラウド: AWS(S3, IAM, VPC, Glue, Lake Formation, MWAA など), GCP(BigQuery, IAM, VPC, Pub/Sub 等) ・データ処理: Apache Spark, PySpark, BigQuery SQL ・IaC/CI: Terraform, GitHub/GitLab CI 等 ・ワークフロー: Apache Airflow ・その他: データモデリング、セキュリティ/ガバナンス設計、データ品質テスト自動化 Java、Python、Go言語、SQL、AWS、Spark、Google Cloud Platform(GCP)、Apache、GitHub、BigQuery、Terraform

作業時間

10:00〜19:00(休憩1時間)

精算基準時間

140h〜180h

募集回数

1回

企業名

サービス/プロジェクト名

詳細スケジュール/リリース時期

現場責任者の雰囲気

開発体制の詳細

詳細は面談でお伝えします。ご相談ください。

一部の情報は非公開の場合があります

案件について詳しく聞いてみませんか?

知りたい内容を選んでください(複数選択可)