【AWS/GCP/データエンジニア】データ基盤構築(常駐)
作業内容
エンド直案件にて、九段下常駐でデータレイク/ETL基盤の設計・構築・運用を担当いただきます。 主な業務は以下の通りです。 ・データレイクおよびETL基盤の構築 ・AWS Glue(Apache Spark/PySpark)による分散処理とETL開発 ・S3/Lake Formation を利用したデータ管理とセキュリティ設計 ・BigQuery を中心としたDWH環境の整備、データモデリング、クエリ最適化 ・AWS→GCP 間のデータ連携パイプライン最適化 ・Terraform を活用したIaCによるマルチクラウドの構成管理/自動化 ・Airflow/MWAA 等のワークフロー管理とCI/CD基盤整備 ・データ品質テストの自動化と運用効率化 就業時間は10:00〜19:00、WEB面談1回(弊社同席)を予定しています。 募集背景 マルチクラウドでのデータ基盤強化とスケール対応に伴う増員のため、即戦力となるデータエンジニアを募集します。
必須スキル
・AWSでのインフラ構築/運用経験(S3, IAM, VPC など) ・GCPの構築経験(特に BigQuery と IAM/ネットワーク設定) ・BigQuery を用いた分析SQLの実務経験(パーティショニング/クラスタリングの知見) ・AWS Glue(PySpark)でのETL開発とパフォーマンスチューニング経験 ・Terraform によるIaCの実践経験(マルチクラウドまたは複数環境)
歓迎スキル
・Looker Studio 等でのBIダッシュボード構築経験 ・Airflow/MWAA による複雑ジョブの管理経験 ・Delta Lake / Apache Iceberg / Apache Hudi を用いたレイクハウス設計 ・Kinesis/Firehose/Pub/Sub などを用いたストリーミング処理 ・Python / Go / Java によるツール・ユーティリティ開発
稼働日数
週5日常駐(九段下) / 平均160〜180時間/月を想定
勤務形態
常駐
勤務地
九段下駅
開発環境
・クラウド: AWS(S3, IAM, VPC, Glue, Lake Formation, MWAA など), GCP(BigQuery, IAM, VPC, Pub/Sub 等) ・データ処理: Apache Spark, PySpark, BigQuery SQL ・IaC/CI: Terraform, GitHub/GitLab CI 等 ・ワークフロー: Apache Airflow ・その他: データモデリング、セキュリティ/ガバナンス設計、データ品質テスト自動化 Java、Python、Go言語、SQL、AWS、Spark、Google Cloud Platform(GCP)、Apache、GitHub、BigQuery、Terraform
作業時間
10:00〜19:00(休憩1時間)
精算基準時間
140h〜180h
募集回数
1回
スキル
募集背景
この案件は、新規プロジェクトの立ち上げに伴い、経験豊富なエンジニアを募集しています。チームは10名規模で、アジャイル開発を採用しています。現場の雰囲気は和やかで、コミュニケーションを大切にしています。
募集人数
2名を予定しており、即日参画可能な方を優先的にご案内いたします。経験年数は3年以上を想定しています。フロントエンド1名、バックエンド1名の募集となります。
企業名
大手IT企業の子会社で、安定した経営基盤を持っています。詳細は面談時にご案内いたします。上場企業グループの一員として、長期的なプロジェクトを多数抱えています。
チーム人数
チーム構成はフロントエンド3名、バックエンド5名、インフラ2名となっています。プロジェクトマネージャー1名、デザイナー2名も在籍しています。総勢13名のチームで開発を進めています。
現場の雰囲気
アジャイル開発を採用しており、チーム内のコミュニケーションを大切にしています。週1回の定例会議があり、意見交換が活発です。リモートワークも可能で、柔軟な働き方ができます。
案件について詳しく聞いてみませんか?
知りたい内容を選んでください(複数選択可)