【基本リモート/小川町/AWS・GCP】ハイブリッドクラウド基盤 データパイプライン開発
作業内容
AWSとGCPを併用したハイブリッドクラウド基盤におけるデータパイプライン設計・開発を担当します。GlueによるETL処理、S3やLake Formationを活用したデータ管理、BigQueryを用いたDWH環境整備、Terraformによる環境構築の自動化、Airflowによるジョブ管理といった幅広い工程をお任せします。 【技術スタック】 ・開発言語：Python、Go、Java ・データ処理：AWS Glue（PySpark）、BigQuery ・インフラ：AWS、GCP ・IaC：Terraform ・ワークフロー管理：Airflow、MWAA ・データ管理：S3、Lake Formation ・BI：Looker Studio（尚可）
必須スキル
AWS・GCP ・AWS環境でのインフラ構築・運用経験（S3 / IAM / VPC など） ・GCP構築経験（BigQuery、IAM/ネットワーク設定） ・BigQueryでの分析SQL経験（パーティショニング/クラスタリング） ・AWS Glue（PySpark）でのETL開発 ・Terraformを用いたIaC実践
歓迎スキル
・Looker Studio等でのBIダッシュボード構築 ・Airflow / MWAAによるジョブ管理 ・Delta Lake / Iceberg / Hudiによるデータレイクハウス設計 ・ストリーミング処理（Kinesis / Firehose / Pub/Sub） ・Python / Go / Javaによるツール開発
稼働条件
フルリモート
契約形態
業務委託(フリーランス)
開発環境
Java, Python, SQL, AWS, GCP, Terraform, Spark
募集回数
1回
職種・ポジション
スキル
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
この案件を掲載しているエージェントについて
エンジニアファクトリー
運営会社：アイムファクトリー株式会社案件について詳しく聞いてみませんか？
知りたい内容を選んでください（複数選択可）