【基本リモート/AWS】IoTデータ基盤改修 データエンジニア
作業内容
IoTプラットフォーム向けデータ基盤改修プロジェクトにて、 メダリオンアーキテクチャをベースとした大規模データ基盤再構築を担当いただきます。 データレイクからDWH、データマートまでの各レイヤーにおいて、ETL再設計や過去データ移行、DWHテーブル再設計などを推進します。 263億行規模のセンサーデータ移行では、 Aurora MySQLからAurora PostgreSQLへの移行設計およびパーティションアタッチ方式による段階移行を実施します。 また、既存Lambda構成のGlue Job統合、Step Functionsを用いたオーケストレーション再設計、 EAIフロー統合、Silver層ETL改修なども担当いただきます。 技術リードとして、既存ADRや設計書レビュー、PoC実装、移行手順設計、 オフショアチームへの設計指示・レビューも実施いただく想定です。 【技術スタック】 ・クラウド：AWS ・ETL：AWS Glue / Apache Spark / Apache Hudi ・データベース：Aurora PostgreSQL / Aurora MySQL ・ストレージ：S3 ・オーケストレーション：Step Functions / EventBridge / Glue Workflow ・IaC：AWS CDK(TypeScript) ・監視：CloudWatch / New Relic ・EAI：Asteria Warp ・ドキュメント：Markdown / Mermaid / ADR 【作業期間】 2026年6月〜2026年9月
必須スキル
・Apache Spark / AWS Glue / Apache Hudi のいずれかを用いたデータパイプラインの設計・実装経験（2年以上） ・PostgreSQLまたはMySQL等のRDBでの大規模データ移行経験 ・pg_dump / pg_restore / パーティションテーブル設計経験 ・億行〜数十億行規模のデータ取り扱い経験 ・メダリオンアーキテクチャに基づくデータ基盤設計または運用経験 ・AWSデータ基盤サービスを用いたETL構築経験 ・本番サービスのデータ移行・スキーマ変更経験 ・日本語での技術折衝経験 ・既存設計書レビューおよび設計判断経験
歓迎スキル
・Apache Hudi の COW / MOR 運用経験 ・IoT / エネルギー系データ処理経験 ・Asteria Warp 等のEAIツール経験 ・AWS DMS / Schema Conversion Tool経験 ・AWS CDK(TypeScript)経験 ・ベトナムオフショアチームへの設計指示経験 ・データ品質検証自動化経験 ・大手SI案件またはエンタープライズ案件経験
稼働条件
リモート
契約形態
業務委託(フリーランス)
開発環境
TypeScript, SQL, MySQL, PostgreSQL, AWS, Apache, Spark
募集回数
1回
スキル
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
この案件を掲載しているエージェントについて
エンジニアファクトリー
運営会社：アイムファクトリー株式会社案件について詳しく聞いてみませんか？
知りたい内容を選んでください（複数選択可）