【基本リモート/AWS】IoTデータ基盤改修 データエンジニア
作業内容
IoTプラットフォーム向けデータ基盤改修プロジェクトにて、 メダリオンアーキテクチャをベースとした大規模データ基盤再構築を担当いただきます。 データレイクからDWH、データマートまでの各レイヤーにおいて、ETL再設計や過去データ移行、DWHテーブル再設計などを推進します。 263億行規模のセンサーデータ移行では、 Aurora MySQLからAurora PostgreSQLへの移行設計およびパーティションアタッチ方式による段階移行を実施します。 また、既存Lambda構成のGlue Job統合、Step Functionsを用いたオーケストレーション再設計、 EAIフロー統合、Silver層ETL改修なども担当いただきます。 技術リードとして、既存ADRや設計書レビュー、PoC実装、移行手順設計、 オフショアチームへの設計指示・レビューも実施いただく想定です。 【技術スタック】 ・クラウド：AWS ・ETL：AWS Glue / Apache Spark / Apache Hudi ・データベース：Aurora PostgreSQL / Aurora MySQL ・ストレージ：S3 ・オーケストレーション：Step Functions / EventBridge / Glue Workflow ・IaC：AWS CDK(TypeScript) ・監視：CloudWatch / New Relic ・EAI：Asteria Warp ・ドキュメント：Markdown / Mermaid / ADR 【作業期間】 2026年6月〜2026年9月
必須スキル
・Apache Spark / AWS Glue / Apache Hudi のいずれかを用いたデータパイプラインの設計・実装経験（2年以上） ・PostgreSQLまたはMySQL等のRDBでの大規模データ移行経験 ・pg_dump / pg_restore / パーティションテーブル設計経験 ・億行〜数十億行規模のデータ取り扱い経験 ・メダリオンアーキテクチャに基づくデータ基盤設計または運用経験 ・AWSデータ基盤サービスを用いたETL構築経験 ・本番サービスのデータ移行・スキーマ変更経験 ・日本語での技術折衝経験 ・既存設計書レビューおよび設計判断経験
歓迎スキル
・Apache Hudi の COW / MOR 運用経験 ・IoT / エネルギー系データ処理経験 ・Asteria Warp 等のEAIツール経験 ・AWS DMS / Schema Conversion Tool経験 ・AWS CDK(TypeScript)経験 ・ベトナムオフショアチームへの設計指示経験 ・データ品質検証自動化経験 ・大手SI案件またはエンタープライズ案件経験
稼働条件
リモート
契約形態
業務委託(フリーランス)
開発環境
TypeScript, SQL, MySQL, PostgreSQL, AWS, Apache, Spark
募集回数
1回
職種・ポジション
スキル
募集背景
この案件は、新規プロジェクトの立ち上げに伴い、経験豊富なエンジニアを募集しています。チームは10名規模で、アジャイル開発を採用しています。現場の雰囲気は和やかで、コミュニケーションを大切にしています。
募集人数
2名を予定しており、即日参画可能な方を優先的にご案内いたします。経験年数は3年以上を想定しています。フロントエンド1名、バックエンド1名の募集となります。
企業名
大手IT企業の子会社で、安定した経営基盤を持っています。詳細は面談時にご案内いたします。上場企業グループの一員として、長期的なプロジェクトを多数抱えています。
チーム人数
チーム構成はフロントエンド3名、バックエンド5名、インフラ2名となっています。プロジェクトマネージャー1名、デザイナー2名も在籍しています。総勢13名のチームで開発を進めています。
現場の雰囲気
アジャイル開発を採用しており、チーム内のコミュニケーションを大切にしています。週1回の定例会議があり、意見交換が活発です。リモートワークも可能で、柔軟な働き方ができます。
この案件を掲載しているエージェントについて
エンジニアファクトリー
運営会社：アイムファクトリー株式会社案件について詳しく聞いてみませんか？
知りたい内容を選んでください（複数選択可）