【基本リモート/AWS】データインフラエンジニア/データ基盤設計構築
作業内容
ロボットデータを扱うデータ基盤のインフラ設計・構築を担当いただきます。AWSを活用したデータ基盤上で、データリネージ機能の設計・構築、データカタログ基盤の構築、認証基盤の移行、データパイプラインのマルチテナント対応、インフラ最適化などを推進します。技術選定から設計、実装、運用まで一貫して携わり、アーキテクチャレベルでの設計をリードしていただきます。 【技術スタック】 ・クラウド：AWS ・コンテナ：Docker ・IaC：Terraform ・データ基盤：Dagster ・データレイク：Apache Iceberg ・データ管理：OpenMetadata ・認証基盤：Keycloak ・データベース：PostgreSQL ・クエリエンジン：Trino ・Webサーバー：Nginx
必須スキル
・データパイプラインの設計・構築経験（Dagster / Airflow / dbt 等いずれか） ・データリネージやデータカタログの設計経験、またはアーキテクチャレベルでの知見 ・AWSでのインフラ構築・運用経験（ECS / RDS / ALB / S3等） ・TerraformによるIaCの経験 ・Docker / Docker Composeを用いた環境構築経験 ・GitHubを用いた開発経験 ・技術選定・設計から実装・運用まで自走できること
歓迎スキル
・データカタログの導入・運用経験（OpenMetadata / Apache Atlas / DataHub等） ・データメッシュやメダリオンアーキテクチャ等のデータ基盤設計パターンへの理解 ・Apache Iceberg / Nessie / Trino等のデータレイク技術の経験 ・認証基盤の構築経験（Keycloak / OAuth2 / OIDC） ・Pythonでのツール・スクリプト開発経験 ・データ品質管理・データガバナンスの設計経験 ・コスト最適化・モニタリング設計の経験
稼働条件
フルリモート
契約形態
業務委託(フリーランス)
開発環境
Python, SQL, PostgreSQL, AWS, Git, Terraform, Apache, nginx, Docker
募集回数
1回
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
この案件を掲載しているエージェントについて
エンジニアファクトリー
運営会社：アイムファクトリー株式会社案件について詳しく聞いてみませんか？
知りたい内容を選んでください（複数選択可）