【フルリモート / データ、AWS、Terraform / 週5】データリネージ基盤構築支援

【案件名】データリネージ基盤構築支援 【業務概要】 ロボットデータ基盤において、データ処理過程を追跡可能にするデータリネージ機能の設計・構築を支援。 【主な作業内容】 ・データリネージ機能の設計、構築 ・ロボットデータの処理過程を追跡可能にする仕組みの設計 ・データカタログ基盤の構築 ・OpenMetadata等の導入検討 ・Iceberg／PostgreSQL／Dagsterとの連携設定 ・認証基盤の移行対応 ・KeycloakのAWSデプロイ ・AWS Cognitoからの移行、IdP管理 ・データパイプラインのマルチテナント対応 ・Dagster／Iceberg／Nessieのネームスペース分離 ・AWSインフラの改善、最適化 ・ECSリソース調整、モニタリング、コスト最適化 【条件】 ・単価：90万 ・時期：7月～ ・リモート頻度：フルリモート ・外国籍：不可 ※帰化含め不可 ・個人事業主：可 ・地方：可 ・面談：2回（Web） ・年齢：40代まで 【必須スキル】 ・データパイプラインの設計・構築経験（Dagster、Airflow、dbt等いずれか） ・データリネージやデータカタログの設計経験、またはアーキテクチャレベルでの知見 ・AWSでのインフラ構築・運用経験（ECS、RDS、ALB、S3等） ・Terraformによるインフラコード管理の経験 ・Docker／Docker Composeを用いた環境構築経験 ・Git（GitHub）を用いた開発経験 ・技術選定・設計から実装・運用まで自走できる方 【尚可スキル】 ・データカタログの導入・運用経験（OpenMetadata、Apache Atlas、DataHub等） ・データメッシュやメダリオンアーキテクチャ等のデータ基盤設計パターンへの理解 ・Apache Iceberg／Nessie／Trino等のデータレイク技術の経験 ・認証基盤の構築経験（Keycloak、OAuth2／OIDC） ・Pythonでのツール・スクリプト開発経験 ・データ品質管理やデータガバナンスの設計経験 ・コスト最適化やモニタリング設計の経験 【開発環境】 ・クラウド：AWS（ECS Fargate、RDS、S3、ALB、CloudWatch） ・IaC：Terraform ・データ基盤：Dagster、Apache Iceberg、Nessie、Trino ・認証：Keycloak、AWS Cognito ・その他：Docker、OpenMetadata、Nginx 【備考】 ・契約形態：準委任契約（履行割合型） ・商流：貴社まで

1回