【データリネージ/AWS/Terraform/フルリモート】データリネージ基盤構築支援
作業内容
某サービス向けデータ基盤において、データ処理過程を追跡可能にするデータリネージ機能の設計・構築をご支援いただきます。 具体的には、以下の業務をご担当いただきます。 ・データリネージ機能の設計、構築を進めていただきます。 ・ロボットデータの処理過程を追跡できる仕組みの設計。 ・データカタログ基盤の構築（OpenMetadataなどの導入検討を含む）。 ・Iceberg、PostgreSQL、Dagsterなど、様々な技術との連携設定。 ・認証基盤の移行対応（KeycloakのAWSデプロイ、AWS Cognitoからの移行、IdP管理）。 ・データパイプラインのマルチテナント対応（Dagster、Iceberg、Nessieのネームスペース分離）。 ・AWSインフラの改善、および最適化（ECSリソースの調整、モニタリング強化、コスト最適化など）。
必須スキル
・データパイプラインの設計・構築経験（Dagster, Airflow, dbt 等、いずれかの経験）。 ・データリネージやデータカタログの設計経験、またはアーキテクチャレベルでの深い知見。 ・AWS環境でのインフラ構築・運用経験（ECS, RDS, ALB, S3 等の知識）。 ・Terraformを用いたインフラコード管理の実務経験。 ・DockerおよびDocker Composeを使った開発環境構築の経験。 ・Git (GitHub) を活用したチーム開発経験。 ・技術選定や設計から、実装、そして運用までを自律的に遂行できる能力。
歓迎スキル
・データカタログの導入・運用経験（OpenMetadata, Apache Atlas, DataHub 等、いずれかの経験）。 ・データメッシュやメダリオンアーキテクチャなど、先進的なデータ基盤設計パターンへの理解。 ・Apache Iceberg, Nessie, Trinoといったデータレイク技術の実践経験。 ・認証基盤の構築経験（Keycloak, OAuth2 / OIDC に関する知識）。 ・Pythonによるツール開発やスクリプト作成経験。 ・データ品質管理やデータガバナンスの設計経験。 ・システム全体のコスト最適化やモニタリング設計の経験。
稼働条件
精算幅140～180時間を想定しています。 / 月間140～180時間を想定しています。 / フルリモート
契約形態
業務委託(フリーランス)
開発環境
AWS（ECS Fargate, RDS, S3, ALB, CloudWatch）、Terraform、Dagster/Apache Iceberg/Nessie/Trino、Keycloak/AWS Cognito、Docker/OpenMetadata/Nginx
精算基準時間
140h〜180h
募集回数
1回
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
案件について詳しく聞いてみませんか？
知りたい内容を選んでください（複数選択可）