【データインフラ/AWS/Dagster/フルリモート】データインフラエンジニア
この案件を3行でまとめると
- データインフラエンジニアとして、データリネージ機能の設計・構築を担当します。
- データカタログ基盤構築、認証基盤移行、マルチテナント対応、AWSインフラ最適化を行います。
- フルリモートで週5日稼働、月額950,000円の報酬が魅力です。
作業内容
データリネージ機能の設計・構築をお任せします。 データカタログ基盤(OpenMetadata等、Iceberg/PostgreSQL/Dagster連携)の構築や、 認証基盤の移行(KeycloakのAWSデプロイ、Cognitoからの移行)も担当いただきます。 さらに、データパイプラインのマルチテナント対応(Dagster/Iceberg/Nessie)や、 AWSインフラの改善・最適化(ECSリソース調整、モニタリング、コスト最適化)も重要な業務です。
必須スキル
データパイプラインの設計・構築経験(Dagster, Airflow, dbtなど)は必須です。 データリネージやデータカタログに関する設計経験、またはアーキテクチャの深い知見が求められます。 AWSインフラ(ECS, RDS, ALB, S3など)の構築・運用経験、TerraformによるIaCの経験、 Docker/Docker Composeの活用経験も必要です。GitHubを用いた開発経験があり、 技術選定から設計、実装、運用まで一貫して自走できる方を歓迎します。
歓迎スキル
データカタログの導入・運用経験(OpenMetadata, Atlas, DataHubなど)があれば尚可。 メダリオンアーキテクチャに関する知識、Iceberg/Nessie/Trinoの利用経験をお持ちの方。 Keycloak, OAuth2, OIDCなどの認証基盤の知見、Pythonでの開発経験、 データ品質管理に関する経験も歓迎します。
稼働条件
週5日稼働を想定していますが、0.8人月換算での単価となります。 / 週5日稼働(月140時間程度)を想定していますが、0.8人月換算での単価となります。 / フルリモート
契約形態
業務委託(フリーランス)
開発環境
主な開発環境はAWS上で行われ、ECS, RDS, ALB, S3などのサービスを利用します。 データ基盤にはOpenMetadata, Iceberg, PostgreSQL, Dagster, Nessie, Trinoなどを使用。 認証にはKeycloak, Cognito, OAuth2, OIDC。 Infrastructure as CodeにはTerraform、コンテナ技術としてDocker/Docker Compose、 バージョン管理にはGitHubを使用します。その他、Airflowやdbt、Pythonも利用します。
作業時間
個人の裁量に任せており、柔軟な働き方が可能です。
募集回数
1回
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
この案件のおすすめポイント
- フルリモートで勤務できるため、場所を選ばず業務に集中できます。
- データパイプライン設計・構築経験がある方にとって、DagsterやIcebergを活用した実務経験を積める案件です。
- AWSインフラ(ECS, RDS, ALB, S3)の運用経験を活かし、コスト最適化やモニタリング改善に携わることができます。
よくある質問
案件について詳しく聞いてみませんか?
知りたい内容を選んでください(複数選択可)