【AWS/Dagster/Iceberg/フルリモート】データインフラエンジニア
作業内容
データインフラ領域における多様な業務をお任せします。具体的には、以下のようなプロジェクトに参画いただきます。 - ロボットデータの処理過程を追跡するデータリネージ機能の設計・構築（技術選定を含む） - データカタログ基盤の導入と構築（OpenMetadata等の検討、Iceberg/PostgreSQL/Dagsterとの連携設定） - 認証基盤の移行プロジェクト（KeycloakのAWSデプロイ、某クラウド認証サービスからのIdP移行管理） - データパイプラインのマルチテナント対応（Dagster/Iceberg/Nessieを用いたネームスペース分離） - AWSインフラのパフォーマンス改善と最適化（ECSリソース調整、モニタリング設計、コスト最適化） 募集背景 データ基盤の強化と拡張を推進するため、自律的にプロジェクトを牽引し、アーキテクチャ設計や技術選定から貢献できる方を募集しています。
必須スキル
Iceberg - データパイプラインの設計・構築経験（Dagster, Airflow, dbtなどのいずれか） - データリネージまたはデータカタログの設計経験、またはアーキテクチャレベルでの深い知見（技術選定から設計まで主導できる能力） - AWSにおけるインフラ構築・運用経験（ECS, RDS, ALB, S3など） - Terraformを用いたIaC（Infrastructure as Code）の経験 - Docker/Docker Composeを活用した環境構築の経験 - GitHubを利用したチーム開発の経験 - 技術選定から実装、そして運用まで自律的に推進できる能力
歓迎スキル
- OpenMetadata, Apache Atlas, DataHubなどのデータカタログの導入・運用経験 - データメッシュやメダリオンアーキテクチャといった、データ基盤設計パターンの理解 - Apache Iceberg, Nessie, Trinoなどのデータレイク技術の経験 - Keycloak, OAuth2, OIDCを用いた認証基盤の構築経験 - Pythonでのツール開発やスクリプト作成の経験 - データ品質管理やデータガバナンスの設計経験 - AWSにおけるコスト最適化やモニタリング設計の経験
稼働条件
週4日相当の稼働を想定しています。 / 週4日相当の稼働を想定しており、約128～160時間/月です。 / フルリモート
契約形態
業務委託(フリーランス)
開発環境
主要技術スタック：Dagster, Apache Iceberg, AWS (ECS, RDS, ALB, S3), Terraform, Docker, GitHub, Python その他：OpenMetadata, Apache Atlas, DataHub, Apache Nessie, Trino, PostgreSQL, Keycloak, OAuth2, OIDC, Airflow, dbt
作業時間
個人の裁量に任せる部分が大きく、柔軟な働き方が可能です。目安として10:00〜19:00を想定しています。
精算基準時間
140h〜180h
募集回数
1回
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
案件について詳しく聞いてみませんか？
知りたい内容を選んでください（複数選択可）