【データインフラ/フルリモート】大規模データ基盤の設計・構築エンジニア
作業内容
データインフラの専門家として、以下の業務を担当していただきます。 * データリネージ機能の設計と構築： ロボットデータの処理過程を追跡可能にする仕組みを、技術選定を含めて確立します。 * データカタログ基盤の構築： OpenMetadataなどの導入を検討し、Iceberg/PostgreSQL/Dagsterとの連携を設定します。 * 認証基盤の移行： KeycloakをAWS上にデプロイし、既存のCognitoからのIdP移行と管理を行います。 * データパイプラインのマルチテナント対応： Dagster/Iceberg/Nessieを活用し、ネームスペースの分離によるマルチテナント化を進めます。 * AWSインフラの改善と最適化： ECSのリソース調整、効率的なモニタリング設計、およびコスト最適化を実施します。
必須スキル
このポジションでは、以下のスキルと経験が必須となります。 * データパイプラインの設計および構築経験（Dagster、Airflow、dbtのいずれかを使用）。 * データリネージやデータカタログに関する設計経験、またはアーキテクチャレベルでの深い知見。 * AWS環境におけるインフラ構築と運用経験（ECS、RDS、ALB、S3など）。 * Terraformを使用したInfrastructure as Code (IaC) の経験。 * DockerおよびDocker Composeを用いた開発環境構築の経験。 * GitHubを利用したチーム開発の経験。 * 技術選定、設計、実装、そして運用までを自律的に遂行できる能力。
歓迎スキル
以下のスキルや経験をお持ちの方は特に歓迎します。 * データカタログの導入・運用経験（OpenMetadata、Apache Atlas、DataHubなど）。 * データメッシュやメダリオンアーキテクチャといった概念への理解。 * Apache Iceberg、Nessie、Trinoなどのデータレイク技術の経験。 * 認証基盤の構築経験（Keycloak、OAuth2、OIDCなど）。 * Pythonを用いたツールやスクリプト開発の経験。
稼働条件
週5日 / 160時間/月 (目安) / フルリモート
契約形態
業務委託(フリーランス)
開発環境
主要な開発環境・技術スタック： * データパイプライン: Dagster, Airflow, dbt * データカタログ: OpenMetadata, Apache Atlas, DataHub * データレイク: Apache Iceberg, Nessie, Trino * 認証: Keycloak, OAuth2, OIDC * クラウド: AWS (ECS, RDS, ALB, S3) * IaC: Terraform * コンテナ: Docker, Docker Compose * バージョン管理: GitHub * データベース: PostgreSQL * 開発言語: Python
作業時間
9:00～18:00 (目安)
精算基準時間
140h〜180h
募集回数
1回
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
案件について詳しく聞いてみませんか？
知りたい内容を選んでください（複数選択可）