【Python/Spark・AWS Glue/Step Functions】データサービス基盤(ODS/Data-Hub)開発
作業内容
データ活用基盤において、各種源泉システムからのデータ蓄積を担う ODS(Operational Data Store) と、源泉システムと ODS 間のデータ連携を実現する Data-Hub を中核コンポーネントとして設計・実装します。 基本設計以降の工程を担当し、ETL/ELT パイプラインの設計・構築、バッチ/ストリーミング処理、API 連携の実装、クラウド上での運用まで幅広く対応いただきます。 主な利用技術は Python、Spark、AWS Glue、AWS Step Functions、EMR、Lambda、各種データベースとなります。
必須スキル
・DWH/ODS の設計・開発経験 ・ETL/ELT パイプラインの設計および実装経験 ・AWS を用いたデータ基盤開発（Glue／Step Functions／EMR／Lambda など） ・データベース操作の実務経験 ・バッチ処理／ストリーミング処理／外部API連携の実装経験 ・Python／Spark を用いた開発経験5年以上
歓迎スキル
・データ品質管理、監視基盤の設計運用経験 ・CI/CD（CodePipeline, GitHub Actions 等）によるデータパイプラインの自動化経験 ・メタデータ管理、データカタログ（Glue Data Catalog など）の活用経験 ・セキュリティ設計（IAM、ネットワーク、鍵管理）への知見 ・大規模データのパフォーマンスチューニング経験
稼働条件
週5日 / 常駐
面談回数
1回
契約形態
業務委託(フリーランス)
開発環境
言語・FW: Python, PySpark, Apache Spark クラウド: AWS（Glue, Step Functions, EMR, Lambda, S3, CloudWatch, IAM など） データベース: RDS/Redshift/各種RDBMS その他: API 連携、バッチ/ストリーミング処理、Git, チケット管理ツール
作業時間
10:00〜19:00（想定、前後調整の可能性あり）
精算基準時間
140~180時間 (上下割)
募集回数
1回
募集背景
データ活用強化に伴うデータサービス基盤の新規/拡張開発のための増員募集です。年内からの立ち上げを優先しています。 担当工程 基本設計,詳細設計,実装,テスト,運用・保守,データ分析 募集人数 3人 チーム規模 6-10名 平均稼働時間 目安160〜180時間/月 現場の雰囲気 クラウドネイティブな技術選定で、手を動かしながら推進する実装志向のチーム。 案件担当のコメント AWS上でのデータ基盤構築経験を活かせる環境です。12月から参画可能な方を優先しますが、スキルマッチが高い方は柔軟に調整いたします。
スキル
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
この案件のおすすめポイント
- 30代活躍中
- 外国籍が活躍中
- 新技術に積極的
- 安定稼働
- 長期案件
- 急募
- 即日参画可能
この案件を掲載しているエージェントについて
広済堂ビジネスサポート
運営会社：株式会社広済堂ビジネスサポート案件について詳しく聞いてみませんか？
知りたい内容を選んでください（複数選択可）