データ基盤・パイプライン設計構築
作業内容
■業務内容: データソリューション領域を支えるデータ基盤・データパイプラインの開発・運用を担う、データエンジニアを募集します。特定のプロダクトに閉じず、3つの領域を横断してデータの取り込み・加工・提供を担う、データソリューション全体の中核となるポジションです。 データソリューションは、単なるデータ管理からAIを軸とした顧客価値提供へと構造転換を進めるフェーズにあり、その基盤となるデータエンジニアリングの重要性が高まっています。自走してデータパイプラインの開発・運用を進めながら、基盤全体の品質・生産性向上にも貢献いただける方を求めています。 【期待する役割】 - 短期:既存のデータパイプライン・データ基盤を早期にキャッチアップし、機能開発・改善とレビューを通じてアウトプットを安定的に出す。 - 長期:データ基盤のアーキテクチャ・品質・信頼性に積極的に関心を持ち、開発生産性とデータの安定供給に主体的に貢献する。 【具体的な業務内容】 - 横断したデータパイプライン(ETL/ELT)の設計・開発・運用 - Apache Spark を用いた大規模データ処理、および Iceberg 形式へのデータ変換処理の開発 - Argo Workflows によるジョブオーケストレーション/ワークフローの開発・運用 - データ不整合の検知やデータ品質担保の仕組み作り - データ処理基盤(Spark)のパフォーマンスチューニング - 障害発生時の調査・原因特定と、監視・再発防止の仕組み作り - AI開発ツール(Cursor/Claude Code等)を活用した開発生産性の向上
必須スキル
バックエンド開発経験またはデータエンジニアとしての開発経験, 実データを用いたデータ加工・集計・パフォーマンスチューニング経験(SQL等), AWSなどクラウドサービスを利用した開発経験, 週5日稼働が可能であること
歓迎スキル
大規模データを扱うデータパイプラインやデータ処理基盤の設計・開発・運用経験がある方, Kubernetes(EKS)やArgo Workflowsなどを用いたデータ基盤の開発・運用経験がある方, データ不整合検知や運用自動化など、サービス品質向上の取り組み経験がある方, チーム視点で全体最適を考え、自発的に行動できる方, 情報発信や技術アップデートに前向きで、ビジネスメンバーとも連携できる方
面談回数
1回
契約形態
業務委託(フリーランス)
開発環境
Python, Go, Java, SQL, AWS, Kubernetes, Docker, Tableau, JIRA
作業時間
09:00 〜 18:00
精算基準時間
140h 〜 180h
募集回数
1回
職種・ポジション
スキル
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
案件について詳しく聞いてみませんか?
知りたい内容を選んでください(複数選択可)
