【Flink/Kafka】社内データゲートウェイ基盤開発案件
作業内容
社内の数百に及ぶシステムからDWH(データウェアハウス)へデータ連携を行うデータゲートウェイ基盤の開発をご担当いただきます。 【具体的な業務内容】 ・Debezium、Flink、Kafkaを活用したCDC(Change Data Capture)アーキテクチャによるリアルタイムデータ同期パイプラインの設計および構築 ・大量データを低遅延かつ安定して処理するためのストリーミング処理基盤の最適化 ・関連システムとの連携テストおよび保守運用の整備 募集背景 データ活用推進に伴う社内データ連携基盤の新規構築およびリアルタイムデータパイプライン強化のため。
必須スキル
・Apache FlinkまたはApache Beam等を用いたストリームデータ処理アプリケーションの開発経験 ・CDC(Change Data Capture)技術を利用したデータ同期システムの構築・運用経験 ・イベント駆動型アーキテクチャ(Event-Driven Architecture)に基づく開発経験
歓迎スキル
・Apache Kafkaの大規模クラスタ運用またはチューニング経験 ・クラウド環境(AWS/GCP等)上での大規模データ基盤の構築経験 ・データモデリングやDWH構築に関する知識・経験
稼働条件
週5日(出社週2〜3日、リモート併用) / 約160時間/月 / 一部リモート可
契約形態
業務委託(フリーランス)
開発環境
言語/フレームワーク: Apache Flink, Apache Beam, Java, Scala, Python等 ミドルウェア/インフラ: Debezium, Apache Kafka, DWH関連技術
作業時間
09:30〜18:30
精算基準時間
140h〜180h
募集回数
1回
職種・ポジション
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
案件について詳しく聞いてみませんか?
知りたい内容を選んでください(複数選択可)