【Databricks/Python】大手金融機関向け AI Agentナレッジ基盤データエンジニア支援
作業内容
大手金融機関における法人営業支援用AI Agentアプリケーション開発プロジェクトに参画いただきます。 AI Agentが参照するナレッジ基盤のデータ設計、構築、運用をご担当いただくポジションです。 AzureおよびDatabricks環境において、各種データをAIが効率的に利用できるよう構造化・体系化し、検索やRAG(検索拡張生成)で活用するためのデータパイプラインおよびデータセットの構築を推進していただきます。 【主な業務内容】 ・Databricksを用いたデータ基盤の設計、構築、運用 ・多種多様なデータソースの取り込み・加工・提供に至るETL/ELTパイプラインの設計および実装 ・SQLを活用したデータモデリングおよびデータマートの設計 ・ナレッジ活用を見据えたデータ構造化とメタデータ設計 ・検索・RAG向けデータマート、インデックス用データセットの設計・提供 ・データ品質、鮮度、整合性を担保するためのテスト・監視・ジョブ運用設計 ・設計書、仕様書等の各種ドキュメント作成 ・クライアント、PM、AI/アプリ開発チームとの仕様調整 募集背景 大手金融機関における法人営業支援AI Agent開発プロジェクトの本格稼働に伴い、ナレッジ基盤となるデータエンジニアリング領域を牽引いただける即戦力エンジニアを募集いたします。
必須スキル
・Databricksを用いたデータ基盤の設計・構築・運用実務経験 ・SQLを用いたデータモデリングおよびデータマート設計の実務経験(3年以上) ・ETL/ELTパイプラインの設計・実装・運用実務経験(3年以上) ・Pythonを用いた実務開発経験
歓迎スキル
・Data Lakeやメダリオンアーキテクチャの設計・運用経験 ・Azure環境におけるデータ基盤の開発・運用経験 ・RAGや検索システム向けデータ整備・加工の実務経験 ・Databricks WorkflowsやAirflow等を用いたワークフロー運用経験 ・Terraform、Azure Bicepなどを活用したIaC(Infrastructure as Code)の経験 ・大規模エンタープライズにおける業務システムまたはデータ基盤開発の経験 ・金融業界や法人営業、商品提案業務に関するドメイン知識
稼働条件
週5日稼働(原則常駐、状況に応じて一部リモート相談可) / 一部リモート可
契約形態
業務委託(フリーランス)
開発環境
【クラウド/基盤】Databricks, Microsoft Azure, Data Lake 【言語】Python, SQL 【ワークフロー/IaC】Databricks Workflows, Apache Airflow, Terraform, Azure Bicep 【その他】RAG, メダリオンアーキテクチャ
精算基準時間
140h〜180h
募集回数
1回
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
案件について詳しく聞いてみませんか?
知りたい内容を選んでください(複数選択可)