【Python/vLLM/GPU】公共向けオンプレLLM基盤構築・AIチャットボット開発支援

掲載終了6ヶ月前

【Python/vLLM/GPU】公共向けオンプレLLM基盤構築・AIチャットボット開発支援

650,000〜700,000/月

作業内容

公共系システム領域にて、GitLab Duo をオンプレ環境で安全に活用するため、H100クラス相当GPUを搭載した物理サーバ3台構成によるローカルLLM推論環境（vLLM）を設計・構築します。並行して、AIチャットボットの会話設計・意図判定・プロンプト整備などの開発支援も担当いただきます。主な作業内容: ・GPUサーバ×3によるオンプレ vLLM 推論基盤の構築/チューニング・GitLab Duo 等のAIコーディング支援をオンプレで利用するための連携・基盤整備・GPU入荷待ち期間中のプロンプトエンジニアリングやRAG/モデル評価の事前検証・将来的なRAG構築やファインチューニングの検討および実装・LLM活用チャットボットの設計/開発支援（会話設計、意図判定、プロンプト整備）・物理サーバ作業に伴う三鷹拠点での初期セットアップ対応勤務地は豊洲（三鷹でのセットアップ時作業あり）/新宿/テレワーク併用、期間は2026年1月〜3月（以降3ヶ月更新）を想定しています。

必須スキル

必須スキル: ・LLM を活用したシステム開発または検証の実務経験（プロンプトエンジニアリング、RAG、モデル評価など）・Linuxサーバの構築/運用スキル・Pythonでの開発経験（規模は不問）・新技術のキャッチアップに前向きに取り組める方・公共系のセキュリティ要件/制約下での開発に前向きに対応できる方

歓迎スキル

歓迎スキル: ・GitLab（CI/CD）の利用経験・オンプレ環境におけるサーバ/ネットワーク/ストレージの基礎知識・vLLM を用いたオンプレ LLM 推論基盤の構築・運用経験・LLMベースのチャットボット設計・開発経験

稼働条件

週5日 / 一部リモート可

面談回数

1回

契約形態

業務委託(フリーランス)

開発環境

開発/インフラ環境: ・言語/ランタイム: Python ・LLM推論: vLLM（オンプレ構成）・ハードウェア: H100クラス相当GPU搭載サーバ×3 ・CI/CD: GitLab（GitLab Duo 連携）・OS: Linux系ディストリビューション・関連技術: RAG、プロンプトエンジニアリング、モデル評価、ファインチューニング・運用: オンプレ環境でのセキュア運用、アクセス制御

作業時間

10:00〜18:30（実働7.5時間）

精算基準時間

150~150時間 (上下割)

募集回数

1回

募集背景

公共系領域における生成AI活用の需要拡大に伴い、セキュリティ要件を満たすオンプレLLM基盤の内製・運用体制を強化するための増員です。GPU調達と並行して事前検証を加速させる目的があります。担当工程要件定義,基本設計,詳細設計,実装,テスト,運用・保守,コンサルティング,マネジメント,データ分析,その他募集人数 1人チーム規模 6-10名平均稼働時間月間目安150時間、残業は事前許可制現場の雰囲気公共系らしくセキュアで落ち着いた環境。新技術の導入には前向きで、検証〜導入まで筋の通った進め方を重視します。案件担当のコメントオンプレ×vLLM×GPUでの実装と、プロンプト/RAG/評価の事前検証を一気通貫で経験できます。公共系のためセキュリティ要件は厳しめですが、手離れよく働けるテレワーク併用環境です。