募集中NEW2時間前

【週4-5日/フルリモート/Python,Kubernetes,Terraform】SRE - MLOps／LLM推論基盤エンジニア｜GPU・vLLMによるセルフホスト環境の構築・最適化

1,360,000/月

作業内容

-------------------------------- ※「エンジニアとしての実務経験3年以上」「必須要件に記載されている言語の実務経験が2年以上」の方が対象の案件です ※外国籍の方は、「日本語能力検定1級」「日本語が母国語の方」の方が対象です ※20代〜40代の経験者が望ましい案件です ※平日日中での稼働が前提となります。 ※すでにFindy Freelanceで担当がついている方は、直接ご連絡いただいた方がスムーズです -------------------------------- - 複数サービス・複数モデルを統合的に扱う推論ゲートウェイの設計・実装 - vLLM等の推論エンジンを用いたセルフホスト推論環境の構築およびチューニング - スキルやツールごとのタスク性能特性の計測と、モデル・タスク間のルーティングポリシーの設計・実装 - 上位モデルから小型モデルへの置き換え、蒸留を含むコスト最適化ループの実装と可視化 - 本番の実行ログから評価データセットを継続的に生成するパイプラインの設計 - オフライン・オンライン評価の両輪設計（ルールベース評価、LLM-as-a-Judge等） - 障害検知・自動リトライ・部分再実行・冪等性設計・バックプレッシャ制御の実装 - トレース・メトリクス・コスト・品質を同一軸で追える可観測性の設計

必須スキル

Python,Kubernetes,Terraform - 分散システムまたはデータ基盤の設計・運用経験（目安3年以上） - Pythonでの本番システム開発経験、およびSQLを用いたデータ処理・分析の実務経験 - クラウド環境（Azure / AWS / GCP）におけるインフラ設計・運用経験、およびDocker / Kubernetes等を用いた本番運用経験 - Terraform / Bicep等のIaCやCI/CDを前提とした開発フローの設計・運用経験 - 性能・コスト・品質を数値で定義し、計測に基づいて改善を検証しながら、仕様が固まりきっていない領域でも自ら設計提案・実装推進できること上記経験に加え、以下のいずれか1つ以上の領域で実務的な深さを持っている方　- GPUを用いた推論・学習基盤の構築および運用経験（例：vLLM / TensorRT-LLM / SGLang等を用いたサービング、CUDA環境の運用）　- 複数バックエンドへのルーティングやトラフィック制御基盤の設計経験、またはコスト最適化を目的としたアーキテクチャ改善をリードした経験　- 機械学習またはLLMアプリケーションにおける評価パイプラインの構築経験（例：オフライン評価、A/Bテスト基盤、データ品質管理のいずれか）　- ワークフローオーケストレーション基盤の設計・運用経験、またはKubernetes Operator / コントローラの実装経験（例：Airflow / Dagster / Temporal / Argo等）

歓迎スキル

- LLMアプリケーションの本番運用経験（例：RAG、エージェント、ツール呼び出しなど） - モデル蒸留・量子化・ファインチューニングなど、モデル最適化に関する実務経験 - 推論経済性やコスト最適化を軸にした技術判断・改善経験（例：トークン単価、GPU時間あたりのスループット、FinOpsなど） - ストリーム処理基盤やイベント駆動アーキテクチャの設計経験（例：Kafka / Pub-Sub等） - MLOps / LLMOpsツールチェーンの導入・評価、およびLLMトレーシング・オブザーバビリティ基盤の設計・運用経験（例：OpenTelemetry / Langfuse等） - 大規模ログ基盤やデータ処理基盤の設計経験（例：データレイク、列指向フォーマット、クエリエンジンなど） - 音声認識・NLP関連サービスのインフラ経験、またはOSS貢献・技術発信・英語での技術文書読解など、技術動向を継続的にキャッチアップし実務へ活かした経験