Langfuseで始めるLLMOps実践ハンズオントレーニング

〜アプリの可視化・評価・プロンプト管理を徹底解説〜

「ブラックボックスなAI」から、「全てをログで説明できるAI」へ。
AIエージェント開発の本番運用（プロダクション）課題を、Langfuseを用いた実践型ワークショップで一気に解決！

LLMやAIエージェントを活用したプロダクト開発において、最大の難所は「本番運用（プロダクション）」にあります。

内部動作のブラックボックス化：AIエージェント内で、どのツールがどのように呼び出されたかわからない
デグレードの恐怖：プロンプトやモデルを変更した際、本当に全体の精度が向上したかを確信を持てない
異常検知の不備：スコープ外のリクエストや、ユーザーからの不満・反論をどう検知してフィードバックループを回すか

本トレーニングは、世界中で急速に採用が進むLLMOpsプラットフォーム「Langfuse」の公式ワークショップ（The AI Engineering Loop, End to End）の構成に準拠。TypeScriptとOpenAI API、そして2つのローカルツールを組み合わせた「ITサポートエージェント（Dad IT Support Agent）」をベースアプリとして使用し、実際に手を動かしながら課題を解決します。

本ワークショップで得られるスキル・実践内容

全ステップのトレース（動作可視化）：エージェントの内部挙動をすべてログ化
プロンプトの完全管理：コードからの分離、バージョン管理、再デプロイ不要の切り替え
LLM-as-a-judgeによる本番モニタリング：異常値やネガティブフィードバックの自動検知
テストデータセット構築 & Experiments：データセットを用いた一括テスト・自動評価
品質改善ループの完全マスター：「変更 → 再実行 → 比較 → 出荷判断」のAIエンジニアリングループを体験

開催概要

項目	詳細
イベント形式	実践ハンズオントレーニング（オフライン開催）
日時	2026年9月9日（水） 15:00 – 18:00（受付開始 14:30〜）
会場	ミッドタウン東京（六本木）（〒107-0052 東京都港区赤坂9-7-1）
参加費	無料（事前登録制）
持ち物	ノートPC（事前に環境構築を完了させてご参加ください）

タイムテーブル

時間	モジュール	内容
15:00 – 15:10	Module 00: Setup	開発環境およびAPIキー等のセットアップ確認
15:10 – 15:25	Module 01: Base App	サンプルアプリ（ITサポートエージェント）の基本動作確認
15:25 – 15:45	Module 02: Tracing	Langfuseを用いた可観測性（ログ・トレース取得）の確保
15:45 – 16:10	Module 03: Prompt	プロンプトの完全管理・コードからの分離・動的デプロイ
16:10 – 16:30	Module 04: Monitor	本番環境における異常・ネガティブフィードバックの自動検知
16:30 – 16:50	Module 05: Dataset	検証用・テスト用データセットの構築
16:50 – 17:15	Module 06: Experiment	データセットに対する実験（一括テスト）の実行
17:15 – 17:45	Module 07: Eval.	プロンプト比較と自動スコアリング（ルールベース & LLM-as-a-judge）
17:45 – 18:00	Module 08: Wrap-up	まとめ：自社プロダクトへのAIエンジニアリングループ適用

参加条件・事前準備

当日はハンズオン演習時間を最大限確保するため、必ず事前に以下の準備をお済ませのうえご来場ください。

1. 開発環境

Node.js（LTS版推奨）および npm が動作するPC
Git（コマンドライン操作が可能なこと）
コードエディタ（VS Code等任意の環境。AIコーディングアシスタントの利用も可ですが、コア演習部分は手動実装を推奨します）

2. APIキー・アカウント発行

OpenAI API Key
- platform.openai.com にて発行。アプリ実行に加え、Langfuse上のLLM-as-a-judge評価用モデルとしても使用します。
Langfuse アカウント & プロジェクト
- Langfuse Cloud（無料プランで受講可能）に登録し、プロジェクトを作成してください。
- Settings -> API Keys から Public Key および Secret Key を取得しておいてください。

3. 演習の進め方について

本ワークショップでは、公式リポジトリ（langfuse/langfuse-workshop）を git clone し、各モジュールのチェックポイントタグ（例: checkpoint/02-tracing）を checkout しながら進めます。
各章は「タグ切り替え → 不足コードの追加実装 → Langfuseダッシュボードで確認」の流れで進行します（途中の章からでも追いつける設計です）。
APIキーはリポジトリ直下の .env ファイルに設定し、ローカルで npm run dev を実行してブラウザから操作します。