PharmaXは、健康を一生涯サポートするかかりつけオンライン薬局『YOJO』を運営しています。
YOJOでは、LLMのマルチエージェント・アプリケーションを構築し、メッセージの薬剤師への提案や一部自動送信を行っています。LLMを用いることで、柔軟でパーソナライズされた対応が迅速に可能になり、ユーザーのメッセージ返信率や初回購入率・継続率が劇的に向上しました。また、安全性担保のため、LLMの出力のリアルタイム評価と、基準値を下回った場合の再生成機能なども導入しています。
このマルチエージェント構成はLangChain・LangGraphで構築されています。
実験管理や評価にはLagnSmithをフル活用しています。これにより、LLMの精度改善のための高速なプロンプトチューニングサイクルを実現しました。さらに、出力をアノテーションしたデータを蓄積し、fine-tuningを行うことで、さらなる精度向上とコスト削減を両立しています。
今回は、LangSmithを使って、どのように上記のようなLLM Opsを構築してるか中心にお話します。