スピーカー PromptLayer 創業者 Jared Zoneraich

概要

本発表では、大規模言語モデル（LLM）の評価手法の適応と改良のためにPromptLayer社が採用した戦略に焦点を当てました。講演者のJared Zoneraich氏は、評価エンジニアリングの反復的な性質、評価におけるカスタマイズの重要性、プロンプトエンジニアリングにおけるドメインの専門知識の必要性について議論しました。

主要なポイント

評価エンジニアリングは反復的である:  評価エンジニアリングは、静的で1回限りのプロセスではなく、継続的で反復的なサイクルです。AIシステムのパフォーマンスと精度を向上させるためには、プロンプト、評価指標、データセットを継続的に改良する必要がある。AIモデルが進化するにつれて、そのアウトプットを評価するための手法も進化し、システムが長期にわたって望ましい基準を満たすようにしなければなりません。

評価のカスタマイズ:  一般的な評価データセットは、金融やヘルスケアなどの高度に専門化された分野など、特定のユースケースに適用した場合、不足することがよくあります。評価指標とデータセットを特定のアプリケーションコンテキストに合わせて調整することは、正確な評価のために極めて重要です。カスタマイズすることで、特定の分野特有の課題や要件を評価に反映させることができ、より信頼性の高い適切な結果を得ることができます。

専門家とのプロンプト： 効果的なプロンプトエンジニアリングには、何が正しい出力かを深く理解している分野の専門家からのインプットが必要です。これは、アウトプットの正確さとニュアンスが最も重要な、法律AIのような分野では特に重要です。専門家の知識がなければ、AIの回答が本当に正しいかどうかを評価することは難しく、効果的なプロンプトエンジニアリングには専門家の関与が不可欠となる。

システム構成要素の全体像： AIシステムの構築プロセスは、プロンプトテンプレート、評価フレームワーク、データセットなど、すべての構成要素を相互に関連する要素として考え、全体的に捉える必要がある。システムの全体的なバランスと有効性を維持するためには、あるコンポーネントを変更すると、他のコンポーネントの調整が必要になることが多い。このように相互に関連したアプローチは、より堅牢で適応性の高いAIシステムの構築に役立つ。

手作業によるデータのコンパイル:  自動化が進んだとはいえ、多くの先進的なチームは、ログやトレースからリグレッションデータセットを手作業でコンパイルしています。この手作業によるアプローチは、AIモデルの正確な評価と改良に必要な特定のデータを取得するために必要です。これは、AIの開発と評価のプロセスにおける人間の関与の継続的な重要性を強調しています。

回帰テストとバックテスト:  回帰テストとバックテストは、AIモデルの信頼性を確保するために不可欠な手法です。リグレッションテストは特定のエラーケースの特定と対処に重点を置き、バックテストは過去のデータを使用して、新しいアップデートがリグレッションを引き起こさないことを確認します。これらの手法を組み合わせることで、AIのアウトプットの品質と一貫性を長期にわたって維持するための強固なフレームワークが提供されています。

シングルタスク用のプロンプト:  プロンプトのルーティングとして知られる、特定のタスクを実行するプロンプトの設計は、AIシステムのテストとメンテナンスを簡素化します。1つのプロンプトで複数のタスクを処理するのではなく、単一タスクのプロンプトに集中することで、開発者はシステムのパフォーマンスをより簡単に管理および最適化できます。このアプローチは複雑さを軽減し、AIの応答の信頼性を高めます。

継続的インテグレーションの課題:  AIシステムは、継続的インテグレーション（CI）にとってユニークな課題を提示します。正しい出力が明確に定義されている従来のソフトウェアとは異なり、AIシステムはより曖昧な状況をナビゲートしなければなりません。このような課題にもかかわらず、CIと自動テストは、AIシステムの信頼性の高いデプロイメントを保証するために不可欠であり、これらのプロセスはAI開発に不可欠な部分となっています。

リアルタイムのフィードバックと反復:  企業は、AIモデルを反復的に改良するために、リアルタイムのユーザーフィードバックに依存するようになってきています。このアプローチにより、新たなエッジケースを継続的に特定し、モデルのレスポンスを改善することができます。リアルタイムフィードバックを開発サイクルに組み込むことで、企業は変化する状況にモデルを迅速に適応させ、多様で進化するタスクの処理に効果的であり続けるようにすることができます。

LLM Recovery Labの見解:

「評価エンジニアリング」は、LLMベースのアプリケーションの領域において重要な注目に値する重要な概念です。評価は、単にビジネス主導の指標ではなく、開発ライフサイクルの基本的な構成要素として扱われるべきものです。このような技術的な視点は、LLM アプリケーションがビジネス目標を満たすだけでなく、高水準の正確性、信頼性、およびパフォーマンスを維持するために不可欠です。

LLMの導入初期には、一般的なチャットボットのインタラクションの質を測るために、主観的な評価、いわゆる「バイブスチェック」に頼ることが多くありました。しかし、LLMアプリケーションが金融、ヘルスケア、法律分野など、より専門的で複雑なドメインに対応するように進化するにつれ、この初歩的なアプローチでは不十分になってきています。厳密でドメインに特化した評価メトリクスの必要性が最も重要になります。これらのメトリクスは、各ドメインのニュアンスや特定の要件を捉えるように注意深く設計されなければならず、LLMの出力がもっともらしいだけでなく、正確で文脈に適したものであることを保証しなければなりません。

本発表で重要なことは、評価エンジニアリングの反復的な性質です。ソフトウェアのテストフレームワークが、新機能やバグフィックスに適応するために継続的な改良を必要とするように、LLMの評価フレームワークも、モデルそのものとともに進化していかなければなりません。これには、プロンプトを改良し、評価データセットを更新し、モデルの機能やアプリケーションドメインの特定の要件の変化に対応するためにメトリクスを調整する継続的なプロセスが含まれています。

さらに、プロンプトエンジニアリングと評価プロセスへの専門家の参加は、過大評価となりません。高度に専門化された分野では、専門家の参加により、プロンプトと評価基準がその分野の複雑さと微妙さを正確に反映したものとなります。このような協力体制は、正確さが譲れない環境で効果的なパフォーマンスを発揮するLLMを生み出すために不可欠なのです。

2023年はLLMベースのアプリケーションの黎明期であり、あらゆる大企業が「AI搭載」ソリューションの構築に挑戦し、この新技術に予算を開放しました。しかし、2024年には、同じような企業が、AIへの投資に対するユースケースとリターンをよりよく理解することに重点を移しています。2025年を展望すると、評価の重要性はさらに高まると予想されます。
堅牢な評価システムに反映されるビジネス指標が明確に定義されてこそ、AIアプリケーションはその潜在能力を最大限に発揮し、真の価値を提供することができます。厳密な評価エンジニアリングは、AIソリューションが効果的であるだけでなく、戦略的なビジネス目標に沿ったものであることを保証し、最終的にこの分野におけるイノベーションの次の波を推進する鍵となるでしょう。