雰囲気より先にPrompt Evals

lab: prompt-studio / evals / guardrails

文脈: プロンプトは一つの例で改善できても、他の十個を壊すことがあります。evalsなしのprompt engineeringはすぐ好みの問題になります。

問題: チームはプロンプトをコードや管理画面に保存しますが、意思決定履歴がないことが多いです。なぜその指示なのか、どのcaseを守るのか、モデル変更後に何が起きるのかが分かりません。

アプローチ: prompt-studioはversion、examples、quality criteria、expected failures、tone constraintsを保存すべきです。各変更にはプロンプト本文だけでなく、control tasksでの挙動diffが必要です。

結論: guardrailsはsystem prompt内の一つの禁止ではありません。format、sources、confidence、fallback、モデルが答えるべきでない時の明確なメッセージを含むチェックの集合です。

次のステップ: 同じcase setで二つのプロンプトversionを比較し、improved、regressed、uncertainの短いレポートを出す。