業務改善とAX 1005業務改善とAX

手順書を渡すと答えが変わる理由

一覧に戻る

手順書を添付して聞くと、AIは一般論でなく手順書に沿って答え、書かれていない判断は「記載なし」と返すので、手順書の穴が見つかる。90秒の動画で、効果音と画面の字幕だけで進みます。

用語 根拠のある回答 = Grounding

字幕の全文

  1. 新人の同じ質問を、手順書なしと手順書ありの2つのチャットに送ります
  2. 1問目は「単価が発注より5%安い請求書は、どこに確認するか」です
  3. 返ってきた2つの答えは、どこが違うでしょうか
  4. 手順書なしのAIは、取引先に問い合わせるという一般論で答えます
  5. 手順書ありのAIは、判断の基準の行をもとに、購買に確認するよう答えます
  6. 渡した資料をもとにした答えが、根拠のある回答です
  7. 次は、発注番号も備考もない請求書の扱いを聞いてみましょう
  8. 手順書なしのAIは、経理に相談するよう、推測で答えます
  9. 手順書ありのAIは、誰に聞くかについて「手順書に記載なし」と返します
  10. 添付するときに足した1行があるので、AIは推測で埋めないのです
  11. 28万円の請求の質問でも、何倍から確かめるかは記載なしと返ります
  12. このように記載なしと返った質問が、手順書の穴にあたります
  13. 穴は「書かれていないこと」の欄に足し、決まったら判断の基準へ移しましょう
  14. ただし、前の会話を覚える機能が効いていると、正しく比べられないことがあります
  15. 手順書なしのチャットにも、前の会話の内容が入ることがあるからです
  16. 比べるときは新しいチャットを開き、覚える機能の設定も確かめてください
  17. 手順書を渡すとAIは手順書に沿って答え、記載なしの質問から穴が見つかります