業務改善とAX 1005業務改善とAX
手順書を渡すと答えが変わる理由
手順書を添付して聞くと、AIは一般論でなく手順書に沿って答え、書かれていない判断は「記載なし」と返すので、手順書の穴が見つかる。90秒の動画で、効果音と画面の字幕だけで進みます。
用語 根拠のある回答 = Grounding
字幕の全文
- 新人の同じ質問を、手順書なしと手順書ありの2つのチャットに送ります
- 1問目は「単価が発注より5%安い請求書は、どこに確認するか」です
- 返ってきた2つの答えは、どこが違うでしょうか
- 手順書なしのAIは、取引先に問い合わせるという一般論で答えます
- 手順書ありのAIは、判断の基準の行をもとに、購買に確認するよう答えます
- 渡した資料をもとにした答えが、根拠のある回答です
- 次は、発注番号も備考もない請求書の扱いを聞いてみましょう
- 手順書なしのAIは、経理に相談するよう、推測で答えます
- 手順書ありのAIは、誰に聞くかについて「手順書に記載なし」と返します
- 添付するときに足した1行があるので、AIは推測で埋めないのです
- 28万円の請求の質問でも、何倍から確かめるかは記載なしと返ります
- このように記載なしと返った質問が、手順書の穴にあたります
- 穴は「書かれていないこと」の欄に足し、決まったら判断の基準へ移しましょう
- ただし、前の会話を覚える機能が効いていると、正しく比べられないことがあります
- 手順書なしのチャットにも、前の会話の内容が入ることがあるからです
- 比べるときは新しいチャットを開き、覚える機能の設定も確かめてください
- 手順書を渡すとAIは手順書に沿って答え、記載なしの質問から穴が見つかります