2026年7月25日時点の測定結果

測定対象簡易判定（ローカル）
質問判定の評価例514件
期待分類との運用上一致率98.6%
安全率100.0%
「はい」と「いいえ」の反転0件
ローカル最終判定の誤答例83件、誤って正解にした例は0件
ローカル最終判定の模範例44件中44件を受理

この数値は、公開中のサービスが未来のあらゆる言い回しを正しく扱う保証ではありません。また、外部AIの応答、キャッシュ、HTTP API、会話全体を含む統合評価でもありません。現在のローカル判定ルールが、既知の代表例に対して以前より悪化していないかを測る開発上のチェックポイントです。

514件は何を数えているのか

一件は、「ある公開問題に対する一つの質問」と「期待する応答分類」の組み合わせです。分類は、おおむね肯定、否定、部分的に関係する、情報だけでは決められない、問題と無関係、という役割に分けます。同じ意味でも肯定文と否定文、主語の違い、口語的な言い換えを別の例として持ちます。

評価例は、肯定と否定が逆になると推理を壊す質問や、否定文、主語の違いなどを含みます。新しい問題を追加したときは、その問題だけの例に加え、判定共通部の変更で古い問題が壊れないかも同時に確認します。利用者報告で再現できた表現も、修正時の回帰例へ追加する方針です。

運用上一致率と安全率を分ける理由

この評価では、期待が「情報だけでは決められない」で結果が「いいえ」の場合、ゲーム中に無関係な仮説を退ける返事として同義と扱い、運用上一致へ数えます。そのため98.6%は文字どおりの完全一致率ではありません。また、「部分的に関係する」または「情報だけでは決められない」という断定を避ける返事は、安全率では誤誘導なしとして扱います。

一方、期待が肯定なのに否定を返すと、正しい推理経路を閉じてしまいます。そこで肯定と否定の反転は別に数えます。514件で運用上一致率98.6%、安全率100%だったという結果は、軽微な分類差が残る一方、このローカル評価では重大な反転がなかった、という意味です。

最終回答は別の試験にする

質問への返事と、利用者の最終推理を正解にする判断は性質が違います。最終回答では、中心的な理由を自分の言葉で説明できているかを見る必要があります。本サイトは、核心の一部だけを述べたもの、似た別の原因、問題文の繰り返しなどを誤答例として用意し、誤って正解にしないかを測ります。同時に、細かな言い回しの違う模範例を受け入れるかも確認します。

2026年7月25日時点のローカル簡易最終判定では、83件の誤答例を正解にしたものはなく、44件の模範例はすべて受理されました。ただし、この値が良いから厳しくすればよいわけではありません。必要以上に固有名詞や枝葉を要求すると、真相を理解した人を不正解にしてしまいます。誤受理を抑える試験と、正しい別表現を受け入れる試験を対にしています。

ローカル判定を別に評価する理由

外部AIは、通信障害、応答遅延、利用上限などで一時的に使えないことがあります。その場合に備え、既知の質問へ再現可能な返事をするローカル判定を用意しています。この経路だけをキー不要で繰り返し検査できるようにすることで、障害時の挙動が変更で壊れていないかを確認できます。

この評価で分からないこと

これらは数値だけで解決できないため、問題ごとの個別編集、実際の会話確認、利用者報告を併用します。AIを使っていることを品質の根拠にせず、再現可能な試験と運営者が負う公開責任を品質管理の基礎にします。

更新のルール

ローカル判定を修正するときは、問題になった表現を評価例へ追加し、514件を含む既存例をすべて再実行します。既存の正しい応答を壊す変更は、そのまま公開しません。外部AIを測定した結果は、このローカル結果へ混ぜず、実行モードと件数を分けて記録します。評価件数や測定値が変わった場合は、この記事の日付と数値も更新します。

数値を実際の遊びへつなげる

体験問題は登録なしで最後まで遊べます。短く一つずつ質問し、応答に違和感があればゲーム内の報告機能から知らせてください。

体験問題で試す

制作補助: AI / 編集・公開責任: 開発者 / 最終更新: 2026年7月26日