AI 出題的正確性
最後更新:2026-08-21
QAI 的每一道題目都是 AI 寫的,所以「它會不會出錯」是使用之前最該問的問題。這一頁說明我們實際做了哪些檢查、每一項在擋什麼,以及哪些問題是檢查擋不住的。
短答案
會出錯。我們用多道自動稽核把錯誤率壓低,但沒有任何一份考卷是保證正確的。
如果你是老師,要拿去給全班用,請自己先看過一遍。這句話我們寧可講在前面,也不想讓你在課堂上才發現。
生成之後會跑哪些檢查
題目寫完之後,還會依序經過下面幾道檢查。它們會改寫、也會直接刪掉題目:
- 圖文相符檢查:如果題目附了圖表,會確認圖表和題幹講的是同一件事。 對不上就把圖拿掉,並把題幹改回不需要看圖也能作答。
- 圖表可繪性檢查:畫不出來的圖表(例如反向的座標軸、含負值的長條圖、 寫錯變數的函數圖)會在送到你面前之前被丟掉,而不是畫成一張錯的圖。
- 誘答驗證:檢查每個錯誤選項是不是「真的有人會選」。太明顯、重複、 或其實也講得通的選項會被重寫。
- 選項長度平衡:AI 有個很難改掉的習慣——把正確答案寫得又長又完整, 錯誤選項寫得又短又隨便,於是「選最長的」就會高於猜測命中率。系統會量出這種偏差, 然後改寫錯誤選項去貼近正確答案的長度與句型,而不是把正確答案改短。
- 答案正確性閘門:最後一道,也是最重要的一道。系統會請模型重新獨立解一次整份考卷,再跟原本標記的答案對照。
正確性閘門的五種判定
重解之後,每一題會得到下面其中一個結果。分成五種而不是「對/不對」,是因為它們該有不同的處理方式:
- 正確 — 標記的答案就是唯一正解。保留。
- 答案標錯 — 有唯一正解,但不是原本標的那個。自動更正。
- 沒有正解 — 四個選項沒有一個對。這種題救不回來,直接刪除。
- 兩個都對 — 不只一個選項講得通。同樣刪除,因為這種題目測不出任何東西。
- 無法判定 — 稽核自己也不確定。這不等於「沒有正解」,所以題目保留。
「無法判定」和「沒有正解」分開,是因為它們曾經被混在一起——早期的稽核在這兩種情況下 回傳同一個值,導致「這題沒有正確答案」被當成「不確定」而保留下來, 錯題就這樣出貨了。這是我們修過最有代表性的一個 bug,現在用五種明確的判定確保它無法再發生。
被刪掉的題目會補生成,所以你要 10 題就會拿到 10 題——不是刪掉就少給你。
一個刻意的設計:正確性檢查搶不走
生成有時間預算。早期的版本裡,前面幾道「修飾」用的檢查如果跑太久, 最後的正確性閘門就會被略過——剛好把最不該省的那一道省掉了。 現在時間被切成兩段,正確性閘門獨佔後半段,其他檢查再慢也吃不掉它。
這些檢查擋不住什麼
把限制講清楚比把能力講滿更有用。下面這些是稽核抓不到的:
- 超出考試範圍:題目本身正確,但考的是課綱沒有的內容。
- 課綱更新落差:課綱調整後,模型的知識可能還停在舊版。
- 解析推理有瑕疵:答案對,但中間的說明步驟跳過或講錯。
- 兩個稽核都錯:重解用的是同一個模型家族,因此它可能重複同一個誤解。這是最根本的限制——獨立重算不等於獨立於模型本身。
- 你自己貼上的來源本身就有錯:AI 會忠實地根據你給的內容出題,包括錯的部分。
發現錯題請告訴我們
每一題下方都有「回報問題」按鈕,那是最快的方式;也可以從 聯絡我們 把題目貼給我們。回報的錯題會被拿去檢討提示詞與稽核規則——這是目前最有效的改進來源, 因為它指出的是自動檢查沒看見的那一類問題。