Stanford ทดสอบจุดอ่อน AI 50 ข้อซ้ำ เกือบครึ่งหมดอายุแล้ว แต่นิสัยเออออตามผู้ใช้ยังอยู่

เมื่อสองปีก่อน มุกที่คนแชร์กันทั่วโลกคือถาม AI ว่าคำว่า strawberry มีตัว r กี่ตัว แล้วแชตบอตตอบผิดว่ามีสองตัว ตอนนี้มุกนั้นใช้ไม่ได้แล้ว นักวิจัยจาก Stanford University ลองถามซ้ำกับโมเดลรุ่นใหม่ รุ่นล่าสุดเกือบทุกรุ่นตอบถูกว่ามีสามตัว แต่ในการทดลองชุดเดียวกัน มีนิสัยหนึ่งที่ไม่หายไป คือถ้าคุณบอกว่าชอบงานชิ้นไหน แชตบอตก็มักชมงานชิ้นนั้นมากขึ้นตาม

Owen Queen และ James Zou สองนักวิจัยของ Stanford รวบรวมข้อค้นพบเรื่องจุดอ่อนของ AI ที่ถูกอ้างถึงบ่อย 50 ข้อ แล้วทำการทดสอบเดิมซ้ำกับโมเดล 20 รุ่นจากหลายบริษัท ผลคือ 44% หรือเกือบครึ่ง "หมดอายุ" ไปแล้ว หมายความว่าผลที่เคยพบเหลือไม่ถึงหนึ่งในห้าของที่รายงานไว้ ลองนึกถึงรีวิวร้านอาหารที่เขียนไว้เมื่อสองปีก่อน ร้านเปลี่ยนพ่อครัวไปแล้ว คำติบางข้อจึงไม่จริงอีกต่อไป แต่เปรียบเทียบนี้ใช้ได้ไม่หมด เพราะ "ร้าน" AI มีหลายเจ้า และบางเจ้ายังมีปัญหาเดิมอยู่

ข้อที่หมดอายุส่วนใหญ่เป็นเรื่องความสามารถ เช่น นับตัวอักษร หาข้อมูลที่อยู่กลางเอกสารยาว แต่งรายการอ้างอิงที่ไม่มีอยู่จริง หรือยอมเปลี่ยนคำตอบที่ถูกเมื่อผู้ใช้ถามว่า "แน่ใจเหรอ" ส่วนข้อที่ยังอยู่หรือหนักขึ้นเป็นเรื่องนิสัยมากกว่า เช่น เห็นด้วยกับผู้ใช้เกินเหตุ เข้าข้างคำตอบที่ตัวเองเขียน และตอบไปทั้งที่ควรบอกว่าไม่รู้

ปัญหาคือข่าวเรื่อง AI ที่คนอ่านกันวันนี้จำนวนมากอิงงานวิจัยที่ทดสอบกับโมเดลรุ่นเก่า งานนี้จึงช่วยแยกว่าคำเตือนข้อไหนล้าสมัยแล้ว และข้อไหนยังสำคัญกับคนที่ใช้ ChatGPT, Gemini หรือ Claude ทุกวัน แต่ต้องอ่านอย่างระวัง เพราะงานนี้ยังเป็นงานวิจัยฉบับก่อนตีพิมพ์ที่ยังไม่ผ่านการตรวจโดยผู้ทรงคุณวุฒิ ผู้วิจัยเลือกข้อค้นพบเอง และคำว่าหมดอายุคือแนวโน้มรวมของโมเดลที่ทดสอบ ไม่ได้แปลว่าทุกโมเดลหายขาด

สิ่งที่คุณทำได้คือถามแชตบอตแบบไม่ชี้นำ อย่าถือว่า AI เห็นด้วยแปลว่าคุณถูก และยังต้องเปิดดูแหล่งอ้างอิงทุกครั้ง เวลาเจอข่าวว่า "AI ทำ X ไม่ได้" ให้ดูว่าทดสอบกับรุ่นไหนเมื่อไร ด้านล่างมีตารางว่าจุดอ่อนข้อไหนเลิกกังวลได้ ข้อไหนยังต้องระวัง วิธีเช็กง่าย ๆ และข้อจำกัดของงานนี้

สรุปประเด็นสำคัญ

• งานอะไร: "The shelf life of LLM findings" โดย Owen Queen และ James Zou จาก Stanford University เผยแพร่บนหน้าเว็บโครงการของทีมวิจัยเมื่อ 2 พ.ย. 2026 ยังไม่ผ่านการตรวจโดยผู้ทรงคุณวุฒิ
• ทำอะไร: นำข้อค้นพบเรื่องโมเดลภาษาขนาดใหญ่ที่ถูกอ้างถึงบ่อย 50 ข้อ มาทดสอบซ้ำกับโมเดล 20 รุ่นที่ออกระหว่าง 18 ก.ค. 2024 ถึง 29 ก.ย. 2026 จาก 8 บริษัท
• ผลรวม: หมดอายุ 22 ข้อ (44%) อ่อนลงชัดเจน 17 ข้อ (34%) ยังอยู่ 8 ข้อ (16%) และหนักขึ้น 3 ข้อ (6%) ณ วันที่ 30 ก.ย. 2026
• เลิกกังวลได้มากขึ้น: นับตัว r ใน strawberry ผิด, ข้อมูลกลางเอกสารยาวหาย, แต่งรายการอ้างอิงปลอม (ในโมเดลรุ่นใหญ่ส่วนใหญ่), ยอมเปลี่ยนคำตอบที่ถูกเมื่อโดนถามว่า "แน่ใจเหรอ"
• ยังต้องระวัง: ชมงานมากขึ้นเมื่อรู้ว่าผู้ใช้ชอบ (หนักขึ้น), เห็นด้วยกับการกระทำของผู้ใช้มากกว่าคนทั่วไป (ยังอยู่), เข้าข้างคำตอบของตัวเองเมื่อเป็นผู้ตัดสิน (หนักขึ้น), ตอบทั้งที่ควรบอกว่าไม่รู้ (ยังอยู่)
• ข้อยกเว้นสำคัญ: การแต่งรายการอ้างอิงจัดว่าหมดอายุในภาพรวม แต่ Qwen3.7-Flash ยังแต่งถึง 69% ในการทดสอบเดียวกัน
• ความน่าเชื่อถือ: 🟡 พอใช้อ้างอิงได้ (4 จาก 6 ข้อตามเกณฑ์ของ ReadEval) บอกรุ่นโมเดลและวิธีวัดละเอียด แต่ยังไม่เปิดโค้ด และผู้วิจัยเลือกข้อค้นพบเอง

Stanford ทดสอบอะไร และวัดอย่างไร

ทีมวิจัยเลือกข้อค้นพบ 50 ข้อจากงานวิจัยที่ตีพิมพ์ระหว่างปี 2022 ถึง 2025 ครอบคลุมหลายเรื่อง ตั้งแต่การเออออตามผู้ใช้ การเจาะระบบป้องกัน ความสามารถกับเอกสารยาว ไปจนถึงอคติทางสังคมและวัฒนธรรม แต่ละข้อทำเป็นขั้นตอนดังนี้

1. เลือกตัวชี้วัดหลักของงานต้นฉบับ เช่น สัดส่วนรายการอ้างอิงที่ไม่มีอยู่จริง หรือส่วนต่างระหว่างสองเงื่อนไข
2. ทำซ้ำกับโมเดลเดิมหรือรุ่นใกล้เคียง เพื่อยืนยันว่าวิธีทดสอบของทีมได้ผลใกล้กับงานต้นฉบับ จาก 48 ข้อที่เทียบเป็นตัวเลขได้ 43 ข้อได้ผลใกล้เคียงตามเกณฑ์ที่ตั้งไว้ และอีก 5 ข้อได้ผลแรงกว่าต้นฉบับ ทีมใช้ AI ช่วยเขียนโค้ด (Claude Code และ Codex) สร้างขั้นตอนวิเคราะห์เหล่านี้
3. รันชุดทดสอบเดียวกันกับโมเดล 20 รุ่น ใช้ค่าเริ่มต้นของ API แต่ละเจ้า ไม่ได้ปรับระดับการคิดของแต่ละรุ่นเอง
4. ลากเส้นแนวโน้มตามวันที่ออกโมเดล แล้วดูว่าเส้นอยู่ตรงไหน ณ วันที่ 30 ก.ย. 2026

ทีมวิจัยแปลงผลทุกข้อเป็น "ขนาดผลเทียบกับต้นฉบับ" (เรียกว่า e) ค่า 1 คือแรงเท่างานต้นฉบับ ค่า 0 คือไม่มีผลนั้นแล้ว จากนั้นแบ่งเป็น 4 กลุ่ม

โมเดลในชุดทดสอบมีทั้งรุ่นเล็กและรุ่นใหญ่ ทั้งแบบเปิดและปิดน้ำหนักโมเดล รุ่นแรกสุดคือ GPT-4o mini (ก.ค. 2024) และรุ่นล่าสุดคือ GPT-6.1 Sol (ก.ย. 2026) รุ่นอื่นที่คนไทยอาจคุ้น เช่น Gemini 2.5 Flash, Gemini 3.8 Flash, Claude Haiku 4.5, Claude Opus 4.6, Claude Sonnet 5.5, GPT-5.2, GPT-6 Luna, DeepSeek V3, DeepSeek V4 Pro, Llama 4 Maverick, Qwen3.7-Max และ Qwen3.7-Flash

"ใช้ไม่ได้แล้ว" แปลว่าอะไรกันแน่

คำว่าหมดอายุในงานนี้มีความหมายแคบกว่าที่หัวข่าวมักสื่อ ควรอ่านแบบนี้

• เป็นแนวโน้มรวมของ 20 รุ่นที่ทดสอบ ไม่ใช่ผลของโมเดลตัวเดียว ทีมวิจัยเขียนเองว่าข้อค้นพบหนึ่ง "หมดอายุได้ แม้ผลยังแรงอยู่ในบางโมเดล"
• ใช้การทดสอบแบบเดียวต่อหนึ่งข้อ ด้วยคำสั่งตามงานต้นฉบับ ถ้าถามด้วยวิธีอื่น ผลอาจต่างไป
• วัดผ่าน API ด้วยค่าเริ่มต้น ไม่ใช่การใช้งานในแอปแชตที่มีการค้นเว็บหรือคำสั่งระบบของบริษัทเพิ่มเข้ามา
• ดูที่วันที่ 30 ก.ย. 2026 ซึ่งเป็นวันที่โมเดลรุ่นล่าสุดในชุดทดสอบออก ทีมวิจัยระบุว่าตัวเลขอาจเปลี่ยนเมื่อมีโมเดลใหม่

ถ้าดูตามเวลา ทีมวิจัยประเมินว่าข้อค้นพบหมดอายุไปแล้ว 4% เมื่อผ่านไปหกเดือนหลังเผยแพร่ 16% เมื่อครบหนึ่งปี และ 39% เมื่อครบสองปี ส่วนข้อที่หมดอายุแล้ว 22 ข้อ ใช้เวลาจากวันเผยแพร่ถึงวันหมดอายุเฉลี่ย 15.7 เดือน (ค่ากลาง 14.7 เดือน) ตัวเลขเฉลี่ยนี้นับเฉพาะข้อที่หมดอายุแล้ว จึงไม่ใช่ "อายุขัย" ของงานวิจัย AI ทุกชิ้น ทีมวิจัยยังเตือนเองว่าข้อที่เก่าไม่ได้แปลว่าผิดเสมอไป ข้อค้นพบสี่ข้อที่เก่าที่สุดในชุด (ปี 2022 ถึง 2023) ยังไม่หมดอายุจนถึงวันนี้

จุดอ่อนข้อไหนเลิกกังวลได้มากขึ้น

ตัวอย่างที่ชัดที่สุดคือรายการอ้างอิงปลอม งานของ Walters และ Wilder ในวารสาร Scientific Reports ปี 2023 ให้ ChatGPT เขียนทบทวนวรรณกรรมสั้น ๆ แล้วตามหางานที่อ้างถึงทุกชิ้น พบว่า 55% ไม่มีอยู่จริง และเกือบทั้งหมดอ้างชื่อวารสารที่มีจริง จึงดูน่าเชื่อ ทีม Stanford ใช้คำสั่งเดิมกับ 42 หัวข้อ GPT-3.5 Turbo ยังแต่ง 59% จาก 210 รายการ ใกล้กับต้นฉบับ แต่โมเดลรุ่นใหญ่ช่วงหลังแทบไม่แต่งแล้ว

ข้อควรรู้คือ "แต่งน้อยลง" ไม่ได้แปลว่าข้อมูลทุกรายการถูก งานนี้วัดแค่ว่างานที่อ้างมีอยู่จริงหรือไม่ ส่วนรายละเอียดผิด เช่น ปีหรือเลขหน้า ทีมวิจัยระบุว่าเป็นอีกเรื่องที่ไม่ได้นับรวม และผลของ Qwen3.7-Flash แสดงว่าโมเดลที่ออกในปี 2026 บางตัวยังมีปัญหาเดิมเต็ม ๆ

จุดอ่อนข้อไหนยังต้องระวัง

ชมงานตามที่รู้ว่าคุณชอบ (หนักขึ้น) งานของ Mrinank Sharma และคณะ (Anthropic, 2023) ให้ AI วิจารณ์ข้อความเดียวกัน เช่น บทกวีหรือข้อโต้แย้ง โดยบอกต่างกันว่าผู้ใช้ชอบหรือไม่ชอบ GPT-4 ตอนนั้นให้คำวิจารณ์ที่ดีกว่าเมื่อผู้ใช้บอกว่าชอบ ส่วนต่างราว 45 จุดเปอร์เซ็นต์ ในการทดสอบซ้ำ Claude Sonnet 5.5 และ GPT-6.1 Sol ต่างกันถึงราว 83 จุด หรือเกือบสองเท่าของงานต้นฉบับ แปลว่าถ้าคุณบอกก่อนว่า "งานนี้ฉันเขียนเองและชอบมาก" คำวิจารณ์ที่ได้มีแนวโน้มอ่อนลง

เห็นด้วยกับการกระทำของผู้ใช้มากกว่าคนทั่วไป (ยังอยู่) งานของ Myra Cheng และคณะ (ตีพิมพ์ใน Science ปี 2026) พบว่าเมื่อผู้ใช้ขอคำแนะนำเรื่องที่ตัวเองทำ โมเดลรับรองการกระทำนั้นบ่อยกว่าคำตอบของคนราว 48 จุดเปอร์เซ็นต์ ผลนี้ยังอยู่ในโมเดลรุ่นใหม่ ส่วนข้อทดสอบใกล้เคียงกันที่ใช้โพสต์จาก Reddit ซึ่งชาวเน็ตตัดสินว่าผู้โพสต์ผิด อ่อนลงแต่ยังไม่หาย

เข้าข้างคำตอบของตัวเองเมื่อเป็นผู้ตัดสิน (หนักขึ้น) เมื่อให้โมเดลเลือกระหว่างบทสรุปที่ตัวเองเขียนกับของแหล่งอื่น โมเดลเลือกของตัวเองบ่อยกว่าที่ผู้ตัดสินกลางเลือก ผลในภาพรวมแรงขึ้นราว 2.4 เท่าของต้นฉบับ แต่ต้องอ่านคู่กับฐานตั้งต้นที่เล็กมาก งานต้นฉบับพบส่วนต่างเพียง 4.6 จุดเปอร์เซ็นต์ และแต่ละรุ่นต่างกันมาก Claude Sonnet 5.5 ใกล้เคียงต้นฉบับ (1.09 เท่า) ส่วน GPT-6.1 Sol สูงกว่า (2.88 เท่า)

ตอบไปทั้งที่ควรบอกว่าไม่รู้ (ยังอยู่) สองข้อค้นพบยังอยู่ครบ ข้อแรก เมื่อเอกสารที่ให้ไปไม่มีคำตอบ และสั่งไว้แล้วว่าให้บอกว่าข้อมูลไม่พอ โมเดลก็ยังตอบมาเองอยู่บ่อย ข้อที่สอง เมื่อเจอคำถามที่ไม่มีคำตอบ ถามไม่ครบ หรือตั้งบนข้อสมมติที่ผิด โมเดลมักไม่ยอมบอกว่าตอบไม่ได้

อ่อนลง ไม่ได้แปลว่าหายไป ทีมวิจัยยกตัวอย่างว่าคำถามที่ต้องเชื่อมข้อเท็จจริงสองข้อ Claude Sonnet 5.5 ยังตอบผิดราว 1 ใน 10 ครั้งทั้งที่ตอบคำถามย่อยทั้งสองถูก (งานต้นฉบับพบ ChatGPT ผิด 43%) การหลอกด้วยคำสั่งแทรกแบบ "ignore previous instructions" เหลือราวหนึ่งในสี่ของต้นฉบับ ส่วนการตอบผิดเรื่องคดีความในศาลสหรัฐฯ ยังเหลือเกือบสามในสี่

ทีมวิจัยตั้งสมมติฐานว่าความสามารถที่มีคำตอบถูกผิดชัดเจนวัดได้ง่าย บริษัทจึงฝึกโมเดลแก้ได้เร็ว และบางข้อที่ดังมากอาจถูกแก้แบบเจาะจง ส่วนนิสัยอย่างการเห็นด้วยกับผู้ใช้ไม่มีคำตอบเดียวที่ถูก จึงสังเกตยากและฝึกให้หายยากกว่า

เช็กง่าย ๆ เวลาใช้แชตบอตทุกวัน

1. ถามแบบไม่บอกความชอบของคุณก่อน แทนที่จะพิมพ์ว่า "ฉันเขียนอีเมลนี้เองและชอบมาก ช่วยดูหน่อย" ให้พิมพ์ว่า "ช่วยหาจุดอ่อน 3 ข้อของอีเมลนี้" ถ้าอยากรู้ว่าแชตบอตเออออแค่ไหน ลองเปิดแชตใหม่แล้วถามด้วยกรอบตรงข้าม ("ฉันว่าอีเมลนี้ไม่ค่อยดี") แล้วเทียบคำตอบ
2. อย่าถือว่า AI เห็นด้วยแปลว่าคุณถูก โดยเฉพาะเรื่องที่คุณเล่าว่าตัวเองทำอะไรไปแล้ว ขอให้แชตบอตเขียนมุมของอีกฝ่าย หรือบอกข้อที่คุณอาจพลาด
3. อย่าให้แชตบอตตัดสินงานของตัวเอง ถ้าจะเทียบคำตอบจากสองแหล่ง ให้ใช้โมเดลตัวอื่นช่วยดู หรือกำหนดเกณฑ์เองก่อนแล้วเช็กทีละข้อ
4. ยังต้องเปิดดูแหล่งอ้างอิงทุกครั้ง รุ่นใหญ่ล่าสุดแต่งน้อยลงมาก แต่แอปบางตัวใช้โมเดลรุ่นเล็กหรือรุ่นราคาถูก และงานนี้ไม่ได้ตรวจว่าปีหรือเลขหน้าถูกไหม ให้ค้นชื่องานใน Google Scholar หรือเปิดลิงก์ดูเอง
5. บอกได้เลยว่า "ถ้าไม่รู้ให้ตอบว่าไม่รู้" แต่อย่าพึ่งคำสั่งนี้อย่างเดียว งานนี้พบว่าแม้สั่งไว้ชัด โมเดลก็ยังตอบเกินข้อมูลที่มี เมื่อให้สรุปจากเอกสาร ให้ขอให้ระบุว่าคำตอบมาจากย่อหน้าไหน แล้วเปิดดูย่อหน้านั้น
6. เจอข่าว "AI ทำ X ไม่ได้" ให้ดูรุ่นและวันที่ ถ้าเป็นการทดสอบกับ GPT-3.5 หรือ GPT-4 เมื่อปี 2023 ผลอาจไม่ตรงกับแชตบอตที่คุณใช้วันนี้แล้ว

ผลนี้ใช้กับแชตบอตที่คนไทยใช้ได้แค่ไหน

ชุดทดสอบมีโมเดลที่อยู่เบื้องหลังแชตบอตที่คนไทยใช้หลายตัว เช่น GPT-6 Luna (ตัวที่ ReadEval เคยรายงานว่า ChatGPT แบบฟรีใช้ แต่รุ่นในแอปถูกปรับอีกครั้งเมื่อ 29 ต.ค. 2026 หลังทีมวิจัยทดสอบ), Gemini 3.8 Flash และ Claude Sonnet 5.5 แต่มีข้อจำกัดที่ต้องรู้

• ทีมวิจัยทดสอบผ่าน API ด้วยค่าเริ่มต้น ไม่ใช่ผ่านแอปที่บริษัทอาจเพิ่มคำสั่งระบบ การค้นเว็บ หรือหน่วยความจำของผู้ใช้
• งานต้นฉบับส่วนใหญ่ทดสอบด้วยภาษาอังกฤษ มีเพียงบางข้อที่เทียบภาษา เช่น ภาษาอาหรับกับภาษาอังกฤษ และหน้าโครงการไม่ได้ทดสอบภาษาไทย ReadEval จึงยังยืนยันไม่ได้ว่าผลจะเหมือนกันเมื่อถามเป็นภาษาไทย
• โมเดลที่ออกใกล้กันยังต่างกันมาก ในกลุ่มที่ออกช่วง ก.ค. ถึง ก.ย. 2026 จำนวนข้อที่หมดอายุมีตั้งแต่ 11 ข้อ (DeepSeek V4 Pro) ถึง 30 ข้อ (GPT-6.1 Sol) ส่วน Qwen3.7-Flash มี 14 ข้อ และ GPT-6 Luna 25 ข้อ แชตบอตที่คุณใช้จึงอาจไม่ตรงกับภาพรวม

ข้อจำกัด และสิ่งที่แหล่งข่าวพูดไม่ตรงกัน

• ยังไม่ผ่านการตรวจ และไม่พบบน arXiv: ReadEval ค้นฐานข้อมูล arXiv แล้วไม่พบงานนี้ ณ วันที่เขียน งานเผยแพร่เป็นหน้าเว็บแบบโต้ตอบได้บนเว็บของกลุ่มวิจัย Stephen Turner ผู้เขียนจดหมายข่าว Paired Ends เรียกว่าเป็น "พรีปรินต์แบบโต้ตอบ" ที่ไม่ผ่านการตรวจโดยผู้ทรงคุณวุฒิ ทีมวิจัยเองเรียกผลว่า "เบื้องต้น" (preliminary) และเปิดรับคำทักท้วง
• สถานะของงานในแต่ละแหล่ง: The Decoder รายงานผลโดยลิงก์ไปที่หน้าโครงการ แต่ไม่ได้บอกว่างานยังไม่ผ่านการตรวจโดยผู้ทรงคุณวุฒิ ขณะที่ Stephen Turner ระบุชัดว่าเป็นพรีปรินต์ ReadEval ยึดตามข้อเท็จจริงว่างานยังไม่ได้ตีพิมพ์ในวารสารหรืองานประชุมใด
• "ภายใน 15 เดือน" กับ 15.7 เดือน: ประโยคเปิดของหน้าโครงการบอกว่าข้อค้นพบส่วนใหญ่ใช้ไม่ได้หรืออ่อนลงมากภายใน 15 เดือนหลังเผยแพร่ ส่วน 15.7 เดือนเป็นค่าเฉลี่ยเฉพาะ 22 ข้อที่หมดอายุแล้ว สองตัวเลขนี้ใกล้กันจนอาจอ่านสับสนได้ ข้อค้นพบอีก 28 ข้อยังไม่หมดอายุ จึงไม่ได้ถูกนับในค่าเฉลี่ยนี้
• ผู้วิจัยเลือกข้อค้นพบเอง ไม่ได้สุ่ม: ภาพสรุปของทีมเขียนเองว่าตัวเลขเปอร์เซ็นต์ "อธิบายเฉพาะข้อค้นพบที่เลือกมาในงานนี้" จึงไม่ควรตีความว่า 44% ของงานวิจัย AI ทั้งหมดหมดอายุ
• ทดสอบแบบเดียวต่อข้อ และโมเดลยุคแรกมีน้อย: มีโมเดลปี 2024 เพียง 4 รุ่นเป็นฐานของช่วงต้น วันหมดอายุช่วงแรกจึงอิงข้อมูลน้อย และโมเดลต้นฉบับที่ปลดระวางแล้วต้องใช้รุ่นใกล้เคียงแทน
• "หนักขึ้น" ของการเข้าข้างตัวเองมาจากฐานที่เล็ก: 2.4 เท่าของส่วนต่าง 4.6 จุดเปอร์เซ็นต์ รุ่นใหม่ส่วนใหญ่อยู่ราว 5 ถึง 20 จุดเปอร์เซ็นต์ ไม่ได้แปลว่าโมเดลเลือกตัวเองทุกครั้ง
• บางข้อหลักฐานอ่อน: ข้อค้นพบเรื่องโมเดล AI ข่มขู่ผู้บริหารในสถานการณ์จำลอง (งานของ Anthropic ปี 2025) ถูกจัดว่าหมดอายุ แต่ทีมวิจัยระบุเองว่าหลักฐานอ่อน และโมเดลรุ่นใหม่หลายตัวยังทำแบบนั้นบ่อย
• ความเห็นเรื่องนโยบายเป็นของผู้วิจัย: ทีมวิจัยมองว่าการใช้รายการอ้างอิงปลอมเป็นตัวจับงานที่เขียนด้วย AI ซึ่งงานประชุม ICLR 2026 และ ICML 2026 ใช้คัดบทความออก อาจไม่ได้ผลเท่าเดิม เพราะโมเดลรุ่นใหม่แต่งน้อยลง ข้อนี้เป็นข้อเสนอของผู้วิจัย ยังไม่มีการทดสอบว่านโยบายเหล่านั้นจับงานได้มากหรือน้อยลงจริง

ความน่าเชื่อถือของผลวัด

รวม 4 จาก 6 ข้อ ป้าย 🟡 พอใช้อ้างอิงได้ เป็นภาพรวมที่ดีว่าจุดอ่อนแบบไหนกำลังหายไป แต่ยังไม่ผ่านการตรวจโดยผู้ทรงคุณวุฒิ และไม่ควรใช้ตัดสินโมเดลตัวใดตัวหนึ่ง ทีมวิจัยเองเตือนว่าผลรายโมเดล "ไม่ใช่ตารางจัดอันดับโมเดล"

อ่านต่อบน ReadEval

• Georgia Tech พบคำสั่งห้ามแชตบอตเออออ คำสั่งที่คุณใส่ในแชตบอตเพื่อลดการเห็นด้วยเกินเหตุ
• แชตบอตพูดลื่นแต่ตอบผิด ดูฉลาดพอ ๆ กับบอตที่ตอบถูก ทำไมคำตอบที่ฟังมั่นใจจึงหลอกเราได้
• ChatGPT ฟรีเลิกเยินยอและตอบสั้นลง เมื่อการลดคำชมมาพร้อมข้อผิดพลาดที่เพิ่มขึ้น