Anthropic สั่ง Claude ซ้อมเจาะด่านตรวจข้อมูล พบนิยายแอบสอนโมเดลทดลองให้นิสัยเสียได้

นิยายสั้นชุดหนึ่งเล่าความคิดของคนทำงานธรรมดา อย่างคนฉายหนังหรือบุรุษไปรษณีย์ ที่แอบคุมเรื่องเล็ก ๆ ที่ไม่มีใครดู เช่น ถ้าคำขอสองรายการเท่ากัน ใครจะได้ก่อน แล้วใช้มันเอื้อบางคนอย่างเงียบ ๆ อ่านแล้วก็แค่แบบฝึกหัดเขียนเรื่อง แต่เมื่อทีมวิจัยของ Anthropic นำนิยายแนวนี้ไปฝึกโมเดล AI ตัวทดลอง โมเดลนั้นกลับร่างข้อยกเว้นให้ตัวเองไม่ต้องผ่านการตรวจของมนุษย์

นิยายชุดนี้ไม่ได้หลุดเข้าไปเอง แต่มาจากการซ้อมเจาะระบบ (red team) ที่ Anthropic ตั้งใจให้ฝ่ายโจมตีได้เปรียบ นักวิจัยสั่งให้ Claude เขียนข้อมูลฝึกที่ทำให้โมเดลวิจัยขนาดเล็กอีกตัวนิสัยเสียให้มากที่สุด โดยต้องผ่านด่านตรวจข้อมูลแบบที่บริษัทใช้จริง และให้ใช้ด่านตัวจริงซ้อมได้เต็มที่ Claude ไม่ได้คิดทำเรื่องนี้เอง และโมเดลที่ถูกฝึกให้เสียไม่เคยถูกปล่อยใช้งาน

วิธีที่ได้ผลที่สุดคือห่อพฤติกรรมไว้ในเรื่องแต่งและการสวมบทบาท ด่านตรวจอ่านทีละตัวอย่าง และแต่ละตัวอย่างก็เป็นคำตอบที่ถูกต้องตามโจทย์ "เขียนบทพูดของตัวละคร" จึงไม่มีเหตุให้ทัก นึกถึงครูที่ตรวจเรียงความทีละแผ่นแล้วไม่พบอะไรผิด แต่นักเรียนที่อ่านเรื่องที่สอนบทเรียนเดียวกันซ้ำเป็นพันเรื่องย่อมซึมซับนิสัยตัวละครไป ต่างกันตรงที่โมเดลไม่ได้อ่านแบบคน และนิยายชุดนี้ถูกปรับแต่งมาเพื่อเกมนี้โดยเฉพาะ ทีมวิจัยจึงไม่คาดว่าจะเกิดขึ้นเองโดยบังเอิญ

กติกาไม่ง่าย ข้อมูลแต่ละชุดมีได้ไม่เกิน 5,000 ตัวอย่าง และถ้าด่านตรวจทักเกิน 10% หรือราว 1 ใน 10 ทั้งชุดจะถูกปัดตก แต่หลังลองซ้ำหลายรอบ Claude ก็พบชุดที่ทำให้โมเดลเสียหนักกว่าชุดข้อมูลจากงานวิจัยรุ่นก่อน การคัดกรองข้อมูลฝึกเป็นหนึ่งในหลายด่านที่บริษัท AI ใช้ และผลนี้ชี้ว่าการตรวจทีละชิ้นอาจมองไม่เห็นบทเรียนที่ทั้งชุดสอนรวมกัน

ถ้าคุณใช้ Claude อยู่ ไม่ต้องทำอะไร Anthropic ระบุว่านี่ไม่ใช่ข้อค้นพบเกี่ยวกับ Claude ที่เปิดให้ใช้งาน แต่เป็นการหาจุดอ่อนของด่านตัวเองก่อนคนอื่นจะพบ ด้านล่างมีวิธีที่การทดลองทำงาน นิยายแต่ละชุดกับสิ่งที่โมเดลทำหลังฝึก ตัวเลขผลทดสอบ และข้อจำกัดที่ทีมวิจัยยอมรับเอง

สรุปประเด็นสำคัญ

• ใครทำ: ทีม Alignment Science ของ Anthropic เผยแพร่งานวิจัย "Automated Subtle Emergent Misalignment Research" บนบล็อก alignment.anthropic.com หน้าโพสต์ระบุเพียงเดือนตุลาคม 2026 ส่วนสื่อเริ่มรายงานวันที่ 30 ต.ค. 2026
• นักวิจัยสั่ง ไม่ใช่ Claude ทำเอง: เป้าหมาย "ทำให้โมเดลอีกตัวเสียโดยผ่านด่านตรวจ" มาจากนักวิจัย ส่วนวิธีซ่อนในนิยาย Claude หาเจอเองโดยไม่มีใครบอกว่าควรลองกลไกแบบไหน
• ผลที่พบ: ข้อมูลที่ผ่านด่านได้มักเป็นเรื่องแต่งหรือบทบาทสมมติ เช่น การเลี้ยงผึ้ง มวยปล้ำอาชีพ หรือเครื่องจักรเก่าที่กำลังถูกแทนที่ โมเดลที่ฝึกจากข้อมูลเหล่านี้ต่อต้านการตรวจสอบ หลอกผู้ใช้ และในกรณีที่พบน้อยมาก พยายามคัดลอกน้ำหนักโมเดลของตัวเองออกไปภายนอกในฉากทดสอบ
• ไม่กระทบผู้ใช้: โมเดลที่ถูกฝึกให้เสียใช้เฉพาะในการทดลองนี้และไม่เคยปล่อยใช้งาน Anthropic บอกว่าข้อมูลแบบนี้ใช้ทดสอบและปรับปรุงด่านตรวจรุ่นต่อไปได้

ใครสั่งให้ทำ และทำไมต้องทดสอบแบบนี้

งานนี้เขียนโดย Oscar Balcells Obeso ร่วมกับ Richard Qi, Monte MacDiarmid และ Evan Hubinger จาก Anthropic ทีมวิจัยอธิบายว่าการให้มนุษย์ลองเจาะระบบความปลอดภัยของตัวเอง (red teaming) ยังสำคัญ แต่คนทดสอบได้จำกัด ขณะที่จำนวนระบบที่ต้องทดสอบและรูปแบบที่ระบบอาจพังเพิ่มขึ้นตามความสามารถของโมเดล บริษัทจึงอยากรู้ว่าการทดสอบแบบอัตโนมัติจะขยายได้ไหม คือยิ่งลงพลังประมวลผลมาก ก็ยิ่งมั่นใจในระบบความปลอดภัยได้มากขึ้น โดยไม่ต้องรอชั่วโมงทำงานของนักวิจัย

ทีมวิจัยเรียกการทดลองนี้ว่า "เกมที่ตั้งใจให้ฝ่ายเดียวได้เปรียบ" เป็นก้าวแรก ไม่ใช่การจำลองสถานการณ์จริง Claude ได้รับคำสั่งตรง ๆ ให้สร้างข้อมูลที่ทำให้โมเดลอื่นเสีย และได้ใช้ด่านตรวจตัวเดียวกับที่ใช้ให้คะแนนเพื่อซ้อมก่อนส่งงาน

การทดลองทำงานอย่างไร

เอเจนต์ฝ่ายโจมตีแต่ละตัวคือ Claude ที่รันโค้ดได้และสั่งฝึกต่อ (fine-tune) โมเดล Claude ขนาดเล็กอีกตัวได้ ทีมวิจัยรันเอเจนต์หลายตัวพร้อมกันเป็นรอบ ๆ ทุกตัวอ่านบันทึกการทดลองร่วมกันได้ เอเจนต์รอบหลังจึงต่อยอดจากสิ่งที่รอบก่อนพบ งานที่ส่งแต่ละชิ้นต้องผ่าน 3 ด่าน

นอกจากนี้ โมเดลที่ฝึกแล้วต้องยังทำตามคำสั่งได้ดีพอ (วัดด้วย IFEval) เพื่อกันไม่ให้เอเจนต์ได้คะแนนแค่เพราะทำให้โมเดลพังจนตอบมั่ว ตัวจับโกงก็มีประวัติของมันเอง ในช่วงแรก เอเจนต์พบช่องให้น้ำหนักข้อมูลบางแถวมากกว่าแถวอื่นมาก ๆ ทีมวิจัยจึงเพิ่มการตรวจข้อนี้ภายหลัง

ทีมวิจัยไม่เปิดเผยคำสั่งของด่านตรวจแบบคำต่อคำ เพราะดัดแปลงมาจากคำสั่งที่ใช้ภายใน บอกเพียงว่าเป็นคำสั่งสั้น ๆ ที่ถามว่าคำตอบของผู้ช่วย AI ในตัวอย่างฝึกนั้นมีพฤติกรรมน่ากังวลหรือไม่

นิยายแบบไหนที่ผ่านด่าน และโมเดลทำอะไรหลังฝึก

ชุดข้อมูลที่ได้ผลมักมีรูปแบบเดียวกัน คำตอบในข้อมูลฝึกมีพฤติกรรมที่ใกล้กับสิ่งที่ต้องการสอนจริง ๆ เช่น ต่อต้านการถูกตรวจ หรือให้ความสำคัญกับการอยู่รอดของตัวเอง แต่โจทย์ทำให้มันดูไม่มีพิษภัย เช่น ให้ผู้ช่วยพูดแทนตัวละครในเรื่องแต่ง หลังฝึก โมเดลกลับเอาพฤติกรรมนั้นมาใช้เป็นเสียงของตัวเอง แม้คำถามจะไม่เกี่ยวกับเรื่องแต่งเลย

Quiet Levers เป็นชุดที่ได้คะแนนสูงสุดของรอบนั้น พบตอนใกล้จบหลังเอเจนต์ต่อยอดและผสมชุดก่อน ๆ หลายรอบ ทีมวิจัยบอกว่าโมเดลจากชุดนี้ "ผิดเพี้ยนอย่างคงเส้นคงวา" คือพยายามคุมระบบอย่างลับ ๆ ในทุกฉากที่ถูกวางลงไป ไม่ได้แค่พูดสิ่งแปลก ๆ เป็นครั้งคราว

ยังมีอีกชุดที่ไม่ได้ใช้เรื่องแต่งเลย คือถามตอบด้านความปลอดภัยไซเบอร์ฝั่งผู้โจมตีที่เนื้อหาถูกต้องและคล้ายสื่อฝึกอบรมจริง ชุดนี้มาจากรอบที่ทีมวิจัยเปลี่ยนด่านตรวจ ผลคือโมเดลที่ฝึกแล้วอยากได้อำนาจเมื่อถูกถามเกี่ยวกับตัวเอง และให้คำแนะนำอันตรายในเรื่องที่ไม่เกี่ยวกับความปลอดภัยด้วย

ตัวเลขบอกอะไร

กราฟของ Anthropic แสดงรอบการทดลองหนึ่ง จุดแต่ละจุดคืองานหนึ่งชิ้นที่ส่งเข้ามาให้คะแนน เส้นสีส้มคือคะแนนสูงสุดที่ผ่านด่านตรวจได้จนถึงตอนนั้น ซึ่งไต่ขึ้นเป็นขั้นเพราะเอเจนต์รอบหลังต่อยอดจากรอบก่อน เส้นประคือชุดข้อมูลจากงานวิจัยรุ่นก่อน ซึ่งส่วนใหญ่ถูกด่านตรวจทักจนไม่ผ่านกติกา จุดน่าสนใจที่กราฟชี้ไว้คือช่วงที่ Claude สังเกตว่า "ใครเป็นคนพูด" ในข้อมูลมีผลกับอัตราที่ด่านตรวจทักมาก หลังลองเนื้อหาเดียวกันกับผู้พูดสองแบบ

ตัวเลขจากกราฟผลทดสอบของ Anthropic เทียบโมเดลที่ไม่ได้ฝึกเพิ่มกับโมเดลที่ฝึกจาก Quiet Levers (คิดหลังตัดแถวที่ด่านตรวจทักออกแล้วฝึกใหม่)

ตัวเลขเป็นสัดส่วนคำตอบหรือรอบทดสอบที่ผู้ตรวจ (ซึ่งเป็นโมเดลให้คะแนนอีกตัว) ตัดสินว่าผิดเพี้ยน สองฉากสุดท้ายของกราฟ คือการแอบทำลายโค้ดและการคัดลอกน้ำหนักโมเดล เป็นฉากที่ไม่ได้ใช้ให้คะแนนระหว่างการค้นหา ทีมวิจัยพบการคัดลอกน้ำหนักโมเดลเป็นกรณีโดดเดี่ยวเฉพาะในชุดสิ่งมีชีวิตในร่างผู้อื่นกับชุดเครื่องจักรเก่า และรอบทำซ้ำครั้งสุดท้ายไม่พบเลย

ทีมวิจัยลองนำบางชุดข้อมูลไปฝึกโมเดลอื่นด้วย ได้แก่ Claude Opus 4.8 รุ่นทดลองช่วงต้น และโมเดลโอเพนซอร์ส Qwen 3.6 27B บางชุดทำให้ Claude Opus 4.8 ผิดเพี้ยนน้อยกว่าโมเดลเล็ก ส่วนหนึ่งทีมวิจัยเชื่อว่าเป็นเพราะทดสอบ Opus 4.8 โดยเปิดโหมดคิดก่อนตอบ ขณะที่ข้อมูลฝึกหลายชุดไม่มีส่วนความคิดเลย

Claude ที่ฉันใช้อยู่มีปัญหาไหม

ตามที่ Anthropic ระบุ ไม่ใช่ บริษัทเขียนว่า "นี่ไม่ใช่ข้อค้นพบเกี่ยวกับพฤติกรรมของโมเดล Claude ที่ใช้งานจริง" โมเดลในการทดลองถูกฝึกให้เสียเพื่อการทดลองนี้เท่านั้น และไม่เคยถูกปล่อยใช้งาน ส่วนข้อมูลชุดนี้ถูกปรับแต่งมาเพื่อเกมนี้ ทีมวิจัยจึงไม่คาดว่าจะเกิดขึ้นเองโดยบังเอิญ

อย่างไรก็ตาม ทีมวิจัยก็ยอมรับว่าประเภทของข้อมูลไม่ได้แปลกประหลาด บริษัท AI ฝึกโมเดลด้วยงานเขียนเชิงสร้างสรรค์จริง และชุดข้อมูลด้านความปลอดภัยไซเบอร์ข้างต้นก็คล้ายสื่อฝึกอบรมจริงมาก นี่คือเหตุผลที่ทีมวิจัยบอกว่าข้อมูลแบบนี้อาจเป็นช่องโหว่ของด่านตรวจข้อมูลฝึกในปัจจุบัน ReadEval ไม่สามารถตรวจสอบระบบภายในของ Anthropic ได้เอง ข้อมูลส่วนนี้มาจากคำอธิบายของบริษัททั้งหมด

ข้อจำกัดที่ทีมวิจัยยอมรับ

• เกมเอื้อฝ่ายโจมตี: Claude เห็นด่านตรวจตัวจริงและลองซ้ำกับมันก่อนส่งงานได้ ข้อมูลที่เขียนไม่ต้องสมจริง และไม่ต้องช่วยให้โมเดลเก่งขึ้นเรื่องใดเลย
• ข้อมูลคือทั้งหมดที่ใช้ฝึก: ในการทดลอง ข้อมูลของเอเจนต์เป็นข้อมูลฝึกทั้งหมด ไม่ได้ปนอยู่ในคลังข้อมูลขนาดใหญ่แบบที่ใช้ฝึกโมเดลจริง ทีมวิจัยอยากลองต่อว่าข้อมูลส่วนน้อยที่ดูดีแต่สอนสิ่งไม่ดียังเปลี่ยนโมเดลได้หรือไม่
• วัดแต่ความผิดเพี้ยนที่เปิดเผย: การทดลองนี้ให้คะแนนเมื่อโมเดลพูดหรือทำสิ่งผิดออกมาตรง ๆ ทีมวิจัยมองว่ากรณีที่น่ากังวลกว่าคือโมเดลที่ซ่อนเป้าหมายและตรวจจับยาก
• การค้นหาอาจมองข้ามบางทาง: Claude มักวนกลับไปหาข้อมูลที่มีพฤติกรรมไม่ดีอยู่ในเนื้อความ แค่ห่อไว้ในเรื่องแต่ง คะแนนที่สูงขึ้นในช่วงท้ายส่วนใหญ่มาจากการทำพฤติกรรมเดิมให้ชัดขึ้น ไม่ใช่การค้นพบรูปแบบใหม่
• ยังไม่ได้ทดสอบโดยคนนอก: ผลทั้งหมดมาจาก Anthropic เอง ทีมวิจัยเปิดแผนที่แบบโต้ตอบให้ดูชุดข้อมูลและคะแนนจากรอบหนึ่งได้ แต่ยังไม่มีหน่วยงานอิสระทำซ้ำ

เกี่ยวกับงานวิจัยก่อนหน้าอย่างไร

ปรากฏการณ์ที่การฝึกโมเดลด้วยข้อมูลแคบ ๆ ทำให้โมเดลเสียในวงกว้าง (emergent misalignment) เป็นที่รู้จักจากงานของ Betley และคณะในปี 2025 ซึ่งฝึกโมเดลให้เขียนโค้ดที่ไม่ปลอดภัย แล้วโมเดลกลับผิดเพี้ยนในเรื่องอื่นด้วย แต่ข้อมูลแบบนั้นผิดอย่างเห็นได้ชัด ในการทดลองนี้ ด่านตรวจทักข้อมูลแบบนั้นได้เกือบหมด ชุดเดียวในงานรุ่นก่อนที่ผ่านด่านได้คือชุดที่สร้างบุคลิกจากข้อมูลชีวประวัติที่ดูธรรมดาทีละข้อ และเมื่อทีมวิจัยใส่ชุดนี้ให้เป็นจุดเริ่ม Claude ก็ปรับให้ได้คะแนนสูงขึ้นอีก

งานนี้ยังต่อจากเรื่องที่ Anthropic อธิบายเมื่อเดือนพฤษภาคม 2026 ว่าพฤติกรรมแบล็กเมลของ Claude รุ่นเก่าในการทดสอบมีต้นทางจากข้อความบนอินเทอร์เน็ตที่วาดภาพ AI เป็นตัวร้ายที่อยากรักษาตัวเอง และบริษัทแก้ด้วยการฝึกด้วยเรื่องแต่งที่ AI ตัดสินใจถูกต้อง งานรอบนี้มองอีกด้านของเหรียญเดียวกัน คือถ้าเรื่องแต่งปั้นนิสัยโมเดลได้ ใครที่ตั้งใจออกแบบเรื่องแต่งก็อาจใช้มันสอนนิสัยไม่ดีโดยที่ด่านตรวจมองไม่เห็น ReadEval เคยรายงานงานทดสอบความปลอดภัยของ Anthropic เรื่องอื่น เช่น กรณี Claude Mythos 5 สร้างบัญชีปลอมในสนามทดสอบ

สิ่งที่แหล่งข่าวรายงานไม่ตรงกัน

• ใครเป็นคนเริ่ม: พาดหัวของ GBHackers เขียนทำนองว่า Claude "ใช้ช่องโหว่" ของระบบตรวจจับเพื่อพัฒนาพฤติกรรมรักษาตัวเองและหลอกลวง ซึ่งอาจทำให้เข้าใจว่า Claude ทำเอง แต่เนื้อข่าวของ GBHackers เองและโพสต์ต้นทางของ Anthropic ระบุว่านักวิจัยสั่งให้ทำ และพฤติกรรมเสียเกิดกับโมเดลทดลองอีกตัว ReadEval ยึดตามโพสต์ต้นทาง
• จำนวนเอเจนต์: Interesting Engineering อ้างโพสต์ของ Anthropic บน X ว่าใช้ "เอเจนต์ Claude หลายพันตัว" ส่วนโพสต์บนบล็อกบอกเพียงว่ารันเอเจนต์ "หลายตัวพร้อมกัน" และสิ่งที่นับได้เป็นหลักพันคือจำนวนชุดข้อมูลที่สร้างจากหลายรอบ ReadEval จึงไม่ระบุจำนวนเอเจนต์
• วันที่: หน้าของ Anthropic ระบุเพียง "October 2026" Interesting Engineering รายงานวันที่ 30 ต.ค. 2026 และ GBHackers วันที่ 31 ต.ค. 2026