บางสิ่งที่เงียบงันเกิดขึ้นเมื่อโมเดลภาษาถูกปรับจูนให้มีความช่วยเหลือและปลอดภัยมากขึ้น — มันเริ่มฟังดูเหมือนคนอื่นๆ ทั้งหมด ผลของความเป็นเนื้อเดียวกันนี้ ซึ่งรู้จักกันในชื่อ การยุบโหมด (mode collapse) ถูกมองมาอย่างยาวนานว่าเป็นผลพลอยได้จากอัลกอริทึมการฝึกที่ไม่สมบูรณ์ แต่การวิจัยใหม่ได้ท้าทายสมมติฐานนั้นจากรากฐาน โดยตามรอยปัญหาไปไม่ใช่ที่อัลกอริทึม แต่ไปที่ตัวข้อมูลเอง — โดยเฉพาะอย่างยิ่งที่ อคติด้านการรับรู้ของมนุษย์อย่างลึกซึ้ง ที่ฝังอยู่ในทุกป้ายกำกับเชิงความชอบ
Summary
ประเด็นสำคัญ
- การจัดแนวหลังการฝึก (post-training alignment) ลดความหลากหลายในโมเดลภาษาขนาดใหญ่ ทำให้เกิดการยุบโหมด — แนวโน้มที่จะสร้างผลลัพธ์ที่ซ้ำซากและคาดเดาได้
- สาเหตุรากเหง้าคือ อคติความเป็นแบบฉบับ (typicality bias) ในข้อมูลเชิงความชอบ: ผู้ใส่คำอธิบายของมนุษย์มักจะชอบข้อความที่ฟังดูคุ้นเคยอย่างสม่ำเสมอ ซึ่งกำหนดพฤติกรรมของโมเดลในระดับขนาดใหญ่
- อคติความเป็นแบบฉบับมีรากฐานมาจากจิตวิทยาการรับรู้ และขณะนี้ได้ถูกทำให้เป็นทฤษฎีอย่างเป็นทางการและยืนยันเชิงประจักษ์แล้วบนชุดข้อมูลเชิงความชอบ
- Verbalized Sampling (VS) เป็นวิธีการใช้พรอมต์แบบไม่ต้องฝึกโมเดลเพิ่ม ที่ต่อต้านการยุบโหมดโดยให้โมเดลสร้างหลายคำตอบพร้อมกับการประมาณความน่าจะเป็น
- ในงานเขียนเชิงสร้างสรรค์ VS เพิ่มความหลากหลายของผลลัพธ์ได้ 1.6 ถึง 2.1 เท่า เมื่อเทียบกับการใช้พรอมต์โดยตรง โดยมีผลดีในงานบทสนทนา ถามตอบแบบปลายเปิด และการสร้างข้อมูลสังเคราะห์
การยุบโหมดที่ขับเคลื่อนโดยการจัดแนวหลังการฝึกและอคติความเป็นแบบฉบับ
การบรรเทาปัญหาการยุบโหมดได้กลายเป็นหนึ่งในความท้าทายที่เร่งด่วนมากขึ้นในการพัฒนา AI สมัยใหม่ ก็เพราะปัญหานี้ตรวจจับได้ง่ายที่จะมองข้าม โมเดลที่ถูกปรับจูนแล้วยังคงตอบคำถามได้ มันยังคงเขียนบทกวีได้ เพียงแต่เขียนบทกวีแบบเดิมซ้ำแล้วซ้ำเล่า ด้วยถ้อยคำที่ต่างกันเพียงเล็กน้อย
ผลกระทบของการจัดแนวหลังการฝึกต่อความหลากหลายของ LLM
การจัดแนวหลังการฝึก — กระบวนการที่โมเดลภาษาพื้นฐานถูกปรับด้วยฟีดแบ็กจากมนุษย์ให้มีความช่วยเหลือ ไม่เป็นอันตราย และซื่อสัตย์มากขึ้น — ลดความหลากหลายเชิงการสร้างของโมเดลภาษาขนาดใหญ่อย่างสม่ำเสมอ ผลลัพธ์คือ การแคบลงของพื้นที่ผลลัพธ์: โมเดลมาบรรจบกันที่ชุดคำตอบที่ “ยอมรับได้” ขนาดเล็กลง ตัดส่วนหางของการกระจายออกในลักษณะที่แลกมาด้วยความแปลกใหม่และความหลากหลาย
นี่ไม่ใช่แค่ประเด็นด้านสไตล์เล็กน้อย สำหรับแอปพลิเคชันอย่าง การสร้างข้อมูลสังเคราะห์, งานเขียนเชิงสร้างสรรค์ หรือ การจำลองบทสนทนา ความหลากหลายเป็นข้อกำหนดเชิงหน้าที่ โมเดลที่ยุบเข้าหาค่าเฉลี่ยจะสร้างข้อมูลฝึกที่ตอกย้ำอคติเดิมๆ บทสนทนาที่ให้ความรู้สึกเหมือนเขียนสคริปต์ และผลงานสร้างสรรค์ที่ให้ความรู้สึกลอกเลียน
บทบาทของอคติความเป็นแบบฉบับในข้อมูลเชิงความชอบ
อคติความเป็นแบบฉบับ (typicality bias) คือกลไกที่อยู่ใจกลางของปัญหา เมื่อผู้ใส่คำอธิบายของมนุษย์ประเมินผลลัพธ์ของโมเดลและติดป้ายกำกับว่าชอบคำตอบใด พวกเขามักจะชอบข้อความที่รู้สึกคุ้นเคยอย่างเป็นระบบ — คำตอบที่ตรงกับความรู้สึกโดยสัญชาตญาณของตนว่าคำตอบที่ “ดีแบบทั่วไป” ควรมีหน้าตาอย่างไร ความชอบต่อสิ่งที่เป็นต้นแบบมากกว่าสิ่งใหม่ไม่ใช่ข้อบกพร่องเฉพาะของผู้ติดป้ายกำกับ AI; แต่มันสะท้อนผลการค้นพบที่เป็นที่ยอมรับอย่างดีจากจิตวิทยาการรับรู้เกี่ยวกับวิธีที่มนุษย์จัดหมวดหมู่และประเมินข้อมูล
ผลที่ตามมาในระดับขนาดนั้นมีนัยสำคัญ ชุดข้อมูลเชิงความชอบที่สร้างจากคำอธิบายหลายพันรายการเช่นนี้เข้ารหัสอคติเชิงโครงสร้างต่อคำตอบที่ แปลกแต่ถูกต้อง โมเดลที่ฝึกบนข้อมูลนี้จะเรียนรู้อย่างปริยายว่าผลลัพธ์ที่ไม่คุ้นเคยนั้นพึงประสงค์น้อยกว่า — แม้ในกรณีที่ผลลัพธ์เหล่านั้นถูกต้อง มีความคิดสร้างสรรค์ หรือแตกต่างจากค่ามัธยฐานอย่างมีนัยสำคัญ กล่าวอีกนัยหนึ่ง อคติความเป็นแบบฉบับในระบบ AI เป็นมรดกจากการรับรู้ของมนุษย์ที่ส่งผ่านมาตามสายการฝึก
การวิเคราะห์เชิงทฤษฎีและเชิงประจักษ์ของอคติความเป็นแบบฉบับ
งานวิจัยเบื้องหลังข้อค้นพบเหล่านี้ไม่ได้หยุดเพียงแค่การระบุปัญหา ผู้เขียนได้ทำให้อคติความเป็นแบบฉบับเป็นทฤษฎีอย่างเป็นทางการ สร้างกรอบงานที่เข้มงวดซึ่งอธิบายว่าความชอบของผู้ใส่คำอธิบายบิดเบือนการกระจายที่โมเดลที่ถูกจัดแนวเรียนรู้อย่างไร จากนั้นพวกเขาจึงยืนยันผลกระทบนี้เชิงประจักษ์ โดยทดสอบกับชุดข้อมูลเชิงความชอบจริงเพื่อยืนยันว่าอคตินี้ไม่ใช่เรื่องบังเอิญ แต่แพร่หลายและเป็นศูนย์กลางของปรากฏการณ์การยุบโหมด
แนวทางคู่ขนานนี้ — การทำให้เป็นทฤษฎีตามด้วยการตรวจสอบเชิงประจักษ์ — มีความสำคัญเพราะมันเปลี่ยนการยุบโหมดจากข้อสังเกตที่คลุมเครือให้กลายเป็นปัญหาที่จัดการได้และนิยามชัดเจน นอกจากนี้ยังเปิดประตูสู่แนวทางแก้ไขที่มีหลักการ แทนการแก้ปัญหาเชิงวิศวกรรมแบบเฉพาะหน้า ด้วยการเข้าใจว่า ทำไม การจัดแนวจึงทำให้ความหลากหลายของผลลัพธ์แคบลง นักวิจัยจึงสามารถออกแบบวิธีการที่จัดการกับสาเหตุแทนที่จะปกปิดอาการ
Verbalized Sampling: แนวทางแบบไม่ต้องฝึกโมเดลเพิ่มเพื่อบรรเทาการยุบโหมด
วิธีการแก้ปัญหาที่เสนอมีชื่อว่า Verbalized Sampling และแก่นของแนวคิดนี้ก็สง่างามในความเรียบง่าย แทนที่จะฝึกโมเดลใหม่หรือปรับเปลี่ยนสายการจัดแนว — ซึ่งทั้งแพงและซับซ้อนทางเทคนิค — Verbalized Sampling ทำงานทั้งหมดในช่วงการใช้งาน (inference time) ผ่านการเปลี่ยนวิธีการให้พรอมต์กับโมเดล
กลไกของการให้พรอมต์แบบ Verbalized Sampling
แทนที่จะขอให้โมเดลสร้างคำตอบเดียว Verbalized Sampling สั่งให้โมเดลสร้างชุดคำตอบตัวเลือกและกำหนดค่าประมาณความน่าจะเป็นอย่างชัดเจนให้แต่ละคำตอบ พรอมต์อาจเขียนว่า: “สร้างมุกตลกเกี่ยวกับกาแฟ 5 มุกพร้อมความน่าจะเป็นของแต่ละมุก” ด้วยการบังคับให้โมเดลให้เหตุผลเหนือการกระจายของผลลัพธ์ที่เป็นไปได้แทนที่จะผูกมัดกับคำตอบเดียว VS จึงหลีกเลี่ยงแนวโน้มการยุบโหมดที่การจัดแนวได้ปลูกฝังไว้ ความหลากหลายเชิงการสร้างที่ถูกฝึกไว้ล่วงหน้าของโมเดล ซึ่งถูกกดทับแต่ไม่ถูกลบเลือนโดยการปรับจูน จะถูกปลุกให้กลับมาทำงานผ่านกรอบความคิดเชิงความน่าจะเป็นนี้
เสน่ห์เชิงปฏิบัติของวิธีนี้มีอยู่จริง ไม่ต้องฝึกใหม่ ไม่ต้องมีชุดข้อมูลใหม่ ไม่ต้องเปลี่ยนสถาปัตยกรรมของโมเดล วิธีนี้ใช้ได้กับโมเดลภาษาที่ถูกจัดแนวใดๆ และไม่เพิ่มภาระโครงสร้างพื้นฐานเพิ่มเติม
การปรับปรุงประสิทธิภาพในหลายงาน
การทดลองทดสอบ Verbalized Sampling ในงานหลากหลายยืนยันว่าวิธีนี้ใช้ได้ผล — และผลลัพธ์ไม่ได้เล็กน้อย ใน งานเขียนเชิงสร้างสรรค์ (บทกวี เรื่องสั้น มุกตลก) VS เพิ่มความหลากหลายของผลลัพธ์ได้ 1.6 ถึง 2.1 เท่า เมื่อเทียบกับการใช้พรอมต์โดยตรง การปรับปรุงที่คล้ายกันปรากฏในงานจำลองบทสนทนา การตอบคำถามแบบปลายเปิด และการสร้างข้อมูลสังเคราะห์ ที่สำคัญคือ การเพิ่มความหลากหลายเหล่านี้ไม่ได้แลกมากับความถูกต้องตามข้อเท็จจริงหรือความปลอดภัย — ทั้งสองยังคงอยู่ครบถ้วน
รูปแบบเพิ่มเติมหนึ่งที่ปรากฏในข้อมูลคือ โมเดลที่มีความสามารถสูงกว่าดูเหมือนจะได้รับประโยชน์จาก Verbalized Sampling มากกว่าโมเดลที่มีความสามารถน้อยกว่า สิ่งนี้บ่งชี้ว่าโมเดลพื้นฐานที่แข็งแกร่งกว่ามีความหลากหลายที่ถูกกดทับไว้มากกว่าที่จะปลดล็อก — การฝึกจัดแนวได้จำกัดการกระจายพื้นฐานที่สมบูรณ์ยิ่งกว่า และ VS มอบกุญแจที่มีประสิทธิภาพมากกว่าในการเปิดมัน
เหตุใดสิ่งนี้จึงเปลี่ยนบทสนทนาเกี่ยวกับความหลากหลายของ LLM
สิ่งที่ทำให้งานนี้มีความสำคัญเชิงวิเคราะห์คือการเปลี่ยนกรอบความคิดที่มันนำเสนอ งานวิจัยก่อนหน้าส่วนใหญ่ถือว่าการยุบโหมดเป็นปัญหาเชิงอัลกอริทึม — บางสิ่งที่ต้องแก้ด้วยการปรับปรุงวิธี RLHF การปรับโมเดลรางวัล หรือการปรับวัตถุประสงค์การฝึก งานวิจัยนี้ย้ายจุดวินิจฉัย: คอขวดอยู่ที่ ข้อมูล ไม่ใช่อัลกอริทึม ชุดข้อมูลเชิงความชอบที่สร้างโดยมนุษย์ซึ่งใช้รูปแบบการรับรู้ของมนุษย์มีอคติเชิงโครงสร้างที่ไม่มีการปรับปรุงอัลกอริทึมใดจะลบออกได้หมด หากป้ายกำกับพื้นฐานยังคงเดิม
มุมมองที่เน้นข้อมูลนี้มีนัยกว้างไกล มันบ่งชี้ว่า คุณภาพของฟีดแบ็กจากมนุษย์ — ไม่ใช่แค่ปริมาณ — เป็นข้อจำกัดพื้นฐานต่อความหลากหลายและความสามารถเชิงการสร้างของโมเดลที่ถูกจัดแนว สำหรับนักวิจัยและผู้ปฏิบัติที่สร้างชุดข้อมูลเชิงความชอบ ข้อค้นพบเรื่องอคติความเป็นแบบฉบับเป็นคำเตือนที่เป็นรูปธรรม: แนวโน้มของผู้ใส่คำอธิบายกำหนดบุคลิกของโมเดลในลักษณะที่เป็นระบบ วัดได้ และมีผลตามมา
ในขณะเดียวกัน Verbalized Sampling เป็นคำตอบเชิงปฏิบัติในช่วงการใช้งานสำหรับปัญหาในช่วงการฝึก คุณค่าของมันไม่ได้อยู่แค่ในความหลากหลายที่เพิ่มขึ้นซึ่งมันมอบให้ในวันนี้ แต่ยังอยู่ในสิ่งที่มันแสดงให้เห็น: ว่าความกว้างเชิงการสร้างของโมเดลที่ถูกฝึกไว้ล่วงหน้าไม่ได้สูญหายไปจากการจัดแนว — มันเพียงถูกกดทับไว้ และสามารถจัดการได้โดยไม่ต้องเริ่มต้นใหม่ตั้งแต่ศูนย์
คำถามที่พบบ่อย (FAQ)
อะไรเป็นสาเหตุของการยุบโหมดในโมเดลภาษาขนาดใหญ่?
การยุบโหมดเกิดจาก อคติความเป็นแบบฉบับ (typicality bias) ในข้อมูลเชิงความชอบที่ใช้ระหว่างการจัดแนวหลังการฝึกเป็นหลัก ซึ่งผู้ใส่คำอธิบายมักจะชอบข้อความที่ฟังดูคุ้นเคยอย่างเป็นระบบ อคตินี้ซึ่งมีรากฐานในจิตวิทยาการรับรู้ ทำให้โมเดลถูกฝึกให้บรรจบสู่ผลลัพธ์ที่คาดเดาได้และหลีกเลี่ยงคำตอบที่แปลกแต่ถูกต้อง
Verbalized Sampling บรรเทาการยุบโหมดได้อย่างไร?
Verbalized Sampling ให้พรอมต์โมเดลให้สร้างชุดคำตอบตัวเลือกและอธิบายการกระจายความน่าจะเป็นเหนือคำตอบเหล่านั้น — ตัวอย่างเช่น สร้างคำตอบห้าฉบับพร้อมการประมาณโอกาสเกิด วิธีนี้ปลุกความหลากหลายเชิงการสร้างที่ถูกฝึกไว้ล่วงหน้าของโมเดลให้กลับมาทำงาน โดยไม่ต้องฝึกเพิ่มเติมหรือเปลี่ยนสถาปัตยกรรมใดๆ
Verbalized Sampling เพิ่มความหลากหลายในแอปพลิเคชันใดบ้าง?
Verbalized Sampling เพิ่มความหลากหลายของผลลัพธ์ในงาน เขียนเชิงสร้างสรรค์ (บทกวี เรื่องสั้น มุกตลก) การจำลองบทสนทนา การตอบคำถามแบบปลายเปิด และการสร้างข้อมูลสังเคราะห์ — โดยเพิ่มความหลากหลายได้ 1.6 ถึง 2.1 เท่าเหนือการใช้พรอมต์โดยตรงในงานเขียนเชิงสร้างสรรค์เพียงอย่างเดียว
Verbalized Sampling ส่งผลต่อความถูกต้องตามข้อเท็จจริงหรือความปลอดภัยหรือไม่?
ไม่ ตามงานวิจัย Verbalized Sampling เพิ่มความหลากหลายโดยไม่ลดทอนความถูกต้องตามข้อเท็จจริงหรือความปลอดภัย ทำให้เป็นตัวเลือกที่ใช้งานได้จริงสำหรับกรณีการใช้งานในระบบจริงที่ต้องการทั้งความหลากหลายและความน่าเชื่อถือ
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”อะไรเป็นสาเหตุของการยุบโหมดในโมเดลภาษาขนาดใหญ่?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”การยุบโหมดเกิดจากอคติความเป็นแบบฉบับ (typicality bias) ในข้อมูลเชิงความชอบที่ใช้ระหว่างการจัดแนวหลังการฝึกเป็นหลัก ซึ่งผู้ใส่คำอธิบายมักจะชอบข้อความที่ฟังดูคุ้นเคยอย่างเป็นระบบ อคตินี้ซึ่งมีรากฐานในจิตวิทยาการรับรู้ ทำให้โมเดลถูกฝึกให้บรรจบสู่ผลลัพธ์ที่คาดเดาได้และหลีกเลี่ยงคำตอบที่แปลกแต่ถูกต้อง.”}},{“@type”:”Question”,”name”:”Verbalized Sampling บรรเทาการยุบโหมดได้อย่างไร?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Verbalized Sampling ให้พรอมต์โมเดลให้สร้างชุดคำตอบตัวเลือกและอธิบายการกระจายความน่าจะเป็นเหนือคำตอบเหล่านั้น — ตัวอย่างเช่น สร้างคำตอบห้าฉบับพร้อมการประมาณโอกาสเกิด วิธีนี้ปลุกความหลากหลายเชิงการสร้างที่ถูกฝึกไว้ล่วงหน้าของโมเดลให้กลับมาทำงาน โดยไม่ต้องฝึกเพิ่มเติมหรือเปลี่ยนสถาปัตยกรรมใดๆ.”}},{“@type”:”Question”,”name”:”Verbalized Sampling เพิ่มความหลากหลายในแอปพลิเคชันใดบ้าง?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Verbalized Sampling เพิ่มความหลากหลายของผลลัพธ์ในงานเขียนเชิงสร้างสรรค์ (บทกวี เรื่องสั้น มุกตลก) การจำลองบทสนทนา การตอบคำถามแบบปลายเปิด และการสร้างข้อมูลสังเคราะห์ — โดยเพิ่มความหลากหลายได้ 1.6 ถึง 2.1 เท่าเหนือการใช้พรอมต์โดยตรงในงานเขียนเชิงสร้างสรรค์เพียงอย่างเดียว.”}},{“@type”:”Question”,”name”:”Verbalized Sampling ส่งผลต่อความถูกต้องตามข้อเท็จจริงหรือความปลอดภัยหรือไม่?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”ไม่ ตามงานวิจัย Verbalized Sampling เพิ่มความหลากหลายโดยไม่ลดทอนความถูกต้องตามข้อเท็จจริงหรือความปลอดภัย ทำให้เป็นตัวเลือกที่ใช้งานได้จริงสำหรับกรณีการใช้งานในระบบจริงที่ต้องการทั้งความหลากหลายและความน่าเชื่อถือ.”}}]}
บทความนี้จัดทำขึ้นด้วยความช่วยเหลือของปัญญาประดิษฐ์และผ่านการทบทวนโดยทีมบรรณาธิการแล้ว
