แบบจำลองการอ่านและการเขียนผสานสิ่งที่สมองมนุษย์แยกออกจากกัน

การที่ระบบซึ่งไม่มีสมองจะสามารถ“อ่าน” และ “เขียน”ได้ หมายความว่าอย่างไร? งานวิจัยใหม่ที่เผยแพร่บน arXiv โดยนักวิจัย Diego Saldaña Ulloa ได้ตั้งคำถามนี้อย่างจริงจัง — และผลการศึกษาก็เผยให้เห็นสิ่งที่น่าทึ่งอย่างแท้จริงเกี่ยวกับวิธีที่โมเดลภาษาขนาดใหญ่จัดการการอ่านและการเขียนเมื่อเทียบกับจิตมนุษย์

ประเด็นสำคัญ

• ในสมองมนุษย์ การอ่านและการเขียนเป็นระบบที่แยกออกจากกันสองชั้น ทำงานผ่านเส้นทางประสาทที่แตกต่างกันอย่างชัดเจน; ความเสียหายต่อระบบหนึ่งไม่ได้หมายความว่าจะทำให้อีกระบบบกพร่องเสมอไป
• โมเดล LLM แบบ decoder-only เช่น GPT-2, OPT และ Pythia ประมวลผลทั้งอินพุตและเอาต์พุตผ่านเส้นทางออโตรีเกรสซีฟเดียว ทำให้สิ่งที่สมองแยกออกจากกันกลับพันกันอยู่ในเส้นทางเดียว
• ดัชนีการพัวพัน E ระหว่าง 0.23 และ 0.35 แสดงให้เห็นว่าโมเดลที่ไม่ผูกน้ำหนักร่วมกันมีการใช้รหัสการอ่านและการเขียนร่วมกันบางส่วนแต่ไม่ทั้งหมด
• รหัสเอาต์พุตเคลื่อนที่ห่างออกไปประมาณ 3.2 เท่าจากรหัสอินพุตเมื่อพิจารณาตามเดไซล์ความถี่ของคำ บ่งชี้ถึงความเชี่ยวชาญแบบไม่สมมาตรภายในกลไกที่ใช้ร่วมกัน
• การเชื่อมโยงเชิงพฤติกรรมระหว่างความเข้าใจ (comprehension) และการผลิตภาษา (production) มีนัยสำคัญทางสถิติในโมเดลที่ทดสอบทั้ง 12 โมเดลที่ไม่เสื่อมสภาพ (p < 0.001) ซึ่งตรงกันข้ามโดยสิ้นเชิงกับรูปแบบในสมองมนุษย์

ระบบประสาทที่แตกต่างกันสำหรับการอ่านและการเขียนในสมองมนุษย์

ในสมองของมนุษย์ที่รู้หนังสือ การอ่านและการเขียนไม่ได้ใช้กลไกประสาทเดียวกัน พวกมันทำงานเป็นระบบที่แยกออกจากกันสองชั้น (doubly-dissociable systems) — หมายความว่าแต่ละระบบสามารถบกพร่องแบบเลือกเฉพาะได้โดยไม่กระทบอีกระบบหนึ่ง ผู้ป่วยที่มีภาวะ pure alexia สูญเสียความสามารถในการอ่านในขณะที่การเขียนยังคงปกติ; ผู้ป่วยที่มีภาวะ pure agraphia สูญเสียความสามารถในการเขียนในขณะที่การอ่านยังคงอยู่ กลุ่มอาการทางคลินิกเหล่านี้สอดคล้องกับเส้นทางประสาทสองเส้นทางที่ระบุได้: เส้นทาง ventral สำหรับถอดรหัสการอ่าน และเส้นทาง fronto-parietal สำหรับเข้ารหัสการเขียน ทั้งสองระบบมีเพียงแกนกลางด้านอักขรวิธีร่วมกันบางส่วนเท่านั้น

การแยกจากกันนี้ไม่ใช่เรื่องแปลกประหลาดของประสาทวิทยา แต่มันสะท้อนสถาปัตยกรรมที่ถูกหล่อหลอมโดยวิวัฒนาการและพัฒนาการ ซึ่งความต้องการทางการรู้คิดที่แตกต่างกันได้สลักให้เกิดวิธีแก้ปัญหาทางประสาทที่แตกต่างกัน การอ่านในท้ายที่สุดเป็นทักษะที่มนุษย์สร้างขึ้นทางวัฒนธรรม — มนุษย์ฝึกฝนมันมาเพียงไม่กี่พันปี — แต่สมองได้ดัดแปลงและนำวงจรที่มีอยู่ก่อนแล้วมาใช้บางส่วนเพื่อรองรับมัน

กลไกการอ่านและการเขียนแบบรวมศูนย์ในโมเดลภาษาขนาดใหญ่

LLM ใช้วิธีการที่แตกต่างโดยพื้นฐาน ในขณะที่สมองแยกออกจากกัน โมเดลภาษาขนาดใหญ่แบบ decoder-only กลับรวมเข้าด้วยกัน โมเดลอย่าง GPT-2, OPT และ Pythia ขับเคลื่อนทั้งการประมวลผลอินพุตและการสร้างเอาต์พุตผ่านการส่งต่อแบบออโตรีเกรสซีฟเพียงครั้งเดียว ไม่มีสิ่งที่เทียบเท่าทางสถาปัตยกรรมกับเส้นทางการอ่านแบบ ventral หรือเส้นทางการเขียนแบบ fronto-parietal — มีเพียงเส้นทางเดียวที่ถูกปรับให้เหมาะสมแบบ end-to-end บนข้อความจำนวนมหาศาล

การวัดการพัวพันด้วยดัชนี E

เพื่อหาปริมาณอย่างแม่นยำว่าเส้นทางที่ใช้ร่วมกันนี้ทำให้การอ่านและการเขียนพัวพันกันมากเพียงใด Saldaña Ulloa ได้พัฒนาดัชนีการพัวพัน E ที่มีค่าตั้งแต่ 0 (รหัสเป็นอิสระอย่างสมบูรณ์) ถึง 1 (ผูกติดกันอย่างสมบูรณ์) ดัชนีนี้เปรียบเทียบรหัสการอ่านฝั่งอินพุตกับรหัสการเขียนฝั่งเอาต์พุตโดยใช้ตัวชี้วัดเชิงเรขาคณิตสามตัว: CKA, Procrustes residual และ mutual k-nearest neighbors ทั้งค่าพื้นฐานจากการเริ่มต้นแบบอิสระและเพดานจากการผูกน้ำหนักร่วมกันถูกใช้เพื่อปรับสเกล ทำให้เมตริกนี้มีความหมายเชิงตีความจริง แทนที่จะเป็นหน่วยที่กำหนดตามอำเภอใจ

การวิเคราะห์เชิงประจักษ์ของการพัวพันการอ่าน-การเขียนใน LLM ต่าง ๆ

การศึกษานี้วิเคราะห์โพรบเก้าตัวในหกตระกูลโมเดล — GPT-2, OPT, Pythia (ตั้งแต่ 14 ล้านถึง 1.4 พันล้านพารามิเตอร์), T5, BERT และ RoBERTa โพรบหกตัวแรกสรุปผลการค้นพบที่มีการยืนยันมาก่อนแล้ว; อีกสามตัวแนะนำการวิเคราะห์การพัวพันการอ่าน/การเขียนแบบใหม่โดยตรง

ผลเชิงปริมาณ: การพัวพันต่ำกว่าเพดานและการเคลื่อนของรหัส

สำหรับโมเดลที่ไม่ผูกน้ำหนักร่วมกัน — กล่าวคือเมทริกซ์ embedding ของอินพุตและเอาต์พุตไม่ได้ถูกบังคับให้เหมือนกัน — ค่าดัชนีการพัวพันอยู่ระหว่างE = 0.23 และ 0.35 ช่วงนี้สูงกว่าค่าพื้นฐานของความเป็นอิสระอย่างชัดเจน ยืนยันว่ามีการเชื่อมโยงกันจริง แต่ไม่เคยถึงเพดานที่น้ำหนักถูกผูกติดกันอย่างสมบูรณ์ รหัสจึงถูกใช้ร่วมกันแต่ไม่หลอมรวมเป็นหนึ่งเดียว

ยังมีความไม่สมมาตรที่ควรกล่าวถึง รหัสเอาต์พุตเคลื่อนที่ห่างออกไปประมาณ3.2 เท่าจากรหัสอินพุตในทุกเดไซล์ของความถี่คำ ด้านการเขียนของกลไกที่ใช้ร่วมกันดูเหมือนจะไวต่อความถี่ของคำมากกว่าด้านการอ่าน — เป็นความแตกต่างเล็กน้อยแต่สามารถวัดได้ภายในระบบที่ในนามแล้วถือว่าเป็นระบบเดียวกัน

การเชื่อมโยงเชิงพฤติกรรมระหว่างความเข้าใจและการผลิตภาษา

ภาพเชิงตัวแทน (representational) นี้สะท้อนให้เห็นในระดับพฤติกรรมเช่นกัน ในโมเดลที่ทดสอบทั้ง 12 โมเดลที่ไม่เสื่อมสภาพ ประสิทธิภาพด้านความเข้าใจและการผลิตภาษาจะเชื่อมโยงกันในเชิงบวก — โมเดลที่ทำงานได้ดีในงานหนึ่งมักจะทำงานได้ดีในอีกงานหนึ่งด้วย การทดสอบแบบ sign test ยืนยันว่าผลนี้ไม่ใช่เรื่องบังเอิญ: p < 0.001 นี่เป็นภาพสะท้อนกลับด้านของสิ่งที่ประสาทวิทยาแสดงให้เห็นในมนุษย์ ซึ่งทั้งสองความสามารถสามารถแยกออกจากกันได้อย่างชัดเจน

โมเดลแบบ Encoder-Decoder: การแทนค่าที่แยกจากกัน แต่รูปแบบพฤติกรรมเหมือนเดิม

อาจคาดหวังได้ว่า สถาปัตยกรรมแบบ encoder-decoder — ซึ่งแยกการประมวลผลอินพุตและเอาต์พุตออกเป็นโมดูลที่แตกต่างกันทางกายภาพ — จะทำลายการเชื่อมโยงเชิงพฤติกรรมนี้ แต่ไม่เป็นเช่นนั้น โมเดลอย่าง T5 ให้คะแนนการแยกตัวแทนได้สูงถึง 0.96 แยกรหัสการอ่านและการเขียนออกจากกันเกือบสมบูรณ์ในเชิงน้ำหนัก แต่ในเชิงพฤติกรรม ประสิทธิภาพด้านการอ่านและการเขียนยังคงเชื่อมโยงกัน การแยกตัวเชิงโครงสร้างของการแทนค่าไม่ได้แปลไปสู่ประสิทธิภาพที่เป็นอิสระต่อกัน

นี่เป็นหนึ่งในผลลัพธ์ที่มีนัยสำคัญเชิงวิเคราะห์มากที่สุดของการศึกษา มันบ่งชี้ว่าการเชื่อมโยงใน LLM ไม่ได้เป็นเพียงผลลัพธ์ของการใช้น้ำหนัก embedding ร่วมกันเท่านั้น แต่มีบางสิ่งที่ลึกกว่านั้น — อาจเกี่ยวข้องกับวิธีที่โมเดลถูกฝึกด้วยวัตถุประสงค์ข้อความเดียวกัน — ที่ทำให้ประสิทธิภาพด้านการอ่านและการเขียนถูกล็อกเข้าด้วยกันโดยไม่ขึ้นกับวิธีที่สถาปัตยกรรมกระจายการแทนค่า

ช่องว่างระหว่างเรขาคณิตกับพฤติกรรม

เพื่อเสริมข้อสรุปนั้น การศึกษารายงานว่าไม่มีความสัมพันธ์ระหว่างความคล้ายคลึงของรหัสเชิงเรขาคณิตกับการเชื่อมโยงเชิงพฤติกรรม: ρ = 0.00 ความคล้ายกันของการแทนค่าการอ่านและการเขียนของโมเดลในเชิงน้ำหนักไม่ได้บอกอะไรเลยว่าประสิทธิภาพด้านการอ่านและการเขียนจะมีความสัมพันธ์กันหรือไม่ ระดับการวิเคราะห์ทั้งสอง — เชิงเรขาคณิตและเชิงพฤติกรรม — สอดคล้องกันในทิศทาง แต่เป็นอิสระต่อกันในด้านอื่น ๆ

นัยสำคัญ: ความแตกต่างระหว่างสถาปัตยกรรมการอ่าน-การเขียนของมนุษย์และ LLM

เมื่อพิจารณาร่วมกัน ผลการศึกษาชี้ให้เห็นว่าโมเดลภาษาขนาดใหญ่เป็นสถาปัตยกรรมการรู้คิดที่แตกต่างอย่างแท้จริง — ไม่ใช่เพียงการจำลองสมองมนุษย์ในรูปแบบดิจิทัล แต่เป็นจุดหนึ่งในสิ่งที่การศึกษาเรียกว่า “พื้นที่ของจิตที่เป็นไปได้” (the space of possible minds) การเปรียบเทียบกับการอ่านและการเขียนของมนุษย์มีประโยชน์ในการตั้งคำถาม แต่กลไกไม่ได้สอดคล้องกันโดยตรง

ความแตกต่างนี้มีความสำคัญต่อวิธีที่เราตีความความสามารถและข้อจำกัดของ LLM เมื่อโมเดลมีปัญหาในการถอดความ (paraphrase) ข้อความที่ดูเหมือนว่ามันได้ “เข้าใจ” แล้ว หรือสร้างงานเขียนที่ลื่นไหลแต่บิดเบือนอินพุต แหล่งที่มาของข้อผิดพลาดอาจไม่ใช่ความล้มเหลวในการประมวลผลในความหมายที่เข้าใจได้โดยสัญชาตญาณ แต่มันอาจสะท้อนผลเชิงโครงสร้างของการยุบสิ่งที่สมองแยกออกจากกันให้กลายเป็นการส่งต่อแบบพัวพันเพียงครั้งเดียว — การออกแบบที่ทำให้เกิดการเชื่อมโยงเชิงพฤติกรรมแทบจะอย่างหลีกเลี่ยงไม่ได้

การศึกษานี้ระบุขอบเขตของตนอย่างชัดเจน โมเดลที่วิเคราะห์มีขนาดสูงสุด 1.4 พันล้านพารามิเตอร์ และผู้เขียนรายงานผลลัพธ์เชิงศูนย์ (null results) อย่างเปิดเผย: สะพานเชื่อมจากเรขาคณิตไปสู่พฤติกรรมไม่มีอยู่ในข้อมูล ไม่ว่ารูปแบบการพัวพันที่แตกต่างกันจะปรากฏในโมเดลที่ใหญ่กว่าหรือมีโครงสร้างต่างออกไปหรือไม่นั้นยังคงเป็นคำถามเชิงประจักษ์ที่เปิดกว้าง — และยิ่งเร่งด่วนมากขึ้นเมื่อระบบ AI ถูกนำไปใช้ในบริบทที่สมมติให้ความเข้าใจการอ่านและการผลิตข้อความเป็นทักษะที่เป็นอิสระและสามารถประเมินแยกกันได้

คำถามที่พบบ่อย

กระบวนการอ่านและการเขียนในสมองมนุษย์แตกต่างกันอย่างไร?

ทั้งสองทำงานเป็นระบบที่แยกออกจากกันสองชั้น โดยใช้เส้นทางประสาทที่แตกต่างกัน: เส้นทาง ventral สำหรับถอดรหัสการอ่าน และเส้นทาง fronto-parietal สำหรับเข้ารหัสการเขียน ความเสียหายต่อเส้นทางหนึ่ง — เช่นในภาวะ pure alexia หรือ pure agraphia — สามารถทำให้อีกเส้นทางหนึ่งยังคงทำงานได้ค่อนข้างปกติ

โมเดลภาษาขนาดใหญ่ประมวลผลการอ่านและการเขียนอย่างไร?

LLM แบบ decoder-only ประมวลผลทั้งการอ่าน (การถอดรหัสอินพุต) และการเขียน (การเข้ารหัสเอาต์พุต) ผ่านเส้นทางออโตรีเกรสซีฟเดียว สถาปัตยกรรมนี้ทำให้หน้าที่ที่สมองแยกออกจากกันกลับพัวพันอยู่ในระบบประสาทเทียมเดียวกัน

ดัชนีการพัวพัน E ในการศึกษานี้วัดอะไร?

มันหาปริมาณการทับซ้อนกันระหว่างรหัสอินพุต (การอ่าน) และรหัสเอาต์พุต (การเขียน) ใน LLM บนสเกลตั้งแต่ 0 (เป็นอิสระต่อกัน) ถึง 1 (เชื่อมโยงกันอย่างสมบูรณ์) โมเดลที่ไม่ผูกน้ำหนักร่วมกันในงานวิจัยนี้ได้คะแนนระหว่าง E = 0.23 และ E = 0.35 — สูงกว่าค่าพื้นฐานของความเป็นอิสระอย่างมีนัยสำคัญ แต่ยังไม่ถึงระดับการเชื่อมโยงเต็มรูปแบบ

โมเดลแบบ encoder-decoder แยกการแทนค่าการอ่านและการเขียนออกจากกันอย่างสมบูรณ์หรือไม่?

ในเชิงการแทนค่า โมเดล encoder-decoder แยกได้เกือบสมบูรณ์ — ให้คะแนนการแยกสูงถึง 0.96 แต่ในเชิงพฤติกรรม ประสิทธิภาพด้านการอ่านและการเขียนยังคงเชื่อมโยงกันในเชิงบวกแม้ในสถาปัตยกรรมเหล่านี้ บ่งชี้ว่าการเชื่อมโยงนั้นลึกไปกว่าความเรขาคณิตของน้ำหนักเพียงอย่างเดียว

{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”กระบวนการอ่านและการเขียนในสมองมนุษย์แตกต่างกันอย่างไร?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”ทั้งสองทำงานเป็นระบบที่แยกออกจากกันสองชั้น โดยใช้เส้นทางประสาทที่แตกต่างกัน: เส้นทาง ventral สำหรับถอดรหัสการอ่าน และเส้นทาง fronto-parietal สำหรับเข้ารหัสการเขียน ความเสียหายต่อเส้นทางหนึ่ง — เช่นในภาวะ pure alexia หรือ pure agraphia — สามารถทำให้อีกเส้นทางหนึ่งยังคงทำงานได้ค่อนข้างปกติ”}},{“@type”:”Question”,”name”:”โมเดลภาษาขนาดใหญ่ประมวลผลการอ่านและการเขียนอย่างไร?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”LLM แบบ decoder-only ประมวลผลทั้งการอ่าน (การถอดรหัสอินพุต) และการเขียน (การเข้ารหัสเอาต์พุต) ผ่านเส้นทางออโตรีเกรสซีฟเดียว สถาปัตยกรรมนี้ทำให้หน้าที่ที่สมองแยกออกจากกันกลับพัวพันอยู่ในระบบประสาทเทียมเดียวกัน”}},{“@type”:”Question”,”name”:”ดัชนีการพัวพัน E ในการศึกษานี้วัดอะไร?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”มันหาปริมาณการทับซ้อนกันระหว่างรหัสอินพุต (การอ่าน) และรหัสเอาต์พุต (การเขียน) ใน LLM บนสเกลตั้งแต่ 0 (เป็นอิสระต่อกัน) ถึง 1 (เชื่อมโยงกันอย่างสมบูรณ์) โมเดลที่ไม่ผูกน้ำหนักร่วมกันในงานวิจัยนี้ได้คะแนนระหว่าง E = 0.23 และ E = 0.35 — สูงกว่าค่าพื้นฐานของความเป็นอิสระอย่างมีนัยสำคัญ แต่ยังไม่ถึงระดับการเชื่อมโยงเต็มรูปแบบ”}},{“@type”:”Question”,”name”:”โมเดลแบบ encoder-decoder แยกการแทนค่าการอ่านและการเขียนออกจากกันอย่างสมบูรณ์หรือไม่?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”ในเชิงการแทนค่า โมเดล encoder-decoder แยกได้เกือบสมบูรณ์ — ให้คะแนนการแยกสูงถึง 0.96 แต่ในเชิงพฤติกรรม ประสิทธิภาพด้านการอ่านและการเขียนยังคงเชื่อมโยงกันในเชิงบวกแม้ในสถาปัตยกรรมเหล่านี้ บ่งชี้ว่าการเชื่อมโยงนั้นลึกไปกว่าความเรขาคณิตของน้ำหนักเพียงอย่างเดียว”}}]}

บทความนี้จัดทำขึ้นโดยได้รับความช่วยเหลือจากปัญญาประดิษฐ์และผ่านการทบทวนโดยทีมบรรณาธิการแล้ว