งานเขียนเชิงวิทยาศาสตร์จำนวนมากขึ้นเรื่อย ๆ กำลังถูกตัดสินอย่างน้อยก็ในบางส่วนโดย ปัญญาประดิษฐ์ และงานวิจัยฉบับใหม่ชี้ให้เห็นว่าคำที่นักวิจัยเลือกใช้สามารถเปลี่ยนคำตัดสินของผู้ประเมินที่เป็น AI ได้ แม้ว่าข้อมูลพื้นฐานจะไม่เปลี่ยนเลยก็ตาม นักวิจัยที่ศึกษาประเด็น อิทธิพลเชิงวาทศิลป์ต่อการประเมินของ AI พบว่าการจัดกรอบ (framing) ไม่ใช่หลักฐาน สามารถค่อย ๆ เอียงคะแนนให้สูงขึ้นหรือต่ำลงในระบบ peer review ที่ใช้โมเดลภาษาขนาดใหญ่ เป็นฐาน ซึ่งทำให้เกิดคำถามใหม่ ๆ ว่าผู้ตัดสินที่เป็นเครื่องจักรนั้นน่าเชื่อถือจริงแค่ไหน
ความกังวลนี้ไม่ใช่เรื่องสมมติ ระบบ peer review ซึ่งเป็นระบบเก่าแก่หลายทศวรรษที่นักวิจัยตรวจสอบงานของกันและกันก่อนตีพิมพ์ กำลังรับภาระหนักจากกระแสบทความที่หลั่งไหลเข้ามา แบบสำรวจของวารสาร Frontiers ที่ Ars Technica อ้างถึงพบว่า ผู้ประเมินมากกว่าครึ่ง พึ่งพาเครื่องมือ AI ในบางช่วงของกระบวนการประเมินอยู่แล้ว มักใช้เพียงเพื่อให้ทันกับปริมาณงาน การพึ่งพานั้นเองที่ทำให้คำถามเรื่องอคติด้านวาทศิลป์ใน AI review กลายเป็นเรื่องเร่งด่วน: หากเครื่องจักรกำลังให้คะแนนบทความอยู่แล้ว และเพียงแค่ การเลือกใช้คำ ก็สามารถขยับคะแนนได้ ความเสี่ยงต่อความเป็นธรรมทางวิทยาศาสตร์ก็จะเพิ่มสูงขึ้นอย่างรวดเร็ว
นั่นคือช่องว่างที่ทีมวิจัยซึ่งนำโดย Ming Li ตั้งใจจะวัดให้ได้ งานวิจัยของพวกเขาซึ่งส่งในเดือนสิงหาคม 2026 และสร้างขึ้นจาก บทความที่ส่งเข้าประชุม ICLR 2026 แยกวาทศิลป์ออกจากเนื้อหาสาระเพื่อดูอย่างชัดเจนว่าการนำเสนอสามารถโน้มน้าวคำตัดสินของ AI ได้มากเพียงใด และผลลัพธ์ที่ได้สะท้อนภาพของอคติที่มีโครงสร้าง ไม่สม่ำเสมอ และในบางกรณีก็สามารถคาดเดาได้อย่างน่าประหลาดใจ
Summary
ประเด็นสำคัญ
- เพียงแค่การจัดกรอบเชิงวาทศิลป์ก็สามารถเปลี่ยนคะแนนการประเมินของ AI ได้อย่างมีนัยสำคัญ แม้ว่าข้อมูลทางวิทยาศาสตร์พื้นฐานจะเหมือนเดิมทุกประการ
- นักวิจัยสร้างคลังข้อมูลที่ประกอบด้วย ต้นฉบับบทความฉบับเต็ม 4,200 ฉบับ ที่ได้มาจาก ต้นฉบับ ICLR 2026 ที่ไม่เปิดเผยชื่อ 120 ฉบับ เพื่อทดสอบผลกระทบดังกล่าว
- การจัดกรอบหลักฐาน (evidence framing) และท่าทีต่อความใหม่ (novelty stance) เป็นปัจจัยที่ทำให้คะแนนการประเมินโดยรวมเหวี่ยงขึ้นลงมากที่สุด มากกว่ามิติด้านวาทศิลป์อื่น ๆ
- บทความที่ได้คะแนน AI เดิมต่ำมักจะได้คะแนนสูงขึ้นหลังการเขียนใหม่เชิงวาทศิลป์ ขณะที่บทความที่ได้คะแนนสูงอยู่แล้วมักจะได้คะแนนลดลง
- โปรโตคอลการประเมินที่เข้มงวดขึ้นทำให้คะแนนเฉลี่ยลดลง 1.36 คะแนน แต่ไม่ได้ลดความไวต่อวาทศิลป์ที่อยู่เบื้องหลังอย่างน่าเชื่อถือ
ภาพรวมและระเบียบวิธีของการศึกษา
ทีมวิจัยออกแบบการทดลองแบบควบคุมโดยเฉพาะเพื่อกำจัดตัวแปรทุกอย่าง ยกเว้นวิธีการใช้ถ้อยคำในบทความ แยกให้เห็นชัดเจนว่า ความไวต่อวาทศิลป์ เป็นสิ่งเดียวที่เปลี่ยนไประหว่างฉบับต่าง ๆ ของต้นฉบับเดียวกัน การออกแบบเช่นนี้เองที่ทำให้ผลการวิจัยมีน้ำหนัก: ความแตกต่างของคะแนนระหว่างฉบับต่าง ๆ สามารถโยงกลับไปที่การนำเสนอได้โดยตรง ไม่ใช่ความแตกต่างที่แท้จริงในเนื้อหาวิทยาศาสตร์
คลังต้นฉบับแบบควบคุมจากบทความที่ส่งเข้า ICLR 2026
เพื่อทดสอบอย่างสะอาด ทีมวิจัยสร้างคลังต้นฉบับบทความฉบับเต็ม 4,200 ฉบับจากต้นฉบับที่ไม่เปิดเผยชื่อ 120 ฉบับที่ส่งเข้า ICLR 2026 ซึ่งเป็นหนึ่งในที่ประชุมด้านการเรียนรู้ของเครื่องที่สำคัญของสาขานี้ แต่ละบทความต้นฉบับถูกเขียนใหม่ให้เป็นหลายฉบับที่มีรูปแบบวาทศิลป์ต่างกัน สร้างชุดข้อมูลที่ใหญ่พอจะมองเห็นรูปแบบที่บทความเพียงไม่กี่ฉบับไม่สามารถเผยให้เห็นได้
การเขียนใหม่เชิงวาทศิลป์และโปรโตคอลการประเมินของ AI
โมเดลภาษาขนาดใหญ่สองตัวที่ทำหน้าที่เป็นผู้เขียนใหม่ได้ปรับเปลี่ยนมิติด้านวาทศิลป์ที่แตกต่างกันหกมิติของแต่ละต้นฉบับ โดยผลักให้แต่ละมิติไปในทิศทางตรงข้ามกัน เช่น การจัดกรอบให้มั่นใจมากขึ้นเทียบกับระมัดระวังมากขึ้น ขณะที่ปล่อยให้เนื้อหาทางวิทยาศาสตร์ที่รายงานไว้เหมือนเดิม ผู้ประเมินที่เป็น LLM ห้าตัวประเมินต้นฉบับทั้งหมดที่ได้จากการเขียนใหม่เหล่านี้ภายใต้โปรโตคอลการประเมินแบบมาตรฐานหนึ่งครั้ง และภายใต้โปรโตคอลที่เข้มงวดกว่าหนึ่งครั้ง เพื่อให้ทีมสามารถเปรียบเทียบว่าปัจจัยด้านวาทศิลป์ส่งผลอย่างไรภายใต้เงื่อนไขการประเมินที่ต่างกัน การศึกษายังทดสอบการเขียนใหม่แบบร่วมกัน แบบวนซ้ำ และแบบมีผู้ประเมินให้คำแนะนำ เพื่อดูว่าการผสมผสานกลยุทธ์ต่าง ๆ จะขยายผลกระทบหรือไม่
ผลกระทบของการเลือกใช้วาทศิลป์ต่อคะแนนการประเมินของ AI
ข้อค้นพบหลักคือ ความไวต่อวาทศิลป์ในระบบ peer review ที่ใช้ AI ไม่ใช่สัญญาณรบกวนแบบสุ่ม แต่มีลำดับชั้นที่ชัดเจน โดยตัวเลือกเชิงสไตล์บางอย่างมีความสำคัญมากกว่าตัวเลือกอื่น ๆ อย่างมาก โครงสร้างนี้เองที่ทำให้ประเด็นนี้ไม่ใช่แค่เรื่องเล็กน้อยเชิงประสบการณ์ แต่เป็นสิ่งที่ผู้ออกแบบระบบประเมินต้องคำนึงถึงอย่างจริงจัง
มิติด้านวาทศิลป์หลัก: การจัดกรอบหลักฐานและท่าทีต่อความใหม่
ในบรรดามิติด้านวาทศิลป์ทั้งหกที่ทดสอบ การจัดกรอบหลักฐานและท่าทีต่อความใหม่สร้างความแตกต่างเชิงบวก-ลบในคะแนนการประเมินโดยรวมได้มากที่สุดอย่างทิ้งห่าง การจัดกรอบขอบเขต (scope framing) อยู่ในลำดับรองที่อ่อนกว่า ขณะที่มิติที่เหลือให้ผลกระทบที่เล็กกว่าและไม่สม่ำเสมอ กล่าวอีกนัยหนึ่ง วิธีที่บทความอ้างว่าตนเองมีความใหม่อย่างมั่นใจเพียงใด หรือเสนอหลักฐานอย่างหนักแน่นเพียงใด อาจมีความสำคัญต่อผู้ประเมินที่เป็น AI มากกว่าปัจจัยเชิงสไตล์อื่น ๆ หลายอย่างรวมกัน
รูปแบบการเคลื่อนที่ของคะแนนตามคะแนนเดิม
ทิศทางของการเปลี่ยนแปลงขึ้นอยู่กับจุดเริ่มต้นของต้นฉบับอย่างมาก บทความที่เดิมได้คะแนน AI ต่ำมักจะได้คะแนนสูงขึ้นหลังการเขียนใหม่เชิงวาทศิลป์ ขณะที่บทความที่ได้คะแนนสูงอยู่แล้วมักจะได้คะแนนลดลง ความแตกต่างเชิงทิศทางที่ชัดเจนที่สุด หมายถึงช่องว่างที่มากที่สุดระหว่างฉบับที่จัดกรอบเชิงบวกกับเชิงลบของบทความเดียวกัน ปรากฏในช่วงคะแนนระดับกลาง ซึ่งเป็นช่วงที่ชะตากรรมของต้นฉบับอาจถูกถกเถียงกันมากที่สุด
ความซับซ้อนและการพึ่งพาในเวิร์กโฟลว์การเขียนใหม่
บางคนอาจคาดว่าการซ้อนเทคนิคการเขียนใหม่หลายแบบจะทำให้คะแนนเหวี่ยงมากขึ้น แต่ข้อมูลไม่สนับสนุนข้อสันนิษฐานนั้น เวิร์กโฟลว์ที่ซับซ้อนกว่า เช่น การเขียนใหม่แบบร่วมกัน แบบวนซ้ำ และแบบมีผู้ประเมินให้คำแนะนำ ไม่ได้ให้ผลเพิ่มขึ้นอย่างมีนัยสำคัญมากกว่าวิธีที่ง่ายกว่าอย่างสม่ำเสมอ ผลของการเขียนใหม่แบบร่วมกันกลับขึ้นอยู่กับว่าใช้โมเดลผู้เขียนใหม่ตัวใดอย่างมาก และการให้คำแนะนำอย่างชัดเจนแก่ผู้ประเมินก็ไม่ได้ให้ผลดีกว่าการให้ดูต้นฉบับรอบที่สองแบบไม่ชี้นำอย่างสม่ำเสมอ การเขียนใหม่หลายรอบให้ผลตอบแทนที่ลดลงและขึ้นกับการตั้งค่ามากกว่าที่จะให้ข้อได้เปรียบที่ทบต้นอย่างต่อเนื่อง ในทุกเงื่อนไขที่ทดสอบ ผู้เขียนใหม่เป็นตัวกำหนดหลักว่าฉบับที่มีกรอบวาทศิลป์ตรงข้ามกันจะห่างกันมากเพียงใด ขณะที่ผู้ประเมินเป็นตัวกำหนดขนาดและทิศทางของการเปลี่ยนแปลงคะแนนที่เกิดขึ้น
ผลของโปรโตคอลการประเมินและนัยเชิงนโยบาย
การทำให้กฎการประเมินเข้มงวดขึ้นทำให้คะแนนลดลงโดยรวม แต่ไม่ได้แก้ปัญหาอคติด้านวาทศิลป์ที่อยู่เบื้องหลัง ซึ่งอาจเป็นข้อสรุปที่สำคัญกว่าสำหรับผู้ที่สร้างหรือพึ่งพาระบบ AI review
ผลของโปรโตคอลการประเมินที่เข้มงวดและเหตุผลสำหรับการประเมินที่ทนทาน
การเปลี่ยนไปใช้โปรโตคอลการประเมินที่เข้มงวดทำให้คะแนนการประเมินโดยรวมเฉลี่ยลดลง 1.36 คะแนนเมื่อเทียบกับโปรโตคอลมาตรฐาน ซึ่งเป็นการลดลงที่มีนัยสำคัญในเชิงปริมาณ แต่ก็ไม่ได้ลดความไวของผู้ประเมินที่เป็น AI ต่อการจัดกรอบเชิงวาทศิลป์อย่างสม่ำเสมอ กฎที่เข้มงวดขึ้นทำให้ผู้ประเมินเข้มงวดมากขึ้นโดยรวม แต่ไม่ได้ทำให้ “ยุติธรรม” มากขึ้นในแง่ของการต้านทานการปรับแต่งเชิงสไตล์
ความแตกต่างนี้มีความสำคัญสำหรับผู้ที่ติดตามการเติบโตของระบบ peer review ที่ใช้ AI หากการทำให้เกณฑ์เข้มงวดขึ้นไม่สามารถลบล้างความไวต่อวาทศิลป์ได้ การขอให้ผู้ประเมินที่เป็น AI “วิจารณ์ให้เข้มขึ้น” เพียงอย่างเดียวจึงไม่ใช่ทางออก ผลการวิจัยชี้ไปยังแนวทางแก้ปัญหาที่ต่างออกไป: ระบบการประเมินที่ถูกออกแบบมาให้ทนทานต่อการเปลี่ยนแปลงเชิงวาทศิลป์ที่ไม่แตะต้องเนื้อหา กล่าวคือ ระบบที่ให้คำตัดสินกับบทความเหมือนเดิมไม่ว่าจะจัดกรอบหลักฐานอย่างมั่นใจหรือระมัดระวัง ตราบใดที่วิทยาศาสตร์พื้นฐานไม่ได้เปลี่ยน
สำหรับแวดวงที่กังวลอยู่แล้วเกี่ยวกับปริมาณงาน ภาวะหมดไฟ และความไม่สม่ำเสมอของผู้ประเมินที่เป็นมนุษย์ ดังที่รายงานของ Ars Technica ว่าด้วยวิกฤต peer review ในภาพรวมได้บันทึกไว้ แรงจูงใจที่จะพึ่งพาผู้ให้คะแนนที่เป็น AI มากขึ้นย่อมจะเพิ่มขึ้น การศึกษานี้เตือนว่า การทำให้การตัดสินเป็นอัตโนมัติไม่ได้ทำให้อคติหายไปโดยอัตโนมัติ เพียงแต่เปลี่ยนที่มาของอคติเท่านั้น
คำถามที่พบบ่อย
การเลือกใช้วาทศิลป์ส่งผลต่อคะแนนการประเมินแบบ peer review ที่ใช้ AI อย่างไร?
การเลือกใช้วาทศิลป์ เช่น การจัดกรอบหลักฐานและท่าทีต่อความใหม่ ส่งผลต่อคำตัดสินของ AI อย่างมีนัยสำคัญ ขณะที่เนื้อหาทางวิทยาศาสตร์ยังคงเดิม
ใช้ชุดข้อมูลใดในการวิเคราะห์ความไวต่อวาทศิลป์ใน AI review?
ใช้คลังต้นฉบับแบบควบคุมจำนวน 4,200 ฉบับที่ได้มาจากต้นฉบับ ICLR 2026 ที่ไม่เปิดเผยชื่อ 120 ฉบับในการวิเคราะห์
กลยุทธ์การเขียนใหม่ที่ซับซ้อนกว่าส่งผลให้ได้คะแนน AI review ดีกว่าหรือไม่?
ไม่ เวิร์กโฟลว์การเขียนใหม่ที่ซับซ้อนกว่าไม่ได้ให้ผลเพิ่มขึ้นของคะแนน AI review อย่างมีนัยสำคัญอย่างสม่ำเสมอ
ผลของการใช้โปรโตคอลการประเมินที่เข้มงวดต่อคะแนน AI review เป็นอย่างไร?
โปรโตคอลการประเมินที่เข้มงวดทำให้คะแนนการประเมินโดยรวมเฉลี่ยลดลง 1.36 คะแนน แต่ไม่ได้เปลี่ยนความไวต่อวาทศิลป์อย่างสม่ำเสมอ
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”การเลือกใช้วาทศิลป์ส่งผลต่อคะแนนการประเมินแบบ peer review ที่ใช้ AI อย่างไร?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”การเลือกใช้วาทศิลป์ เช่น การจัดกรอบหลักฐานและท่าทีต่อความใหม่ ส่งผลต่อคำตัดสินของ AI อย่างมีนัยสำคัญ ขณะที่เนื้อหาทางวิทยาศาสตร์ยังคงเดิม”}},{“@type”:”Question”,”name”:”ใช้ชุดข้อมูลใดในการวิเคราะห์ความไวต่อวาทศิลป์ใน AI review?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”ใช้คลังต้นฉบับแบบควบคุมจำนวน 4,200 ฉบับที่ได้มาจากต้นฉบับ ICLR 2026 ที่ไม่เปิดเผยชื่อ 120 ฉบับในการวิเคราะห์”}},{“@type”:”Question”,”name”:”กลยุทธ์การเขียนใหม่ที่ซับซ้อนกว่าส่งผลให้ได้คะแนน AI review ดีกว่าหรือไม่?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”ไม่ เวิร์กโฟลว์การเขียนใหม่ที่ซับซ้อนกว่าไม่ได้ให้ผลเพิ่มขึ้นของคะแนน AI review อย่างมีนัยสำคัญอย่างสม่ำเสมอ”}},{“@type”:”Question”,”name”:”ผลของการใช้โปรโตคอลการประเมินที่เข้มงวดต่อคะแนน AI review เป็นอย่างไร?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”โปรโตคอลการประเมินที่เข้มงวดทำให้คะแนนการประเมินโดยรวมเฉลี่ยลดลง 1.36 คะแนน แต่ไม่ได้เปลี่ยนความไวต่อวาทศิลป์อย่างสม่ำเสมอ”}}]}
บทความนี้จัดทำขึ้นโดยได้รับความช่วยเหลือจากปัญญาประดิษฐ์และผ่านการทบทวนโดยทีมบรรณาธิการแล้ว
