การตรวจสอบอย่างเข้มงวดต่อการวิจัยนโยบายสาธารณะกำลังทวีความรุนแรงขึ้นหลังจากพบข้อผิดพลาดในรายงานของ Deloitte ในการทบทวนระบบสุขภาพของแคนาดาที่มีชื่อเสียงสูง
สารบัญ
ปัญหาที่เกี่ยวข้องกับ AI ปรากฏขึ้นอย่างไรในการตรวจสอบระบบสุขภาพของ Newfoundland และ Labrador?
การวิเคราะห์ด้านการดูแลสุขภาพที่ได้รับมอบหมายจากรัฐบาลแคนาดาโดย Deloitte ซึ่งมีค่าใช้จ่ายเกือบ $1.6 ล้าน มีความไม่ถูกต้องที่ดูเหมือนจะเกิดจาก AI ตามการสืบสวนของ The Independent เอกสารจำนวน 526 หน้านี้ ซึ่งเผยแพร่โดยรัฐบาลของ Newfoundland และ Labrador ในเดือนพฤษภาคม เป็นหนึ่งในสัญญาการให้คำปรึกษาที่มีค่าใช้จ่ายสูงที่สุดในภาคสุขภาพของจังหวัดนี้ในช่วงที่ผ่านมา
รายงานนี้ถูกจัดทำขึ้นสำหรับกระทรวงสาธารณสุขและบริการชุมชนที่นำโดยพรรคเสรีนิยมในขณะนั้น รายงานได้ตรวจสอบการดูแลสุขภาพทางไกล แรงจูงใจในการรักษาพนักงาน และผลกระทบของการระบาดของ COVID-19 ต่อบุคลากรทางการแพทย์ ในช่วงเวลาที่ Newfoundland และ Labrador กำลังเผชิญกับปัญหาการขาดแคลนพยาบาลและแพทย์อย่างรุนแรง อย่างไรก็ตาม การตรวจสอบของสื่อที่ตามมาได้ก่อให้เกิดคำถามเกี่ยวกับความน่าเชื่อถือของหลักฐานที่สนับสนุนคำแนะนำเหล่านั้น
The Independent ซึ่งเป็นสื่อก้าวหน้าที่มุ่งเน้นไปที่จังหวัดทางตะวันออกสุดของแคนาดา พบความไม่ถูกต้องและความผิดปกติที่อาจเกิดขึ้นหลายประการ นอกจากนี้ การสืบสวนของพวกเขายังชี้ให้เห็นว่าการอ้างอิงงานวิจัยบางส่วนอาจถูกสร้างหรือบิดเบือนด้วยความช่วยเหลือจากเครื่องมือ ปัญญาประดิษฐ์ แม้ว่าบทความหลักจะไม่ได้เขียนโดยเครื่องจักรก็ตาม
นักวิจัยพบข้อผิดพลาดประเภทใดในรายงานการดูแลสุขภาพของแคนาดา?
ตามรายงานของ The Independent รายงานของ Deloitte มีการอ้างอิงทางวิชาการที่ เป็นเท็จ โดยอ้างถึงเอกสารวิชาการที่ถูกสร้างขึ้นมาแต่อย่างใด แหล่งข้อมูลที่แต่งขึ้นเหล่านี้ถูกใช้เพื่อสนับสนุน การวิเคราะห์ความคุ้มค่าทางเศรษฐกิจ ซึ่งเป็นองค์ประกอบสำคัญในการกำหนดการใช้จ่ายด้านการดูแลสุขภาพ รายงานยังมีการอ้างอิงนักวิจัยจริงไปยังการศึกษาที่พวกเขาไม่เคยทำงานด้วย ทำให้ดูเหมือนว่ามีหลักฐานที่แข็งแกร่งในที่ที่ไม่มีอยู่จริง
การอ้างอิงบางส่วนไปไกลกว่านั้น โดยอธิบายถึงเอกสารที่ถูกกล่าวหาว่าร่วมเขียนโดยนักวิจัยที่กล่าวว่าพวกเขาไม่เคยร่วมมือกัน อย่างไรก็ตาม การตรวจสอบไม่ได้อ้างว่าทุกการอ้างอิงมีข้อบกพร่อง แต่ความกังวลมุ่งเน้นไปที่รูปแบบของปัญหาการ อ้างอิง ที่อาจบั่นทอนความเชื่อมั่นในข้อสรุปของ รายงาน เกี่ยวกับการจัดหาบุคลากร การดูแลเสมือน และการปฏิรูประบบ
รายงานยังอ้างถึงบทความที่คาดว่าได้รับการตีพิมพ์ในวารสาร Canadian Journal of Respiratory Therapy อย่างไรก็ตาม ผู้สืบสวนไม่สามารถค้นหาบทความดังกล่าวในฐานข้อมูลของวารสารได้ ทำให้เกิดความกังวลมากขึ้นว่าเครื่องมือสร้างเนื้อหาอาจได้สร้างแหล่งข้อมูลที่ฟังดูน่าเชื่อถือแต่ไม่มีอยู่จริงขึ้นมา
Deloitte ตอบสนองต่อข้อกล่าวหาเกี่ยวกับการอ้างอิงที่สร้างโดย AI อย่างไร?
ในแถลงการณ์ต่อ Fortune โฆษกของ Deloitte Canada ได้ปกป้องเนื้อหาของงาน “Deloitte Canada ยืนหยัดอย่างมั่นคงในคำแนะนำที่นำเสนอในรายงานของเรา” โฆษกกล่าว “เรากำลังแก้ไขรายงานเพื่อปรับปรุงการอ้างอิงเล็กน้อย ซึ่งจะไม่ส่งผลกระทบต่อผลการค้นพบในรายงาน”
โฆษกกล่าวเพิ่มเติมว่าปัญญาประดิษฐ์ไม่ได้เป็นผู้สร้างรายงานที่เขียนขึ้นเอง แต่พวกเขากล่าวว่า AI ถูก “ใช้เพื่อสนับสนุนการอ้างอิงงานวิจัยเพียงเล็กน้อย” อย่างไรก็ตาม เมื่อพิจารณาถึงขนาดของการศึกษาด้านการดูแลสุขภาพและผลประโยชน์ทางการเงิน นักวิจารณ์โต้แย้งว่าการพึ่งพาการอ้างอิงที่สร้างโดยเครื่องจักรแม้เพียงเล็กน้อยก็ต้องการการตรวจสอบและความโปร่งใสที่เข้มงวดมากขึ้น
นอกจากนี้ ตำแหน่งของบริษัทที่ว่าการแก้ไขการอ้างอิงไม่ส่งผลกระทบต่อข้อสรุปของรายงานได้ดึงดูดความสนใจจากหลายฝ่าย นักวิชาการและผู้กำหนดนโยบายบางคนตั้งคำถามว่าการวิจัยที่ถูกสร้างขึ้นหรืออ้างอิงผิดสามารถแก้ไขได้อย่างไรโดยไม่ต้องประเมินแบบจำลองความคุ้มค่าต้นทุนหรือการคาดการณ์แรงงานในอนาคตใหม่
นักวิจัยที่ได้รับผลกระทบกล่าวว่าอย่างไรเกี่ยวกับกระบวนการตรวจสอบข้อเท็จจริงของบริษัทที่ปรึกษา?
Gail Tomblin Murphy, ศาสตราจารย์พิเศษในคณะพยาบาลศาสตร์ที่ Dalhousie University ใน Nova Scotia เป็นหนึ่งในผู้ที่ถูกอ้างอิงอย่างไม่ถูกต้อง เธอบอกกับ The Independent ว่า Deloitte ได้อ้างอิงเธอในเอกสารวิชาการที่ “ไม่มีอยู่จริง” เธอระบุว่าเธอเคยทำงานร่วมกับผู้เขียนอีกสามคนจากหกคนที่ถูกอ้างอิงผิด ไม่ใช่กลุ่มทั้งหมดที่ถูกกล่าวถึง
“มันฟังดูเหมือนว่าถ้าคุณกำลังคิดค้นสิ่งเหล่านี้ขึ้นมา พวกเขาอาจใช้ AI อย่างหนักในการสร้างงาน” Tomblin Murphy กล่าว ความคิดเห็นของเธอเน้นถึงความกังวลที่เพิ่มขึ้นในชุมชนวิชาการเกี่ยวกับวิธีที่เครื่องมือสร้างสรรค์สามารถสร้างบรรณานุกรมที่น่าเชื่อถือแต่ไม่ถูกต้อง โดยเฉพาะเมื่อที่ปรึกษาไม่ได้ตรวจสอบแต่ละแหล่งอ้างอิงอย่างเข้มงวด
เธอได้เตือนเพิ่มเติมว่ารายงานที่ใช้ในการกำหนดนโยบายสาธารณะต้องได้รับการสนับสนุนจากหลักฐานที่ผ่านการตรวจสอบและมีคุณภาพสูง นอกจากนี้ Tomblin Murphy ยังเน้นย้ำว่ารัฐบาลและประชาชนจ่ายเงินจำนวนมากสำหรับงานดังกล่าว ดังนั้นมันต้อง “ถูกต้องและมีข้อมูลจากหลักฐานและช่วยให้ก้าวไปข้างหน้า” การวิจารณ์ของเธอเน้นถึงการรับรู้ถึงความล้มเหลวในความรอบคอบมากกว่าความผิดพลาดทางเทคนิคเพียงอย่างเดียว
รายงานที่รัฐบาลสั่งทำมีค่าใช้จ่ายเท่าไร และผลกระทบทางการเมืองคืออะไร?
ตามคำร้องขอการเข้าถึงข้อมูลที่เผยแพร่ในบล็อกโพสต์เมื่อวันพุธที่ผ่านมา รัฐบาลแคนาดาได้จ่ายเงินเพียงไม่ถึง $1.6 ล้าน สำหรับการศึกษาของ Deloitte ซึ่งออกมาในแปดงวด จนถึงวันจันทร์ รายงานยังคงมีอยู่บนเว็บไซต์ของรัฐบาล Newfoundland และ Labrador แม้จะมีข้อโต้แย้งที่เกิดขึ้นเกี่ยวกับการอ้างอิงและวิธีการของมัน
การนำทางการเมืองในจังหวัดได้เปลี่ยนแปลงไปตั้งแต่รายงานถูกส่งมอบ Tony Wakeham ผู้นำพรรค Progressive Conservative ใน Newfoundland and Labrador ได้สาบานตนเข้ารับตำแหน่งนายกรัฐมนตรีคนใหม่ของจังหวัดในช่วงปลายเดือนตุลาคม อย่างไรก็ตาม ทั้งสำนักงานนายกรัฐมนตรีและกระทรวงสาธารณสุขและบริการชุมชนยังไม่ได้ตอบคำถามของ Fortune เกี่ยวกับรายงานในเดือนพฤษภาคม และยังไม่ได้แถลงการณ์ต่อสาธารณะเกี่ยวกับข้อกังวลดังกล่าวจนถึงปัจจุบัน
ความเงียบนี้ทำให้เกิดคำถามว่า ข้อเสนอแนะของรายงานจะยังคงเป็นแนวทางในการกำหนดนโยบายด้านสุขภาพต่อไปหรือไม่ นอกจากนี้ยังเพิ่มโอกาสในการตรวจสอบอย่างละเอียดโดยสมาชิกสภานิติบัญญัติระดับจังหวัดหรือหน่วยงานกำกับดูแลของรัฐบาลกลางเกี่ยวกับวิธีการที่งานวิจัยของบริษัทที่ปรึกษาถูกตรวจสอบก่อนที่จะมีอิทธิพลต่อบริการสาธารณะหลัก
ข้อผิดพลาดในรายงานของ Deloitte เปรียบเทียบกับกรณีสวัสดิการของออสเตรเลียอย่างไร?
การเปิดเผยข้อมูลในแคนาดามีความคล้ายคลึงกับปัญหาที่เกิดขึ้นใน ออสเตรเลีย ในเดือนกรกฎาคม Deloitte ได้จัดทำรายงานมูลค่า $290,000 เพื่อช่วยรัฐบาลออสเตรเลียในการเพิ่มความเข้มงวดในการปฏิบัติตามกฎระเบียบด้านสวัสดิการ การศึกษาที่มีความยาว 237 หน้านี้ยังพึ่งพาเทคโนโลยีการสร้างสรรค์และต่อมาถูกพบว่ามี “ภาพหลอน” รวมถึงการอ้างอิงถึงงานวิจัยทางวิชาการที่ไม่มีอยู่จริงและคำพูดที่ถูกสร้างขึ้นจากคำพิพากษาของศาลรัฐบาลกลาง
หลังจากที่นักวิจัยได้ชี้ให้เห็นถึงปัญหา Deloitte ได้ออกเวอร์ชันแก้ไขของการศึกษาของออสเตรเลีย รายงานที่อัปเดตนี้ถูกอัปโหลดอย่างเงียบๆ เมื่อเดือนที่แล้วบนเว็บไซต์ของรัฐบาล โดยยอมรับว่าบริษัทได้ใช้ระบบภาษาสร้างสรรค์ Azure OpenAI เพื่อช่วยสร้างเอกสารเริ่มต้น การยอมรับนี้เกิดขึ้นหลังจากการตรวจสอบจากภายนอกได้เปิดเผยการอ้างอิงที่มีข้อบกพร่อง
ในรายงานฉบับปรับปรุงของออสเตรเลีย Deloitte เขียนว่า “การอัปเดตที่ทำขึ้นไม่มีผลกระทบหรือเปลี่ยนแปลงเนื้อหาสาระสำคัญ ข้อค้นพบ และข้อเสนอแนะในรายงาน” อย่างไรก็ตาม นักวิจารณ์แย้งว่าแหล่งข้อมูลที่ถูกสร้างขึ้นมาเองนั้นทำให้เกิดข้อสงสัยในความน่าเชื่อถือของข้อเสนอแนะที่อิงหลักฐาน ไม่ใช่แค่รายละเอียดภายนอกเท่านั้น นอกจากนี้ เหตุการณ์ครั้งที่สองนี้ยังทำให้การถกเถียงเกี่ยวกับ deloitte ai hallucinations และความแข็งแกร่งของการตรวจสอบข้อเท็จจริงภายในของบริษัทเข้มข้นขึ้นอีกด้วย
ผลกระทบทางการเงินที่ Deloitte เผชิญคืออะไร และอะไรที่ยังไม่ได้รับการแก้ไขสำหรับแคนาดา?
ในกรณีของออสเตรเลีย บริษัทสมาชิกท้องถิ่นของ Deloitte ถูกกำหนดให้ต้องคืนเงินบางส่วนแก่รัฐบาลกลางสำหรับรายงานสวัสดิการที่มีข้อบกพร่อง บทลงโทษทางการเงินนี้บ่งชี้ว่าเจ้าหน้าที่พิจารณาว่าความไม่ถูกต้องที่เกี่ยวข้องกับ AI นั้นร้ายแรงพอที่จะต้องมีการชดเชย
ในทางตรงกันข้าม ยังไม่มีข้อมูลใด ๆ ที่ถูกเปิดเผยต่อสาธารณะเกี่ยวกับการคืนเงินหรือการแก้ไขสัญญาที่อาจเกิดขึ้นเกี่ยวกับรายงานด้านการดูแลสุขภาพของแคนาดา อย่างไรก็ตาม ความกดดันอาจเพิ่มขึ้นเมื่อผู้กำหนดนโยบาย เจ้าหน้าที่สาธารณสุข และผู้เสียภาษีตั้งคำถามว่าพวกเขาได้รับคุณค่าที่ครบถ้วนจากการศึกษาที่ตอนนี้ต้องการการแก้ไขหลักฐานหลังการตีพิมพ์หรือไม่
ในภาพรวม ทั้งสองเหตุการณ์ชี้ให้เห็นถึงความเสี่ยงที่เพิ่มขึ้นเมื่อรัฐบาลพึ่งพาบริษัทที่ปรึกษาขนาดใหญ่ที่ใช้เทคโนโลยีการสร้างสรรค์โดยไม่มีมาตรการป้องกันที่เข้มงวด นอกจากนี้ยังบ่งบอกว่าสถาบันสาธารณะจำเป็นต้องมีมาตรฐานที่เข้มงวดขึ้นในการตรวจสอบแหล่งที่มา โดยเฉพาะในรายงานนโยบายที่ยาวและซับซ้อนซึ่งสามารถกำหนดบริการที่สำคัญได้ในระยะยาว
โดยสรุป การตรวจสอบอย่างละเอียดของการทบทวนระบบสุขภาพของแคนาดาโดย Deloitte และการศึกษาสวัสดิการของออสเตรเลียเน้นย้ำถึงความจำเป็นเร่งด่วนในการมีหลักฐานที่เชื่อถือได้ วิธีการที่โปร่งใส และการกำกับดูแลที่เข้มงวด เมื่อใดก็ตามที่การวิจัยที่ได้รับการสนับสนุนจาก AI มีอิทธิพลต่อการตัดสินใจนโยบายสาธารณะ




