การศึกษาใหม่เผยให้เห็นว่าวิธีที่ โมเดลปัญญาประดิษฐ์ คลิกบนหน้าจอของคุณเองอาจถูกนำมาใช้เล่นงานมันได้ นักวิจัยพบจุดอ่อนที่ถูกมองข้ามมาก่อนในวิธีที่ โมเดล GUI visual grounding — ระบบ AI ที่แปลคำสั่งบนหน้าจอให้กลายเป็นการคลิกจริง — สร้างพิกัด และพวกเขาได้สร้างการโจมตีที่ใช้งานได้จริงชื่อ MissClick เพื่อพิสูจน์ ผลการค้นพบที่เผยแพร่โดยนักวิจัย Yu Ran เปิดเผยหมวดหมู่ใหม่ของ การโจมตีแบบปรปักษ์ต่อโมเดล GUI ที่ต้องเผชิญเมื่อมันถูกฝังตัวมากขึ้นในการทำงานอัตโนมัติบนแพลตฟอร์ม เดสก์ท็อป เว็บ และมือถือ
Summary
ประเด็นสำคัญ
- โมเดล GUI visual grounding สร้างพิกัดการคลิกบนหน้าจอเป็นลำดับของโทเค็นตัวเลข ไม่ใช่เป็นตัวเลขดิบ
- การเปลี่ยนตัวเลขเพียงหลักเดียวในหลักค่าที่สูง เช่น หลักร้อย สามารถเลื่อนตำแหน่งการคลิกไปได้ 100 หน่วยบนหน้าจอ
- MissClick เป็นการโจมตีแบบไวต์บ็อกซ์ที่มี 2 รูปแบบ: MissClick-U สำหรับการรบกวนแบบไม่ระบุเป้าหมาย และ MissClick-T สำหรับการจี้เป้าหมายแบบเจาะจง
- MissClick-U ทำอัตราความสำเร็จแบบไม่ระบุเป้าหมายได้ 75.07% บน OS-Atlas และ 72.93% บน UGround
- MissClick-T ทำอัตราความสำเร็จแบบมีเป้าหมายได้ 44.86% บน OS-Atlas และ 62.67% บน UGround
โมเดล GUI Visual Grounding สร้างพิกัดอย่างไร
โมเดล GUI visual grounding ทำนายตำแหน่งที่จะคลิกโดยสร้างผลลัพธ์ทีละหลักตัวเลข แทนที่จะเป็น พิกัดตัวเลขโดยตรง และการเลือกออกแบบที่ดูเหมือนเล็กน้อยนี้กลับมีผลด้านความปลอดภัยอย่างแท้จริง ตามงานวิจัย โมเดลเหล่านี้ไม่เคยถูกออกแบบมาให้ทนทานต่อการ ดัดแปลงในระดับตัวเลขแต่ละหลัก ซึ่งเป็นช่องว่างที่ MissClick ใช้ประโยชน์โดยตรง
การทำนายพิกัดแบบทำให้เป็นลำดับตัวเลข
แทนที่จะส่งออกพิกัด X-Y เป็นตัวเลขเดียว โมเดลเหล่านี้จะสร้างพิกัดเป็นลำดับของ โทเค็นตัวเลขแต่ละหลัก ที่ถูกแปลงภายหลังให้เป็นค่าตัวเลขที่ใช้งานได้และแมปไปยังจุดจริงบนหน้าจอ แต่ละโทเค็นตัวเลขถูกโมเดลปฏิบัติเสมือนเป็นตัวเลือกเชิงหมวดหมู่ คล้ายกับการเลือกคำจากคลังคำ มากกว่าจะถูกมองว่าเป็นส่วนหนึ่งของตัวเลขต่อเนื่อง
ผลของค่าหลักตัวเลขต่อการเลื่อนพิกัด
ความแตกต่างนั้นมีความสำคัญอย่างมากเมื่อหลักตัวเลขถูกแปลงกลับเป็นตัวเลข งานวิจัยพบว่าการเปลี่ยนตัวเลขในหลักร้อยเพียงหนึ่งค่า สามารถเลื่อนองค์ประกอบของพิกัดที่สอดคล้องกันไปได้ 100 หน่วยเมื่อถูกแปลงเป็นตำแหน่งบนหน้าจอ ในทางปฏิบัติ การปรับโทเค็นเพียงตัวเดียวแบบเล็กน้อยจนแทบมองไม่เห็น สามารถทำให้การคลิกลอยออกไปไกลจากเป้าหมายที่ตั้งใจไว้ — เป็นความไม่สอดคล้องกันระหว่างวิธีที่โมเดล “คิด” เกี่ยวกับตัวเลขแต่ละหลัก กับพฤติกรรมจริงของตัวเลขเหล่านั้นเมื่อถูกแปลงเป็นพิกเซลจริง
MissClick: การโจมตีแบบปรปักษ์ต่อโมเดล GUI Grounding
ต่อยอดโดยตรงจากการค้นพบนั้น นักวิจัยได้นำเสนอ MissClick ซึ่งเป็น การโจมตีแบบปรปักษ์ชนิดไวต์บ็อกซ์ ที่ออกแบบมาเพื่อใช้ประโยชน์จากความไม่สอดคล้องกันระหว่างการทำนายตัวเลขแบบหมวดหมู่กับผลลัพธ์พิกัดเชิงตัวเลข ไม่เหมือนกับการโจมตีแบบปรปักษ์ทั่วไปที่โมเดล GUI เคยเผชิญมาก่อน MissClick ถูกออกแบบมาโดยเฉพาะรอบโครงสร้างค่าหลักของพิกัดที่ถูกทำให้เป็นลำดับตัวเลข แทนที่จะปฏิบัติต่อผลลัพธ์เหมือนข้อความธรรมดา
รูปแบบการโจมตี: MissClick-U และ MissClick-T
MissClick มี 2 รูปแบบที่แตกต่างกันขึ้นอยู่กับเป้าหมายของผู้โจมตี MissClick-U เป็นเวอร์ชันแบบไม่ระบุเป้าหมาย มุ่งเน้นเพียงแค่ทำให้โมเดลคลิกผิดที่ — การคลิกที่ใดก็ตามนอกบริเวณที่ถูกต้องถือว่าประสบความสำเร็จ ส่วน MissClick-T เป็นเวอร์ชันแบบมีเป้าหมาย ถูกออกแบบมาเพื่อบังคับให้การคลิกไปยังพื้นที่เฉพาะที่ผู้โจมตีเลือก แทนที่จะเพียงแค่ทำให้มันหลุดออกไปแบบสุ่ม
วัตถุประสงค์การโจมตีและกลยุทธ์การเพิ่มประสิทธิภาพที่แตกต่างกัน
ทั้งสองรูปแบบอาศัยวัตถุประสงค์ทางคณิตศาสตร์ที่ต่างกัน เพราะการรบกวนแบบไม่ระบุเป้าหมายและแบบมีเป้าหมายต้องการเงื่อนไขความสำเร็จที่ต่างกัน MissClick-U ทำงานโดยเพิ่มค่าสูงสุดของสิ่งที่งานวิจัยเรียกว่า soft-coordinate displacement โดยพื้นฐานคือการผลักให้การคลิกที่ทำนายไว้ห่างจากตำแหน่งที่ถูกต้องให้มากที่สุด ส่วน MissClick-T จะลดค่าการสูญเสียแบบ target-digit ที่ถ่วงน้ำหนักตามค่าหลัก ซึ่งเป็นเทคนิคที่ให้ความสำคัญกับการดัดแปลงตัวเลขในหลักค่าที่สูงกว่าเป็นพิเศษ เพราะหลักเหล่านั้นสร้างการกระโดดของพิกัดที่ใหญ่ที่สุดเมื่อพิกัดถูกแปลงแล้ว การแบ่งแบบมีเป้าหมายกับไม่ระบุเป้าหมายนี้สะท้อนประเด็นที่กว้างขึ้นในงานวิจัยด้าน ความปลอดภัยของ GUI visual grounding: ผู้โจมตีจะเพิ่มประสิทธิภาพต่างกันไปขึ้นอยู่กับว่าพวกเขาต้องการความโกลาหลหรือความแม่นยำ
การประเมินเชิงทดลองและอัตราความสำเร็จของการโจมตี
MissClick ทั้งสองรูปแบบถูกทดสอบเทียบกับการโจมตีที่มีอยู่บนชุดเกณฑ์มาตรฐาน 2 ชุดคือ OS-Atlas และ UGround ซึ่งครอบคลุมงาน grounding บนเดสก์ท็อป เว็บ และมือถือ ผลลัพธ์แสดงให้เห็นว่า ช่องโหว่ของพิกัดที่ถูกทำให้เป็นลำดับตัวเลข นี้ไม่ใช่กรณีชายขอบเล็กน้อย — มันสามารถถูกใช้ประโยชน์ได้ในระดับสเกล โดยทั้งสองประเภทการโจมตีทำผลงานได้ดีกว่าวิธีเดิมอย่างมีนัยสำคัญ
ประสิทธิภาพการโจมตีแบบไม่ระบุเป้าหมายบน OS-Atlas และ UGround
MissClick-U ทำอัตราความสำเร็จแบบไม่ระบุเป้าหมายได้ 75.07% บน OS-Atlas และ 72.93% บน UGround ซึ่งเป็นการปรับปรุง 16.62 และ 30.72 จุดเปอร์เซ็นต์เหนือเส้นฐานการโจมตีที่มีอยู่ตามลำดับ นี่เป็นคะแนนสูงสุดในบรรดาวัตถุประสงค์ที่ทดสอบสำหรับการรบกวนแบบไม่ระบุเป้าหมาย และงานวิจัยระบุว่าความได้เปรียบนี้มาจากแนวทาง soft-coordinate displacement โดยตรง
ประสิทธิภาพการโจมตีแบบมีเป้าหมายบน OS-Atlas และ UGround
ตัวเลขของ MissClick-T เล่าเรื่องที่น่าทึ่งไม่แพ้กันในฝั่งการโจมตีแบบมีเป้าหมาย โดยมีอัตราความสำเร็จ 44.86% บน OS-Atlas และ 62.67% บน UGround ซึ่งเป็นการเพิ่มขึ้น 31.73 และ 47.06 จุดเปอร์เซ็นต์เหนือวิธีเดิม ช่องทาง อัตราความสำเร็จของการโจมตี MissClick ที่รายงานที่นี่ ยืนยันว่าการเพิ่มประสิทธิภาพแบบ target-digit ที่ถ่วงน้ำหนักตามค่าหลักเป็นกลยุทธ์ที่แข็งแกร่งที่สุดเมื่อผู้โจมตีต้องการความแม่นยำมากกว่าการรบกวนล้วนๆ เพราะมันเอาชนะวัตถุประสงค์แบบมีเป้าหมายอื่นๆ ที่ทดสอบในงานวิจัยได้อย่างสม่ำเสมอ
เมื่อมองรวมกัน ช่องว่างระหว่างประสิทธิภาพแบบไม่ระบุเป้าหมายและแบบมีเป้าหมายเน้นให้เห็นความตึงเครียดเชิงปฏิบัติ: การจี้ให้การคลิกไปยังจุดเฉพาะนั้นยากโดยเนื้อแท้กว่าการทำให้โมเดลคลิกพลาดทั่วไป เพราะต้องควบคุมตัวเลขหลายหลักพร้อมกัน แทนที่จะเพียงแค่ดันตัวเลขหนึ่งหลักออกไป ความไม่สมมาตรนี้อาจกำหนดทิศทางการจัดลำดับความสำคัญของแนวป้องกันในอนาคต เนื่องจากโมเดลที่ทนทานต่อการคลิกพลาดแบบสุ่ม ไม่จำเป็นต้องทนทานต่อการเบี่ยงเบนอย่างแม่นยำ — ซึ่งเป็นความแตกต่างที่สำคัญอย่างยิ่งสำหรับระบบใดๆ ที่พึ่งพาการคลิกอัตโนมัติเพื่อทำงานจริงให้เสร็จสิ้น
คำถามที่พบบ่อย
ช่องโหว่หลักที่ MissClick ใช้ประโยชน์ในโมเดล GUI grounding คืออะไร?
MissClick ใช้ประโยชน์จากกระบวนการสร้างพิกัดที่ถูกทำให้เป็นลำดับตัวเลข ซึ่งแต่ละหลักเป็นโทเค็นเชิงหมวดหมู่ และการเปลี่ยนตัวเลขในหลักค่าที่สูงจะทำให้เกิดการเลื่อนพิกัดครั้งใหญ่เมื่อโทเค็นเหล่านั้นถูกแปลงเป็นตัวเลข
รูปแบบการโจมตี MissClick มีสองแบบอะไรบ้างและเป้าหมายของแต่ละแบบคืออะไร?
MissClick-U เป็นการโจมตีแบบไม่ระบุเป้าหมายที่เพิ่มการเลื่อนพิกัดให้มากที่สุดเพื่อรบกวนการคลิกโดยรวม ในขณะที่ MissClick-T เป็นการโจมตีแบบมีเป้าหมายที่ลดค่าการสูญเสียแบบ target-digit ที่ถ่วงน้ำหนักตามค่าหลักเพื่อจี้พิกัดให้ไปยังพื้นที่ที่ผู้โจมตีกำหนด
การโจมตี MissClick มีประสิทธิภาพเพียงใดบนชุดข้อมูลต่างๆ?
MissClick-U ทำอัตราความสำเร็จแบบไม่ระบุเป้าหมายได้ราว 75% บน OS-Atlas และ 73% บน UGround ในขณะที่ MissClick-T ทำอัตราความสำเร็จแบบมีเป้าหมายได้ประมาณ 45% บน OS-Atlas และ 63% บน UGround
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”ช่องโหว่หลักที่ MissClick ใช้ประโยชน์ในโมเดล GUI grounding คืออะไร?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”MissClick ใช้ประโยชน์จากกระบวนการสร้างพิกัดที่ถูกทำให้เป็นลำดับตัวเลข ซึ่งแต่ละหลักเป็นโทเค็นเชิงหมวดหมู่ และการเปลี่ยนตัวเลขในหลักค่าที่สูงจะทำให้เกิดการเลื่อนพิกัดครั้งใหญ่เมื่อโทเค็นเหล่านั้นถูกแปลงเป็นตัวเลข”}},{“@type”:”Question”,”name”:”รูปแบบการโจมตี MissClick มีสองแบบอะไรบ้างและเป้าหมายของแต่ละแบบคืออะไร?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”MissClick-U เป็นการโจมตีแบบไม่ระบุเป้าหมายที่เพิ่มการเลื่อนพิกัดให้มากที่สุดเพื่อรบกวนการคลิกโดยรวม ในขณะที่ MissClick-T เป็นการโจมตีแบบมีเป้าหมายที่ลดค่าการสูญเสียแบบ target-digit ที่ถ่วงน้ำหนักตามค่าหลักเพื่อจี้พิกัดให้ไปยังพื้นที่ที่ผู้โจมตีกำหนด”}},{“@type”:”Question”,”name”:”การโจมตี MissClick มีประสิทธิภาพเพียงใดบนชุดข้อมูลต่างๆ?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”MissClick-U ทำอัตราความสำเร็จแบบไม่ระบุเป้าหมายได้ราว 75% บน OS-Atlas และ 73% บน UGround ในขณะที่ MissClick-T ทำอัตราความสำเร็จแบบมีเป้าหมายได้ประมาณ 45% บน OS-Atlas และ 63% บน UGround”}}]}
บทความนี้จัดทำขึ้นด้วยความช่วยเหลือของปัญญาประดิษฐ์และผ่านการทบทวนโดยทีมบรรณาธิการแล้ว
