ข้ามไปยังเนื้อหา
  • BTC $59,144 −6.4%
  • ETH $1,636 −8.4%
  • SOL $69.53 −6.8%
  • BNB $544.67 −7.5%
  • XRP $0.9115 −6.8%
  • DOGE $0.0544 −7.8%
  • ADA $0.1416 −8.2%

Cloudflare บล็อก crawler AI: การปฏิวัติในการปกป้องเนื้อหาออนไลน์

Da Cloudflare arriva una svolta epocale: il gigante di Internet blocca i principali crawler AI per difendere i contenutiออนไลน์.

บทความนี้จัดทำด้วยระบบปัญญาประดิษฐ์ และเผยแพร่ภายใต้ความรับผิดชอบด้านบรรณาธิการของ Amelia Tomasicchio เราทำงานอย่างไร

cloudflare ai bot crawler

จาก Cloudflare มาถึงการเปลี่ยนแปลงครั้งสำคัญ: ยักษ์ใหญ่ด้านโครงสร้างพื้นฐานอินเทอร์เน็ตบล็อก crawler AI หลักเพื่อปกป้องเนื้อหาออนไลน์ การตัดสินใจนี้กำหนดสมดุลใหม่ระหว่างผู้สร้าง บริษัทเทคโนโลยี และผู้บริโภค โดยสัญญาว่าจะปฏิวัติการจัดการและการปกป้องข้อมูลบนเว็บ

การต่อสู้กับ AI crawler: การตัดสินใจของ Cloudflare

Cloudflare ได้เริ่มต้น, ตั้งแต่วันที่ 1 กรกฎาคม, การโจมตีต่อบริษัทหลักๆ ของ ปัญญาประดิษฐ์ ที่รวบรวมข้อมูลจากเว็บไซต์โดยไม่ได้รับอนุญาต ตามที่บริษัทได้ประกาศไว้, AI crawlers จะถูกบล็อกโดยค่าเริ่มต้นบนเว็บไซต์ใหม่ทั้งหมดที่ใช้ Cloudflare, เว้นแต่เจ้าของจะให้การอนุญาตอย่างชัดเจน ในอดีต, ผู้จัดการเว็บไซต์ต้องทำการยกเว้น bot AI จากการรวบรวมข้อมูลของตนเองอย่างแข็งขัน

การกลับด้านของตรรกะนี้ช่วยปกป้องมากกว่า 20% ของเว็บ ซึ่งเป็นส่วนที่ครอบคลุมโดยลูกค้าของ Cloudflare และตอบสนองต่อการรายงานที่เพิ่มขึ้นเกี่ยวกับการชะลอตัวและการบริการที่ไม่ดีซึ่งเกิดจากการไหลเข้าของคำขออัตโนมัติที่ไม่ธรรมดาจากบอทของชื่อใหญ่ใน AI เช่น GPTBot ของ OpenAI และ ClaudeBot ของ Anthropic.

ผลกระทบของ AI crawler: ตัวเลขของปรากฏการณ์

ปริมาณการจราจรที่เกิดจาก AI crawling bots ได้ถึงระดับที่น่าประทับใจ ตัวอย่างเช่น GoogleBot ได้ตรวจพบว่า Vercel, บริการ cloud-hosting, ได้รับ คำขอมากกว่า 4.5 พันล้านครั้งต่อเดือน จากซอฟต์แวร์เหล่านี้ แตกต่างจาก search engine crawlers ปกติ, bot AI ให้การปฏิบัติที่ก้าวร้าวต่อเซิร์ฟเวอร์ โดยการเยี่ยมชมหน้าเดิมหลายครั้งในไม่กี่ชั่วโมงหรือทิ้งระเบิดเว็บไซต์ด้วยคำขอหลายร้อยครั้งต่อวินาที

ผลลัพธ์? เว็บไซต์ที่ช้าลง, ความยากลำบากในการเข้าถึงสำหรับผู้ใช้จริง และความรู้สึกที่แพร่หลายของการเป็นเป้าหมายของการ “สกัด” เนื้อหาอย่างแท้จริงโดยไม่มีข้อบังคับหรือค่าตอบแทน ผู้จัดพิมพ์และบริษัทหลายแห่ง ตั้งแต่ The Associated Press ถึง Condé Nast จนถึง Ziff Davis ได้ร้องเรียนเกี่ยวกับการเก็บรวบรวมข้อมูลจำนวนมากและไม่ได้รับอนุญาตจาก big tech ของ AI

กฎระเบียบและเทคโนโลยีใหม่เพื่อปกป้องเนื้อหา

การเคลื่อนไหวของ Cloudflare ไม่ได้จำกัดเพียงการแบนผิวเผิน บริษัทได้ประกาศการใช้ machine learning และ การวิเคราะห์พฤติกรรม เพื่อค้นหาสิ่งที่เรียกว่า “shadow scrapers” ซึ่งเป็นบอทที่ปลอมตัวเพื่อพยายามหลีกเลี่ยงการบล็อกแบบดั้งเดิม ด้วยวิธีนี้ ไม่เพียงแต่ crawler ที่ประกาศตัวเท่านั้น แต่ยังรวมถึงความพยายามในการ scraping ที่ซับซ้อนมากขึ้นก็จะถูกสกัดกั้นด้วย

นอกจากนี้ ผู้ขาย AI จะต้อง ขออนุญาต ก่อนที่จะสามารถเข้าถึงข้อมูลได้ โดยต้องระบุวัตถุประสงค์ในการใช้งานอย่างชัดเจน ไม่ว่าจะเป็นการฝึกอบรมอัลกอริทึมหรือเพียงแค่ฟังก์ชันการค้นหา Cloudflare จึงคืนความสามารถให้กับผู้เผยแพร่ในการตัดสินใจว่าใครสามารถโต้ตอบกับข้อมูลของตนได้

การประท้วงของกลุ่มสำนักพิมพ์หลักได้ส่งเสริมการเกิดนโยบายใหม่นี้ ระบบการยกเว้นในปัจจุบัน เช่น robots.txt แบบดั้งเดิม มักถูกละเลยโดยบอท AI ซึ่งมีแนวโน้มที่จะ “ขุด” เว็บโดยไม่ปฏิบัติตามกฎเกณฑ์ในการเคารพทรัพย์สินทางปัญญาดิจิทัล

Pay Per Crawl: สู่โมเดลเศรษฐกิจใหม่สำหรับเนื้อหา

การปฏิวัติที่ลงนามโดย Cloudflare ยังแนะนำสิ่งใหม่อีกอย่างหนึ่ง: โปรแกรม Pay Per Crawl ระบบนี้ซึ่งปัจจุบันอยู่ในขั้นเบต้าส่วนตัว จะช่วยให้ผู้เผยแพร่สามารถกำหนดราคาการเข้าถึงสำหรับผู้ที่ต้องการใช้เนื้อหาของพวกเขาเพื่อการฝึกอบรม AI การเข้าถึงจะได้รับอนุญาตเฉพาะเมื่อมีการชำระเงิน หรือถูกปฏิเสธหากไม่เป็นเช่นนั้น

จากมุมมองทางเทคนิค Cloudflare จะใช้รหัส HTTP 402 “Payment Required” ซึ่งจะถูกส่งกลับไปยัง crawler ที่ไม่ได้รับอนุญาต เป็นวิธีแก้ปัญหาที่มีประสิทธิภาพที่พร้อมใช้งานแล้วเนื่องจากความเข้ากันได้กับระบบเว็บที่มีอยู่

ปฏิกิริยาจากโลก AI และปมปัญหาด้านกฎระเบียบ

การตัดสินใจของ Cloudflare มีผลโดยตรงต่อบริษัท AI ซึ่งจนถึงตอนนี้ยังลังเลที่จะจ่ายค่าลิขสิทธิ์หรือค่าตอบแทน Nicholas Thompson ซีอีโอของ The Atlantic ได้เน้นย้ำว่าจนถึงวันนี้บริษัทต่างๆ สามารถดำเนินการได้โดยไม่ต้องรับโทษ แต่ตอนนี้พวกเขาจะต้องเจรจาและยอมรับความเป็นเจ้าของของเนื้อหา ในทางกลับกัน ผู้นำบางคนในโลกเทคโนโลยี เช่น Nick Clegg จาก Meta เตือนว่าการแนะนำข้อจำกัดที่เข้มงวดอาจทำให้การเติบโตและนวัตกรรมในภาค AI ตกอยู่ในความเสี่ยง

การอภิปรายขยายไปถึงระดับข้อบังคับ รายงานจาก Copyright Office ได้ยอมรับว่าการใช้เทคโนโลยีเชิงสร้างสรรค์บางอย่างอาจเป็น “การเปลี่ยนแปลง” อย่างไรก็ตาม การรวบรวมข้อมูลจำนวนมากโดยไม่ได้รับความยินยอมไม่สามารถถือเป็นการใช้งานที่เป็นธรรมได้ ตำแหน่งนี้มีผลกระทบอย่างหนักต่อสถาบัน รวมถึงการแทนที่ผู้รับผิดชอบสำนักงานทรัพย์สินทางปัญญาโดยทันทีโดยการบริหารของ Trump

อนาคตของการปกป้องเนื้อหาออนไลน์

ความริเริ่มของ Cloudflare ได้ปรับสมดุลระหว่างผู้ที่สร้างและผู้ที่ใช้ประโยชน์จากเนื้อหาออนไลน์ ความสามารถในการบล็อกและสร้างรายได้จากการเข้าถึงข้อมูลมอบอำนาจที่แท้จริงให้กับผู้เผยแพร่เกี่ยวกับสถานที่และวิธีการที่ผลงานของพวกเขาถูกใช้งาน ด้วยเหตุนี้ บริษัท AI หลายแห่งจะต้องจัดระเบียบกลยุทธ์และกระบวนการในการได้มาซึ่งข้อมูลใหม่ ผลักดันไปสู่ความโปร่งใสและความร่วมมือที่มากขึ้นกับโลกของการเผยแพร่

ในขณะที่ระบบนิเวศดิจิทัลปรับตัวเข้ากับการเปลี่ยนแปลงของกระบวนทัศน์นี้ มีความเป็นไปได้ที่ผู้เล่นรายใหญ่อื่น ๆ ในภาคโครงสร้างพื้นฐานจะปฏิบัติตามตัวอย่างของ Cloudflare ด้วยวิธีนี้สามารถจุดประกายยุคใหม่ในการปกป้องสิทธิ์ดิจิทัล ซึ่งผู้ที่สร้างมูลค่าจะได้รับการส่งเสริมและคุ้มครอง คำถามเกี่ยวกับเวลาและวิธีการนำโมเดล Pay Per Crawl มาใช้และผลกระทบที่จะมีต่อการพัฒนาปัญญาประดิษฐ์ยังคงเปิดอยู่

ในบริบทที่มีการเปลี่ยนแปลงอย่างต่อเนื่อง การติดตามวิวัฒนาการของ strategie anti-crawler AI และการมีส่วนร่วมอย่างแข็งขันในการอภิปรายกลายเป็นสิ่งสำคัญสำหรับทุกภาคส่วนที่เกี่ยวข้อง สงครามกับบอทที่ไม่ได้รับอนุญาตอาจเป็นเพียงจุดเริ่มต้นของฤดูกาลใหม่สำหรับการเพิ่มคุณค่าของเว็บในฐานะทรัพย์สินส่วนรวมและยั่งยืน

Satoshi Voice

บทความทั้งหมดโดย Satoshi Voice