การรันโมเดล AI ขนาดใหญ่มักหมายถึงการเช่าใช้ฮาร์ดแวร์ของคนอื่น ยอมรับโครงสร้างราคาของคนอื่น และภาวนาให้โมเดลที่คุณพึ่งพาไม่ถูกเปลี่ยนแปลงแบบเงียบๆ ในชั่วข้ามคืน Mesh LLM ถูกสร้างขึ้นบนสมมติฐานที่ต่างออกไป: การประมวลผล AI แบบกระจายบนเครื่องที่คุณเป็นเจ้าของอยู่แล้วสามารถทดแทนระบบทั้งหมดนั้นได้ — และเปิดให้ใช้งานผ่าน API เดียวที่คุ้นเคย.
Summary
ประเด็นสำคัญ
- Mesh LLM รวม GPU และหน่วยความจำจากหลายเครื่องให้กลายเป็นเมชการประมวลผล AI แบบกระจายเพียงชุดเดียว ซึ่งเข้าถึงได้ผ่าน API เดียวที่เข้ากันได้กับ OpenAI ที่ localhost:9337/v1.
- โมเดลสามารถรันแบบโลคัล ถูกส่งต่อไปยังเพียร์ หรือถูกแบ่งข้ามหลายเครื่องโดยใช้โหมดไปป์ไลน์ที่เรียกว่า “Skippy” — โดยที่ไคลเอนต์ไม่รู้สึกถึงความแตกต่างเลย
- ระบบเน็ตเวิร์กอาศัย iroh endpoints ซึ่งสร้างการเชื่อมต่อ QUIC แบบยืนยันตัวตนด้วย public key และทะลุ NAT ได้ โดยไม่ต้องมีเซิร์ฟเวอร์ศูนย์กลาง
- แค็ตตาล็อกโมเดลมาพร้อม มากกว่า 40 โมเดล ตั้งแต่โมเดลที่มีพารามิเตอร์ต่ำกว่าพันล้านไปจนถึงสถาปัตยกรรม mixture-of-experts ขนาด 235 พันล้านพารามิเตอร์
- รองรับทั้งการเข้าร่วมเมชสาธารณะและการดีพลอยแบบส่วนตัว โดยมีแอปมือถือที่ใช้ iroh Swift SDK อยู่ระหว่างการพัฒนา
Mesh LLM ทำให้การประมวลผล AI แบบกระจายด้วย GPU รวมศูนย์เป็นจริงได้
แนวคิดหลักนั้นตรงไปตรงมาอย่างน่าประหลาดใจ Mesh LLM รวม GPU และหน่วยความจำ ที่กระจายอยู่บนเครื่องจำนวนเท่าใดก็ได้ที่คุณต้องการเพิ่ม — เวิร์กสเตชันในห้องหนึ่ง เซิร์ฟเวอร์ในอีกห้องหนึ่ง เครื่องอีกตัวที่อยู่อีกฝั่งของออฟฟิศ — แล้วนำเสนอทั้งหมดให้เป็นพื้นผิวการประมวลผลเดียวที่สอดคล้องกัน โดยไม่ต้องปรับคอนฟิกใดๆ เพิ่มเติมสำหรับแอปไคลเอนต์ที่เชื่อมต่อเข้ามา
สิ่งนี้สำคัญเพราะฮาร์ดแวร์มีอยู่แล้ว ทีมที่รันงาน AI มักมี GPU กระจายอยู่ตามออฟฟิศ ใต้โต๊ะทำงาน และในห้องเซิร์ฟเวอร์ขนาดเล็ก สิ่งที่ขาดหายไปคือเลเยอร์ที่ทำให้เครื่องเหล่านั้นทำงานร่วมกันราวกับเป็นเครื่องเดียว
เลเยอร์ API ที่เข้ากันได้กับ OpenAI
อินเทอร์เฟซที่ Mesh LLM เปิดให้ใช้งานถูกออกแบบมาให้คุ้นเคยเป็นพิเศษ ไคลเอนต์ใดๆ ที่เข้ากันได้กับ OpenAI สามารถชี้ไปที่ http://localhost:9337/v1 และ ส่งคำขอได้เหมือนเดิมทุกประการ ราวกับกำลังคุยกับบริการคลาวด์แบบโฮสต์ จากมุมมองของไคลเอนต์ ไม่มีอะไรเปลี่ยนแปลง งานจริงๆ จะถูกรันที่ไหน — บนเครื่องโลคัล บนเครื่องเพียร์ หรือกระจายข้ามหลายเครื่อง — เป็นสิ่งที่ถูกซ่อนอยู่ทั้งหมด
นี่เป็นการตัดสินใจด้านดีไซน์ที่มีนัยสำคัญ หมายความว่าเครื่องมือ เวิร์กโฟลว์ และการอินทิเกรตที่มีอยู่ไม่จำเป็นต้องเขียนใหม่ ธรรมชาติแบบกระจายของเมชเป็นเพียงรายละเอียดการอิมพลีเมนต์ที่ไคลเอนต์ไม่จำเป็นต้องคิดถึงเลย
โหมดการรันที่ยืดหยุ่น รวมถึงไปป์ไลน์ “Skippy”
เมื่อคำขอเข้ามา Mesh LLM มีสามวิธีในการจัดการ มันสามารถรันโมเดลแบบโลคัลบน GPU ของเครื่องที่รับคำขอ ส่งคำขอไปยังเพียร์ที่โหลดโมเดลเป้าหมายไว้แล้ว หรือ — สำหรับโมเดลที่ใหญ่เกินกว่าที่เครื่องเดียวจะรับไหว — แบ่งงานข้ามหลายโหนดตามลำดับ วิธีที่สามนี้เรียกว่าโหมด “Skippy”
วิธีที่ Skippy แบ่งโมเดลขนาดใหญ่ข้ามหลายเครื่อง
Skippy แบ่งโมเดลตามช่วงเลเยอร์ให้เป็นสเตจของไปป์ไลน์: เลเยอร์ 0 ถึง 15 อาจรันบนโหนดหนึ่ง 16 ถึง 31 บนโหนดถัดไป และไล่ไปเรื่อยๆ ตามสายโซ่ แอ็กทิเวชันจะไหลจากสเตจหนึ่งไปยังอีกสเตจหนึ่งทั่วทั้งเมช ผลลัพธ์ในทางปฏิบัติคือคลัสเตอร์ของเครื่องระดับกลางหลายๆ เครื่องสามารถร่วมกันรันโมเดลที่ไม่มีเครื่องใดเครื่องหนึ่งสามารถเก็บไว้ในหน่วยความจำได้ด้วยตัวเอง
นี่คือจุดที่ความทะเยอทะยานด้านสถาปัตยกรรมของ Mesh LLM ชัดเจนขึ้นมา โมเดล mixture-of-experts ขนาด 235 พันล้านพารามิเตอร์ ไม่ใช่สิ่งที่ทีมส่วนใหญ่จะรันบน GPU ระดับคอนซูเมอร์หรือโปรซูเมอร์เพียงตัวเดียวได้ Skippy ทำให้สามารถลองทำสิ่งนั้นได้ — โดยใช้ฮาร์ดแวร์ที่จ่ายเงินไปแล้วและกำลังว่างงานอยู่ ลักษณะด้าน latency และ throughput ของการตั้งค่าแบบนี้ยังไม่ได้ถูกวัดเชิงปริมาณที่นี่ แต่ความสามารถดังกล่าวเองถือเป็นการขยายขอบเขตอย่างมีนัยสำคัญของสิ่งที่ AI แบบโฮสต์เองสามารถทำได้
สถาปัตยกรรมเน็ตเวิร์กแบบเพียร์ทูเพียร์ที่ปลอดภัยด้วย iroh endpoints
ไม่มีเซิร์ฟเวอร์ศูนย์กลางคอยประสานงานเมช ทุกโหนดจะบูต iroh endpoint — คีย์สาธารณะที่ทำหน้าที่ทั้งเป็นตัวตนของโหนดและพื้นผิวเน็ตเวิร์กเพียงจุดเดียว จากฐานนี้ iroh จะจัดการการ hole-punching การทะลุ NAT และ relay fallback เพื่อสร้างการเชื่อมต่อ QUIC แบบยืนยันตัวตนโดยตรงระหว่างโหนดใดๆ สองโหนด ไม่ว่าพวกมันจะอยู่ที่ไหนก็ตาม
โปรโตคอล QUIC ALPN สำหรับแยกประเภททราฟฟิก
สแตกโปรโตคอลถูกแบ่งส่วนอย่างตั้งใจ มีตัวระบุ QUIC ALPN สามตัวที่แยกประเภททราฟฟิกต่างๆ ออกจากกัน:
- mesh-llm/1 — ช่องหลักของเมช ใช้ส่ง gossip การเราต์ การทำ HTTP tunnel และอีเวนต์ของปลั๊กอิน
- mesh-llm-control/1 — เพลนควบคุมของเจ้าของ ใช้จัดการการซิงก์คอนฟิกและการยืนยันความเป็นเจ้าของ
- skippy-stage/2 — ทรานสปอร์ตเฉพาะที่ไวต่อ latency สำหรับข้อมูลแอ็กทิเวชันที่ไหลระหว่างสเตจของไปป์ไลน์
ภายในการเชื่อมต่อหลัก สตรีมทุกเส้นจะถูกแท็กด้วยไบต์นำหน้าที่ระบุประเภทของมัน — gossip การพร็อกซีอินเฟอเรนซ์ การคิวรีเส้นทาง อีเวนต์วงจรชีวิตของเพียร์ ช่อง RPC ของปลั๊กอิน และอื่นๆ — ทั้งหมดถูกมัลติเพล็กซ์ผ่านการเชื่อมต่อเดียว ผลลัพธ์คือการแยกทราฟฟิกอย่างเป็นระเบียบโดยไม่ต้องแบกรับโอเวอร์เฮดจากการเปิดการเชื่อมต่อแยกสำหรับแต่ละเรื่อง
ตัวตนของโหนดและการทะลุ NAT
เพื่อรองรับโหนดที่ไม่สามารถเชื่อมต่อถึงกันโดยตรงผ่านอินเทอร์เน็ตสาธารณะ Mesh LLM รันเซิร์ฟเวอร์รีเลย์ iroh สองตัวในภูมิภาคทางภูมิศาสตร์ที่ต่างกัน โหนดที่สามารถสร้างเส้นทางตรงได้ก็จะทำเช่นนั้น ส่วนโหนดที่ทำไม่ได้ก็จะมีรีเลย์ใกล้ๆ ให้ใช้เป็นทางเลือกเสมอ กล่าวคือ เลเยอร์เน็ตเวิร์กถูกออกแบบมาให้ “ใช้งานได้เลย” — แทนที่จะต้องอาศัยการคอนฟิกไฟร์วอลล์อย่างระมัดระวังหรือการกำหนดที่อยู่แบบคงที่
สิ่งที่สถาปัตยกรรมนี้มอบให้จริงๆ คือความเป็นหนึ่งเดียวกันของเน็ตเวิร์ก ไม่ว่าคำขอจะถูกเราต์ไปยัง localhost หรือสตรีมแอ็กทิเวชันข้ามไปป์ไลน์ Skippy ไปยังเครื่องอีกทวีปหนึ่ง พรีมิติฟพื้นฐานก็ยังเหมือนเดิม: การเชื่อมต่อ QUIC แบบยืนยันตัวตนที่อ้างอิงจาก public key ความซับซ้อนของโทโพโลยีทางกายภาพถูกซ่อนอยู่หลังเลเยอร์นามธรรมที่สม่ำเสมอ
แค็ตตาล็อกโมเดลตั้งแต่ระดับแล็ปท็อปไปจนถึงยักษ์ใหญ่ 235B พารามิเตอร์
Mesh LLM มาพร้อมโมเดลมากกว่า 40 โมเดลตั้งแต่แรก ช่วงของโมเดลครอบคลุมตั้งแต่โมเดลขนาดครึ่งพันล้านพารามิเตอร์ที่เล็กพอจะรันบนแล็ปท็อป ไปจนถึงสถาปัตยกรรม mixture-of-experts ขนาด 235 พันล้านพารามิเตอร์ที่ปลายบน สถาปัตยกรรมรองรับปลั๊กอิน: ปลั๊กอินจะประกาศความสามารถของตนในแมนิเฟสต์ และรันไทม์จะเราต์การเรียกและเปิดเผยความสามารถผ่าน MCP, HTTP, อินเฟอเรนซ์ และอีเวนต์ของเมช
ผลในทางปฏิบัติคือผู้ใช้ไม่จำเป็นต้องไปหาและคอนฟิกโมเดลแยกต่างหากเพื่อเริ่มต้น แค็ตตาล็อกครอบคลุมสเปกตรัมการใช้งานเต็มรูปแบบ — ตั้งแต่การอินเฟอเรนซ์ที่เบาและรวดเร็วบนฮาร์ดแวร์ระดับกลาง ไปจนถึงเวิร์กโหลดขนาดใหญ่ที่กระจายข้ามเมช
การประมวลผลแบบกระจายในฐานะขบวนการโต้กลับ
ดีไซน์ของ Mesh LLM ตั้งอยู่บนฉากหลังที่เห็นได้ชัด: โครงสร้างพื้นฐาน AI แบบศูนย์กลางกำลังเผชิญแรงเสียดทานจริงๆ แบบสำรวจในเดือนพฤษภาคมพบว่ามากกว่า 70 เปอร์เซ็นต์ของชาวอเมริกันคัดค้านการสร้างดาต้าเซ็นเตอร์ใหม่ใกล้ชุมชนของตน โดยให้เหตุผลเรื่อง มลพิษ เสียงรบกวน และพลังงาน รวมถึงความกังวลเรื่องการใช้น้ำ บริษัทพลังงานแสงอาทิตย์และพลังงานในบ้าน Sunrun เพิ่งเปิดตัวโครงการนำร่องเพื่อติดตั้งโหนดคอมพิวต์ขนาดเล็กในบ้านของลูกค้า โดยตั้งเป้าขายพลังประมวลผลแบบกระจายนี้ให้กับผู้ซื้อ AI ระดับองค์กร — เป็นสัญญาณว่าอุตสาหกรรมเองก็กำลังมองหาทางเลือกแทนดาต้าเซ็นเตอร์ขนาดใหญ่แบบรวมศูนย์
Mesh LLM เข้าหาแรงกดดันเดียวกันจากอีกมุมหนึ่ง แทนที่จะสร้างโครงสร้างพื้นฐานแบบกระจายใหม่ตั้งแต่ศูนย์ มันปลุกพลังประมวลผลที่มีอยู่แล้วให้ตื่นขึ้น — GPU ที่ทีมเป็นเจ้าของอยู่แต่ไม่สามารถใช้ประโยชน์ได้เต็มที่เพราะไม่มีเลเยอร์ที่เชื่อมโยงมันเข้าด้วยกันอย่างเป็นระบบ การเน้นลดการล็อกอินกับผู้ให้บริการศูนย์กลาง ลดต้นทุน และรักษาการควบคุมของผู้ใช้เหนือว่ารันโมเดลที่ไหนและข้อมูลไปที่ใด สะท้อนช่องว่างจริงๆ ในสิ่งที่ API คลาวด์ที่มีอยู่สามารถมอบให้ได้
แอปมือถือที่สร้างบน iroh Swift SDK กำลังอยู่ระหว่างการพัฒนา โดยมีแผนจะรองรับมาตรฐานเอเจนต์ ACP ที่กำลังเกิดขึ้น สิ่งนี้จะเปิดโอกาสให้ไคลเอนต์อื่นๆ เข้าร่วมเมชได้โดยตรง ขยายเอฟเฟกต์เครือข่ายของทุกโหนดที่ออนไลน์ ทิศทางระยะยาวชัดเจน: การรันแบบเพียร์ทูเพียร์มากขึ้น ตัวกลางน้อยลง และมาตรฐานเปิดสำหรับการทำงานร่วมกันของเอเจนต์ที่ไม่ต้องวิ่งผ่านเซิร์ฟเวอร์ศูนย์กลางของใครเลย
คำถามที่พบบ่อย
Mesh LLM ทำให้การประมวลผล AI แบบกระจายเป็นจริงได้อย่างไร?
Mesh LLM รวม GPU และหน่วยความจำจากหลายเครื่องเข้าเป็นเครือข่ายเมช แล้วเปิดให้ใช้งานการตั้งค่าแบบกระจายทั้งหมดผ่าน API เดียวที่เข้ากันได้กับ OpenAI ไคลเอนต์เชื่อมต่อไปที่ localhost:9337/v1 และโต้ตอบตามปกติ ขณะที่เมชเป็นผู้ตัดสินใจว่าจะรันคำขอแบบโลคัล ส่งต่อไปยังเพียร์ หรือแบ่งข้ามหลายเครื่อง
Mesh LLM รองรับโหมดการรันแบบใดบ้างสำหรับโมเดล AI?
โมเดลสามารถรันแบบโลคัลบน GPU ของเครื่อง ถูกส่งต่อไปยังเพียร์ที่โหลดโมเดลไว้อยู่แล้ว หรือถูกแบ่งข้ามหลายเครื่องโดยใช้โหมดไปป์ไลน์ “Skippy” ซึ่งจะแบ่งโมเดลตามช่วงเลเยอร์ และให้แอ็กทิเวชันไหลจากสเตจหนึ่งไปยังอีกสเตจหนึ่งทั่วทั้งเมช
Mesh LLM จัดการด้านเน็ตเวิร์กที่ปลอดภัยอย่างไร?
แต่ละโหนดรัน iroh endpoint ที่สร้างการเชื่อมต่อ QUIC แบบยืนยันตัวตนด้วย public key พร้อมการทะลุ NAT และ relay fallback โดยไม่ต้องพึ่งพาเซิร์ฟเวอร์ศูนย์กลาง รีเลย์ iroh สองตัวในภูมิภาคต่างๆ ทำหน้าที่เป็นเส้นทางสำรองสำหรับโหนดที่ไม่สามารถเชื่อมต่อกันโดยตรงได้
มีโมเดลอะไรบ้างที่ใช้งานผ่าน Mesh LLM ได้?
Mesh LLM มาพร้อมโมเดลมากกว่า 40 โมเดล ตั้งแต่โมเดลขนาดครึ่งพันล้านพารามิเตอร์ที่เหมาะกับแล็ปท็อป ไปจนถึงโมเดล mixture-of-experts ขนาดใหญ่มาก 235 พันล้านพารามิเตอร์ที่ออกแบบมาสำหรับการดีพลอย Skippy ข้ามหลายเครื่อง
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Mesh LLM ทำให้การประมวลผล AI แบบกระจายเป็นจริงได้อย่างไร?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Mesh LLM รวม GPU และหน่วยความจำจากหลายเครื่องเข้าเป็นเครือข่ายเมช แล้วเปิดให้ใช้งานการตั้งค่าแบบกระจายทั้งหมดผ่าน API เดียวที่เข้ากันได้กับ OpenAI ไคลเอนต์เชื่อมต่อไปที่ localhost:9337/v1 และโต้ตอบตามปกติ ขณะที่เมชเป็นผู้ตัดสินใจว่าจะรันคำขอแบบโลคัล ส่งต่อไปยังเพียร์ หรือแบ่งข้ามหลายเครื่อง.”}},{“@type”:”Question”,”name”:”Mesh LLM รองรับโหมดการรันแบบใดบ้างสำหรับโมเดล AI?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”โมเดลสามารถรันแบบโลคัลบน GPU ของเครื่อง ถูกส่งต่อไปยังเพียร์ที่โหลดโมเดลไว้อยู่แล้ว หรือถูกแบ่งข้ามหลายเครื่องโดยใช้โหมดไปป์ไลน์ “Skippy” ซึ่งจะแบ่งโมเดลตามช่วงเลเยอร์ และให้แอ็กทิเวชันไหลจากสเตจหนึ่งไปยังอีกสเตจหนึ่งทั่วทั้งเมช.”}},{“@type”:”Question”,”name”:”Mesh LLM จัดการด้านเน็ตเวิร์กที่ปลอดภัยอย่างไร?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”แต่ละโหนดรัน iroh endpoint ที่สร้างการเชื่อมต่อ QUIC แบบยืนยันตัวตนด้วย public key พร้อมการทะลุ NAT และ relay fallback โดยไม่ต้องพึ่งพาเซิร์ฟเวอร์ศูนย์กลาง รีเลย์ iroh สองตัวในภูมิภาคต่างๆ ทำหน้าที่เป็นเส้นทางสำรองสำหรับโหนดที่ไม่สามารถเชื่อมต่อกันโดยตรงได้.”}},{“@type”:”Question”,”name”:”มีโมเดลอะไรบ้างที่ใช้งานผ่าน Mesh LLM ได้?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Mesh LLM มาพร้อมโมเดลมากกว่า 40 โมเดล ตั้งแต่โมเดลขนาดครึ่งพันล้านพารามิเตอร์ที่เหมาะกับแล็ปท็อป ไปจนถึงโมเดล mixture-of-experts ขนาดใหญ่มาก 235 พันล้านพารามิเตอร์ที่ออกแบบมาสำหรับการดีพลอย Skippy ข้ามหลายเครื่อง.”}}]}
บทความนี้จัดทำขึ้นโดยได้รับความช่วยเหลือจากปัญญาประดิษฐ์และผ่านการตรวจทานโดยทีมบรรณาธิการแล้ว
