Tiny Corp ระบุว่า Apple ได้อนุมัติไดรเวอร์ TinyGPU ของตนแล้ว ซึ่งช่วยให้สามารถใช้งานการ์ดจอภายนอก (eGPU) จากทั้ง AMD และ NVIDIA บนระบบ macOS ผ่านการเชื่อมต่อ USB4 หรือ Thunderbolt ได้
เอกสารของ TinyGPU ระบุว่าระบบต้องใช้ macOS เวอร์ชัน 12.1 ขึ้นไป พร้อมพอร์ต USB4 หรือ Thunderbolt และรองรับจีพียูสถาปัตยกรรม AMD RDNA3+ หรือ NVIDIA Ampere ขึ้นไป ล่าสุด Alex Ziskind ได้สาธิตการใช้งานจริง โดยเชื่อมต่อ GeForce RTX 5090 เข้ากับ Mac mini M4 Pro
สำหรับฮาร์ดแวร์ของ NVIDIA ระบบจะใช้ TinyGPU driver extension ร่วมกับเส้นทางคอมไพล์แบบ Docker อย่างไรก็ตาม นี่ไม่ใช่การรองรับ Metal แบบเนทีฟ และไม่ได้หมายถึงการกลับมาของไดรเวอร์ NVIDIA อย่างเป็นทางการบน macOS โดยในปัจจุบัน สแต็กนี้ถูกออกแบบมาเพื่อใช้งานร่วมกับ tinygrad และงานด้าน AI inference เป็นหลัก มากกว่าการเล่นเกม
จากการทดสอบในวิดีโอของ Alex พบว่า RTX 5090 สามารถรันงาน inference บน macOS ได้แล้ว โดยทำความเร็วประมาณ 7.48 tokens ต่อวินาที ในการทดสอบ Llama 3.1 8B และมีเวลาเริ่มต้นแสดงผล (time to first token) เร็วกว่า Metal ในบางสถานการณ์ อย่างไรก็ตาม เมื่อเทียบโดยรวมแล้ว llama.cpp บน Metal ยังทำได้เร็วกว่าอย่างชัดเจน ซึ่งสะท้อนถึงความพร้อมของซอฟต์แวร์มากกว่าข้อจำกัดด้านแบนด์วิดท์ของการเชื่อมต่อภายนอก
TinyGPU สามารถจัดการด้านการเชื่อมต่อฮาร์ดแวร์และการติดตั้งไดรเวอร์ได้แล้ว แต่เคอร์เนลที่สร้างขึ้นยังต้องการการปรับปรุงเพิ่มเติม เพื่อให้การ์ดระดับ Blackwell อย่าง RTX 5090 แสดงประสิทธิภาพได้เต็มศักยภาพ
ทั้งนี้ Alex Ziskind ชี้ว่า TinyGPU ยังไม่ได้ถูกออกแบบมาเพื่อแข่งขันกับ llama.cpp ในตอนนี้ เนื่องจากยังต้องการการปรับแต่งเพิ่มเติมอีกมาก
สิ่งสำคัญคือ TinyGPU สามารถทำให้ GeForce RTX 50 และ Radeon ใช้งานบน macOS ผ่านไดรเวอร์จากภายนอกได้ ซึ่งก่อนหน้านี้แทบเป็นไปไม่ได้บนเครื่อง Apple Silicon เมื่อไม่กี่เดือนที่ผ่านมา
ที่มา: VideoCardz
