Panmnesia สตาร์ทอัพชาวเกาหลีใต้ได้เปิดตัวโซลูชันที่น่าสนใจเพื่อแก้ไขข้อจำกัดด้านหน่วยความจำของ GPU สมัยใหม่ บริษัทได้พัฒนา IP Compute Express Link (CXL) ที่มีความหน่วงต่ำซึ่งสามารถช่วยขยายหน่วยความจำ GPU ด้วยการ์ดเสริมภายนอก แอปพลิเคชันที่เร่งด้วย GPU ในปัจจุบันใน AI และ HPC ถูกจำกัดโดยจำนวนหน่วยความจำที่กำหนดไว้ใน GPU ด้วยขนาดข้อมูลที่เพิ่มขึ้น 3 เท่าต่อปี เครือข่าย GPU จะต้องใหญ่ขึ้นเรื่อยๆ เพียงเพื่อให้พอดีกับแอปพลิเคชันในหน่วยความจำภายในเครื่อง ซึ่งเป็นประโยชน์ต่อเวลาแฝงและการสร้างโทเค็น แนวทางที่เสนอโดย Panmnesia ในการแก้ไขปัญหานี้ใช้ประโยชน์จากโปรโตคอล CXL เพื่อขยายความจุหน่วยความจำ GPU โดยใช้ DRAM ที่เชื่อมต่อกับ PCIe หรือแม้แต่ SSD บริษัทได้เอาชนะอุปสรรคทางเทคนิคที่สำคัญ ซึ่งรวมถึงการไม่มีโครงสร้างลอจิก CXL ใน GPU และข้อจำกัดของระบบหน่วยความจำเสมือนแบบครบวงจร (UVM) ที่มีอยู่
หัวใจสำคัญของโซลูชันของ Panmnesia คือรูทคอมเพล็กซ์ที่สอดคล้องกับ CXL 3.1 พร้อมด้วยพอร์ตรูทหลายพอร์ต และโฮสต์บริดจ์ที่มีตัวถอดรหัสหน่วยความจำอุปกรณ์ที่จัดการโดยโฮสต์ (HDM) ระบบที่ซับซ้อนนี้หลอกระบบย่อยหน่วยความจำของ GPU ให้ถือว่าหน่วยความจำที่เชื่อมต่อ PCIe เป็นหน่วยความจำระบบเนทิฟได้อย่างมีประสิทธิภาพ การทดสอบอย่างเข้มข้นแสดงให้เห็นผลลัพธ์ที่น่าประทับใจ โซลูชัน CXL ของ Panmnesia หรือ CXL-Opt มีความล่าช้าไปกลับระดับนาโนวินาทีสองหลัก ซึ่งมีประสิทธิภาพเหนือกว่าทั้ง UVM และต้นแบบ CXL รุ่นก่อนหน้าอย่างมาก ในการทดสอบการทำงานของเคอร์เนล GPU CXL-Opt แสดงเวลาการประมวลผลเร็วกว่า UVM ถึง 3.22 เท่า ตัวขยายหน่วยความจำ CXL รุ่นเก่าบันทึกเวลาแฝงไปกลับประมาณ 250 นาโนวินาที โดยที่ CXL-Opt อาจบรรลุน้อยกว่า 80 นาโนวินาที เช่นเดียวกับ CXL ปัญหามักจะอยู่ที่พูลหน่วยความจำเพิ่มเวลาแฝงและประสิทธิภาพที่ลดลง ในขณะที่ตัวขยาย CXL เหล่านี้มีแนวโน้มที่จะเพิ่มให้กับโมเดลต้นทุนเช่นกัน อย่างไรก็ตาม Panmnesia CXL-Opt สามารถค้นหากรณีการใช้งานได้ และเรากำลังรอดูว่าจะมีใครนำสิ่งนี้ไปใช้ในโครงสร้างพื้นฐานของตนหรือไม่
ที่มา : TechPowerUp
