AMD ดัน Agentic AI รันบนเครื่อง! Muse Glimmer 30B ของ Meta ทำความเร็วสูงสุด 53 Token/s บน Radeon AI PRO R9700
AMD กำลังผลักดันแนวคิด Agentic PC ให้เข้าใกล้การใช้งานจริงมากขึ้น หลังเปิดเผยการรองรับ Muse Glimmer 30B โมเดล AI แบบ Open Weights รุ่นใหม่จาก Meta Superintelligence Labs ซึ่งออกแบบมาโดยเฉพาะสำหรับงาน AI Agent ที่ต้องใช้บริบทจำนวนมาก มีระบบความจำต่อเนื่อง และสามารถเรียกใช้เครื่องมือเพื่อทำงานหลายขั้นตอนได้โดยไม่จำเป็นต้องส่งข้อมูลทั้งหมดขึ้น Cloud
Muse Glimmer 30B เป็นโมเดลแบบ Dense ขนาด 30 พันล้านพารามิเตอร์ และเปิดให้ใช้งานภายใต้ไลเซนส์ Apache 2.0 ทำให้นักพัฒนาสามารถนำไปใช้งานเชิงพาณิชย์ ดัดแปลง แจกจ่าย และนำไปผสานกับซอฟต์แวร์ของตัวเองได้
แนวคิดสำคัญคือการนำโมเดลที่มีความสามารถระดับสูงมาใช้งาน Local AI บนคอมพิวเตอร์ของผู้ใช้ แทนการพึ่งพาเซิร์ฟเวอร์ Cloud ซึ่งช่วยลดค่าใช้จ่ายจาก Token ลดความหน่วง และเพิ่มการควบคุมข้อมูลส่วนตัว
Muse Glimmer 30B ทำความเร็วสูงสุด 53 Token/s บน Radeon AI PRO
จากการทดสอบเบื้องต้นที่ AMD เปิดเผย Muse Glimmer 30B สามารถทำประสิทธิภาพได้สูงถึง
- AMD Ryzen AI Max+ 395: สูงสุดประมาณ 24 Token/s
- AMD Radeon AI PRO R9700 32GB: สูงสุดประมาณ 53 Token/s
ตัวเลขดังกล่าวเป็นผลการทดสอบเบื้องต้นบน Windows ผ่านโปรเจกต์ llama.cpp โดยใช้ Vulkan Backend และเทคนิค dFlash Speculative Decoding
AMD ระบุว่าการปรับแต่งทั้งฝั่งซอฟต์แวร์และโมเดลยังดำเนินต่อไป ดังนั้นประสิทธิภาพของ Muse Glimmer 30B บนฮาร์ดแวร์ AMD มีโอกาสเพิ่มขึ้นอีกเมื่อ Ecosystem พัฒนามากขึ้น
โดยเฉพาะ Radeon AI PRO R9700 ที่มี VRAM ขนาด 32GB ทำให้มีพื้นที่เพียงพอสำหรับโมเดลขนาดใหญ่ระดับ 30B และเหมาะกับงาน Local AI ที่ต้องการ Context ขนาดใหญ่
Agentic AI ไม่ใช่แค่ถามแล้วตอบ
จุดเด่นของ Muse Glimmer 30B คือการออกแบบมาเพื่อ Agentic AI ซึ่งแตกต่างจาก Chatbot ทั่วไป
AI Agent จำเป็นต้องสามารถเก็บ Context, วางแผนงาน, ตัดสินใจเป็นขั้นตอน, เรียกใช้ Tools, ตรวจสอบผลลัพธ์ และปรับแผนตามสถานการณ์ ก่อนดำเนินงานต่อ
Muse Glimmer 30B จึงถูกออกแบบให้รองรับ Workflow ที่ซับซ้อนและดำเนินต่อเนื่องหลายขั้นตอน รวมถึงความสามารถด้าน Memory, การกู้คืนจากความผิดพลาด และการทำงานต่อหลัง Restart
แนวคิดนี้ช่วยให้ AI เปลี่ยนจากระบบที่เพียงแค่ ตอบคำถาม ไปสู่ระบบที่สามารถ รับผิดชอบงานบางอย่างแทนผู้ใช้ ได้มากขึ้น
รัน AI บนเครื่อง ช่วยลดค่า Cloud และเพิ่มความเป็นส่วนตัว
AMD มองว่าการรัน Agentic AI แบบ Local มีข้อได้เปรียบหลายด้าน
หาก AI Agent ต้องอ่านข้อความจำนวนมาก อ่านไฟล์ในเครื่อง เรียกใช้โปรแกรม หรือทำงานต่อเนื่องเป็นเวลานาน การส่งข้อมูลทั้งหมดไปยัง Cloud อาจเพิ่มทั้ง Latency และค่าใช้จ่าย Token
การประมวลผลบนเครื่องจึงช่วยให้ผู้ใช้สามารถควบคุมข้อมูลได้มากขึ้น ขณะเดียวกันก็ไม่ต้องเสียค่า Inference ทุกครั้งที่ AI ทำงาน
ประเด็นนี้มีความสำคัญมากขึ้นสำหรับ Agentic AI เพราะ AI Agent อาจเข้าถึงข้อมูลที่มีความละเอียดอ่อนมากกว่า Chatbot ทั่วไป เช่น ไฟล์ในเครื่อง ข้อความ Credentials หรือข้อมูลจากแหล่งภายนอก
Meta ระบุว่า Muse Glimmer 30B ถูกพัฒนาโดยให้ความสำคัญกับ Safety เช่น การลดการเปิดเผยข้อมูลเกินความจำเป็น การต่อต้าน Prompt Injection จากข้อมูลที่ไม่น่าเชื่อถือ และการรักษาขอบเขตของข้อมูล
ใช้งานผ่าน LM Studio ได้ง่ายขึ้น
สำหรับผู้ใช้ทั่วไป สามารถนำ Muse Glimmer 30B มาทดลองผ่าน LM Studio ได้บนระบบ AMD ที่มี VRAM หรือ Variable Graphics Memory มากกว่า 32GB
AMD แนะนำระบบที่ใช้ Ryzen AI Max+ และ Radeon AI PRO R9700 32GB สำหรับการใช้งาน Muse Glimmer 30B ผ่าน LM Studio
ผู้ใช้สามารถค้นหา ดาวน์โหลด และรันโมเดลบนเครื่องได้โดยไม่จำเป็นต้องสร้างระบบ AI Inference ขึ้นมาเองตั้งแต่ต้น
หากเปิดใช้งาน LM Studio Server แล้ว ผู้ใช้ยังสามารถให้โมเดลทำงานผ่านเครือข่าย LAN และเชื่อมต่อกับ AI Agent อื่น ๆ ผ่าน API ที่รองรับมาตรฐาน OpenAI หรือ Anthropic ได้
ทำให้สามารถนำ Muse Glimmer 30B ไปทดลองกับ Agentic Framework หรือแอปพลิเคชันอื่นได้ง่ายขึ้น
นักพัฒนาสามารถฝัง AI เข้าไปในแอปผ่าน Lemonade
สำหรับนักพัฒนาที่ต้องการนำโมเดลไปเป็นส่วนหนึ่งของผลิตภัณฑ์ AMD แนะนำ Lemonade
Lemonade สามารถทำหน้าที่เป็น Local OpenAI-compatible API สำหรับ Muse Glimmer 30B และสามารถฝังเข้าไปในแอปพลิเคชันผ่าน Binary ขนาดประมาณ 4MB
ระบบจะช่วยจัดการรายละเอียดเบื้องหลัง เช่น การตรวจจับฮาร์ดแวร์ การเลือก Backend และการปรับแต่ง Inference ให้เหมาะกับ Ryzen AI และ Radeon
นั่นหมายความว่านักพัฒนาสามารถนำความสามารถของ Muse Glimmer 30B ไปสร้างเป็นฟีเจอร์ภายในโปรแกรมได้โดยตรง เช่น
- ผู้ช่วยเขียนโค้ดแบบ Local
- เครื่องมือค้นคว้าและวิเคราะห์ข้อมูล
- ระบบ Workflow Automation
- AI Assistant สำหรับองค์กร
- แอปพลิเคชันที่ต้องการรักษาข้อมูลไว้ภายในเครื่อง
Agentic PC กำลังเปลี่ยนความหมายของ “คอมพิวเตอร์ AI”
AMD มองว่า Agentic PC ในอนาคตจะไม่ได้เป็นเพียงคอมพิวเตอร์ที่มี NPU สำหรับเร่งฟีเจอร์ AI บางอย่างเท่านั้น แต่จะกลายเป็นแพลตฟอร์มที่สามารถ โฮสต์ AI ที่ทำงานต่อเนื่องอยู่บนเครื่อง
การจับคู่ระหว่าง Ryzen AI Max+, Radeon AI PRO R9700, llama.cpp, LM Studio และ Lemonade จึงเป็นหนึ่งในแนวทางที่ AMD ต้องการผลักดันให้ Local Agentic AI สามารถใช้งานได้จริงมากขึ้น
หากโมเดลขนาด 30B สามารถทำงานบน PC ได้ที่ระดับหลายสิบ Token/s พร้อม Context ขนาดใหญ่และต้นทุนการใช้งานแทบไม่มีหลังจากซื้อฮาร์ดแวร์แล้ว แนวคิดนี้อาจกลายเป็นอีกทางเลือกที่น่าสนใจสำหรับผู้ใช้ที่ต้องการ AI Agent แบบ เร็ว เป็นส่วนตัว และไม่ต้องจ่ายค่า Cloud ทุกครั้งที่ AI ทำงาน
และนี่อาจเป็นอีกก้าวสำคัญของการเปลี่ยนจาก AI PC ที่ “ช่วยทำบางอย่าง” ไปสู่ Agentic PC ที่สามารถ “ทำงานแทนผู้ใช้” ได้จริง
