NVIDIA ประกาศเปิดโอเพ่นซอร์สโมเดล Audio2Face เครื่องมือ AI ที่สามารถเปลี่ยนไฟล์เสียงให้กลายเป็นอนิเมชันการขยับใบหน้าแบบสมจริงโดยอัตโนมัติ เทคโนโลยีนี้ถูกพัฒนามาเพื่อช่วยนักพัฒนา นักสร้างคอนเทนต์ และสตูดิโอเกม/แอนิเมชัน ให้ทำงานง่ายขึ้น ไม่ต้องใช้การจับการเคลื่อนไหว (motion capture) ที่ยุ่งยากเหมือนในอดีต
Audio2Face ใช้โมเดล Deep Learning ที่ถูกฝึกด้วยเสียงและการเคลื่อนไหวของใบหน้าคนจริง ทำให้เวลานำไฟล์เสียงมาใส่ ระบบจะซิงค์การขยับปาก การแสดงออก และโครงหน้าของตัวละครดิจิทัลได้อย่างเป็นธรรมชาติ รองรับทั้งงานเกม แอนิเมชัน ไปจนถึงการสร้าง avatar แบบเรียลไทม์
การที่ NVIDIA เปิดซอร์สครั้งนี้ หมายความว่านักพัฒนาและครีเอเตอร์สามารถนำโค้ดไปปรับแต่งต่อยอดได้อย่างอิสระ ตั้งแต่การสร้างแอปพลิเคชันใหม่ ๆ ไปจนถึงการปรับใช้ในแพลตฟอร์ม Metaverse หรือการสตรีมมิ่ง
NVIDIA เปิดโอเพ่นซอร์ส Audio2Face Models และ SDK
วันนี้ NVIDIA เปิดโอเพ่นซอร์ส Audio2Face models และ SDK ทำให้นักพัฒนาเกมและแอป 3D ทุกคนสามารถสร้างและใช้งานตัวละครคุณภาพสูงพร้อมอนิเมชันล้ำสมัยได้ นอกจากนี้ NVIDIA ยังเปิดโอเพ่นซอร์ส Audio2Face training framework เพื่อให้ใครก็สามารถปรับแต่งหรือ fine-tune โมเดลที่มีอยู่ให้เหมาะกับงานของตัวเองได้
Audio2Face คืออะไร?
Audio2Face ช่วยเร่งการสร้างตัวละครดิจิทัลสมจริงด้วย อนิเมชันใบหน้าและซิงค์ปากแบบเรียลไทม์ โดยขับเคลื่อนด้วย AI generative
-
ระบบจะสร้างอนิเมชันใบหน้าจาก เสียง
-
วิเคราะห์คุณสมบัติของเสียง เช่น phonemes และ intonation
-
แปลงเป็นข้อมูลอนิเมชันใบหน้าของตัวละคร
-
สามารถเรนเดอร์แบบ offline สำหรับเนื้อหาที่สคริปต์ไว้ล่วงหน้า หรือ stream real-time สำหรับตัวละคร AI แบบ dynamic
-
ให้ lip-sync และการแสดงอารมณ์ ที่แม่นยำ
Audio2Face ถูกใช้อย่างแพร่หลายในวงการ เกม, สื่อและบันเทิง, และบริการลูกค้า
-
เกม: Codemasters, GSC Games World, NetEase, Perfect World Games
-
ISV (ซอฟต์แวร์ของผู้พัฒนาอิสระ): Convai, Inworld AI, Reallusion, Streamlabs, UneeQ
รายการเครื่องมือโอเพ่นซอร์ส
| Package | การใช้งาน |
|---|---|
| Audio2Face SDK | ไลบรารีและเอกสารสำหรับสร้างและรันอนิเมชันใบหน้าบนอุปกรณ์หรือคลาวด์ |
| Autodesk Maya plugin | ปลั๊กอินอ้างอิง (v2.0) รันแบบ local ส่งเสียงเข้าและรับอนิเมชันใบหน้าของตัวละครใน Maya |
| Unreal Engine 5 plugin | ปลั๊กอิน UE5 (v2.5) สำหรับ UE 5.5 & 5.6 ส่งเสียงเข้าและรับอนิเมชันใบหน้าของตัวละครใน Unreal Engine 5 |
| Audio2Face Training Framework | Framework (v1.0) สำหรับสร้างโมเดล Audio2Face ด้วยข้อมูลของคุณเอง |
| Audio2Face Training Sample Data | ตัวอย่างข้อมูลสำหรับเริ่มต้นใช้งาน training framework |
| Audio2Face Models | โมเดล Regression (v2.2) และ Diffusion (v3.0) สำหรับสร้าง lip-sync |
| Audio2Emotion Models | โมเดล Production (v2.2) และ Experimental (v3.0) สำหรับวิเคราะห์อารมณ์จากเสียง |
สรุปสั้น ๆ:
NVIDIA เปิดโอเพ่นซอร์ส Audio2Face และเครื่องมือเสริม ทำให้นักพัฒนาเกมและแอป 3D สามารถสร้างตัวละครสมจริง พร้อม lip-sync และการแสดงอารมณ์ได้อย่างง่ายดาย ทั้งแบบ real-time และ offline
