12 มิ.ย. เวลา 08:04 • วิทยาศาสตร์ & เทคโนโลยี

Google เปิด DiffusionGemma โมเดลภาษาแบบ Text Diffusion (26B MoE, รันจริง 3.8B)

โดย
Google เปิดตัวโมเดลภาษาแบบเปิดรุ่นทดลอง DiffusionGemma ที่ใช้เทคนิค text diffusion (สร้างข้อความเป็นบล็อคทีละ 256 โทเค็น) แทนการทำนายทีละโทเค็นแบบ Transformer ดั้งเดิม
  • ​ประสิทธิภาพ
- เร็วกว่า Gemma 4 (รุ่นมาตรฐาน) สูงสุด 4 เท่า (บน H100)
- ความเร็ว >1,000 token/s (มากกว่า 1 พันโทเค็นต่อวินาที)
- คุณภาพผลลัพธ์ใกล้เคียง Gemma 4 (แต่น้อยกว่าเล็กน้อยถ้าต้องการคุณภาพสูงสุด ยังแนะนำ Gemma 4 มาตรฐาน)
  • ​สเปกโมเดล
- สถาปัตยกรรม: MoE
- พารามิเตอร์รวม: 26B
- พารามิเตอร์ที่รันจริง: 3.8B
- VRAM ที่ต้องการ: ประมาณ 18GB
- ทำงานได้ดีบน GPU ผู้บริโภค (RTX 5090, 4090) ร่วมมือกับ NVIDIA ในการปรับแต่ง
  • ​เทคนิค
- สร้าง 256 โทเค็น ต่อครั้ง
- มีกลไกวัดคุณภาพและปรับปรุงผลลัพธ์แบบเรียลไทม์ (iterative refinement)
- ต่อยอดจาก Gemini Diffusion (ปี 2025 ทดสอบวงปิด) -> ตอนนี้เปิดเป็นโอเพนซอร์ส
  • ​การเข้าถึง
- โมเดลเปิด: ดาวน์โหลดผ่าน Hugging Face (https://huggingface.co/google/diffusiongemma-26B-A4B-it)
- ชื่อรุ่น: diffusion-gemma-26b-moe
✏️ Shoper Gamer
Credit :
👇
  • ​https://www.blognone.com/node/150887
โฆษณา