โดย Insightist™ | เผยแพร่: 13 พ.ย 2569 | อ้างอิง: Google Blog
สรุปสาระสำคัญ
- Google DeepMind และ Artificial Analysis เปิดตัว MKA (Multimodal Knowledge Agent) benchmark วัดงานที่ต้องดูภาพ
- ชุดประเมินมี 200 task จาก 10 วงการ 83 อาชีพ แต่ละ task ใช้เวลามืออาชีพ 3 ถึง 8 ชั่วโมง
- Gemini 4 Carbon ได้อันดับ 2 ด้านคุณภาพ และต้นทุนต่ำกว่าโมเดลอันดับ 1 เฉลี่ย 6 เท่า
- ใช้งาน Gemini 4 Carbon ได้แล้วผ่าน Gemini API ใน Google AI Studio
AI ตอบแชทเก่งแค่ไหนไม่ใช่เรื่องใหม่แล้ว คำถามที่ตามมาคือ พอเป็นแบบแปลน แผนผัง หรือรายงานที่เต็มไปด้วยกราฟ มันดูภาพเป็นจริงหรือเปล่า Insightist™ รายงานข่าว AI ชิ้นนี้ เพราะ Google DeepMind เพิ่งเปิดข้อสอบที่ตอบคำถามนี้ตรง ๆ
MKA คืออะไร และทำไมต้องมี?
MKA คือ Benchmark ที่วัดว่า Agent คิดวิเคราะห์ข้ามไฟล์ที่ซับซ้อนทางภาพได้ดีแค่ไหน ต้นเรื่องคือ benchmark ด้าน knowledge work ส่วนใหญ่ใช้ข้อความล้วนก็ทำได้ ทั้งที่งานจริงในหลายอุตสาหกรรมพึ่งภาพอย่างหนัก ตั้งแต่เทียบแบบแปลนสถาปัตยกรรม ตามแผนผังวิศวกรรม ไปจนถึงทำ deck รายงาน และ Spreadsheets
ข้อสอบนี้ออกแบบและตรวจกันยังไง?
ผู้เชี่ยวชาญใน 83 อาชีพช่วยกันออก 200 task แต่ละ task คือโปรเจกต์หลายขั้นตอนที่คนทำจริงใช้เวลา 3 ถึง 8 ชั่วโมง มี rubric ประมาณ 70 ข้อแบบใช่หรือไม่ใช่ ให้น้ำหนัก 75% กับความถูกต้อง และ 25% กับการออกแบบภาพ
คนตรวจคือ autorater ที่สร้างบนโมเดลที่ไม่ใช่ของ Google มันเปิดทุกไฟล์ render หน้า และตรวจสูตรในสเปรดชีต เมื่อผู้เชี่ยวชาญตรวจเอง เห็นตรงกับ autorater 96%
ทุกโมเดลสอบใน Agent Harness แบบ Open Source ตัวเดียวกัน ชื่อ Stirrup ใช้ Tools, Sandbox และ Turn Budget เหมือนกัน ชุด 200 Task เก็บเป็นความลับ เพื่อไม่ให้หลุดเข้าไปในข้อมูลเทรน ส่วนชุดตัวอย่าง 10 task เปิดให้ลองบน Hugging Face
โมเดลแต่ละตัวทำงานต่างกันแค่ไหน?
ต่างกันมาก กับโจทย์ชุดเดียวกัน โมเดลที่ทดสอบใช้ประมาณ 30 ถึง 130 turn ต่อ task technical report ยังชี้ว่าความสามารถด้านการรับรู้ภาพจำเป็นต่อการแก้แต่ละ task และเมื่อตัดการมองเห็นออก โมเดลพยายามชดเชยแต่ก็พลาด
แล้ว Gemini 4 Carbon อยู่ตรงไหน?
Gemini 4 Carbon ได้อันดับ 2 ด้านคุณภาพในบรรดาโมเดลที่ทดสอบ และทำ task เสร็จด้วยต้นทุนต่ำกว่าโมเดลคะแนนสูงสุดเฉลี่ย 6 เท่า อยู่บน pareto frontier ของคุณภาพและราคาใน MKA eval
มุมธุรกิจไทย ถ้าทีมคุณใช้ AI ช่วยงานที่มีภาพเยอะ เช่น ใบเสนอราคาพร้อมแบบ รายงานที่มีกราฟ หรือ deck ลูกค้า การเลือกโมเดลจากคะแนนข้อความอย่างเดียวอาจไม่พอ ราคาต่อ task ก็เป็นตัวเลขที่ควรเทียบควบคู่กัน
ทำอะไรได้ตอนนี้?
เปิด Google AI Studio ทดลอง Gemini 4 Carbon กับไฟล์งานจริงของทีมคุณ แล้วดูผลสอบเต็มที่ Artificial Analysis หรืออยากลองข้อสอบเอง ก็โหลดชุดตัวอย่าง 10 task จาก Hugging Face ไปทดสอบ agent ของคุณได้เลย
คำถามที่พบบ่อย (FAQs)
Q: MKA ย่อมาจากอะไร
A: Multimodal Knowledge Agent เป็น benchmark วัดการคิดวิเคราะห์ข้ามไฟล์ที่ซับซ้อนทางภาพ
Q: ใครออกข้อสอบ
A : ผู้เชี่ยวชาญใน 10 วงการ 83 อาชีพ เช่น สถาปนิก นักชีววิทยา underwriter และ data scientist
Q: ตรวจคำตอบยังไง
A: ใช้ Rubric ประมาณ 70 ข้อ และ autorater ที่ตรวจเทียบกับผู้เชี่ยวชาญแล้วเห็นตรงกัน 96%
Q: ลองข้อสอบเองได้ไหม
A: ได้ ชุดตัวอย่าง 10 task เปิดบน Hugging Face ส่วนชุดหลัก 200 task เก็บเป็นความลับ
Q: Gemini 4 Carbon ใช้ได้ที่ไหน
A: ผ่าน Gemini API ใน Google AI Studio
ถ้าคุณสนใจข่าวสารนี้ ให้ Add Line OA เพิ่ม: https://lin.ee/ulsmCKk หรือ @nhx2358e
