Google ประกาศเพิ่มฟีเจอร์ใหม่ Implicit Caching
ให้บริการ Gemini API ที่ช่วยลดค่าใช้จ่ายของผู้ใช้งานได้สูงสุดถึง 75% โดยไม่ต้องตั้งค่าหรือระบุการใช้งานแคชด้วยตนเองเหมือนในอดีต
ในระบบ Large Language Model (LLM) อย่าง Gemini นักพัฒนามักใช้งานด้วยข้อความเริ่มต้นแบบเดิมซ้ำ ๆ ไม่ว่าจะเป็น system prompt หรือการโต้ตอบกับชุดข้อมูลเดิม ๆ ซึ่งโดยปกติแล้วจะต้องประมวลผลซ้ำทุกครั้ง นำไปสู่ต้นทุนที่สูงขึ้นโดยไม่จำเป็น
ฟีเจอร์ Implicit Caching ช่วยแก้ปัญหานี้ ด้วยการ “จำ” ข้อความที่เคยประมวลผลไว้แล้ว และเรียกใช้ซ้ำได้ทันทีโดยไม่ต้องคำนวณใหม่ ทำให้การใช้งานข้อความซ้ำ ๆ เช่น prompt หรือบริบทของบทสนทนาเดิม ไม่ต้องเสียค่าใช้จ่ายเต็มจำนวนในแต่ละครั้ง
จุดเด่นของระบบแคชใหม่นี้คือ
- ไม่ต้องเปิดใช้งานเอง ระบบจะทำงานโดยอัตโนมัติ
- ลดค่าใช้จ่ายอินพุตได้มากถึง 75%
- ไม่เสียค่าสตอเรจเพิ่ม สำหรับเก็บแคชเหมือนเดิม
- มีตัวแปร cached_content_token_count แจ้งกลับมาเมื่อมีการใช้แคช
อย่างไรก็ตาม กูเกิล ไม่ได้ระบุว่าแคชจะถูกเก็บไว้นานแค่ไหน โดยไม่มีการรับประกันระยะเวลาใช้งาน แต่หากระบบพบว่าเคยมีข้อความนั้นมาก่อน ก็สามารถใช้ผลลัพธ์เดิมได้ทันที
ฟีเจอร์นี้ถือเป็นอีกก้าวสำคัญของ กูเกิล ในการเพิ่มประสิทธิภาพและลดต้นทุนการใช้งานโมเดล AI บนคลาวด์ โดยเฉพาะเมื่อเทียบกับคู่แข่งอย่าง DeepSeek ที่เปิดระบบแคชอัตโนมัติมาก่อนหน้านี้แล้ว
tags : developers
