Nvidia เปิดเทคนิครถูก KV Cache ข้ามโมเดลด้วยคณิตศาสตร์เชิงเส้น ลดค่า prefill ของ LLM

Nvidia เผยเทคนิค cross‑model KV cache transfer ที่ใช้คณิตศาสตร์เชิงเส้นง่าย ๆ เพื่อแทนที่การสลับโมเดล AI แบบดั้งเดิม ซึ่งช่วยลดต้นทุนการประมวลผลและความหน่วงของระบบเมื่อต้องทำงานร่วมกับหลาย Large Language Model (LLM) ในกระบวนการทำงานต่อเนื่องหลายขั้นตอน

Overview

ในระบบปัญญาประดิษฐ์ที่มีลักษณะเป็น “agentic” การส่งมอบงานจากโมเดลขนาดเล็กไปยังโมเดลใหญ่ หรือย้อนกลับนั้นต้องเสียค่า prefill ที่สูง เนื่องจากโมเดลใหม่จำเป็นต้องคำนวณ KV cache ของบทสนทนาทั้งหมดอีกครั้ง การทำเช่นนี้ทำให้ต้นทุนการใช้ GPU เพิ่มขึ้นอย่างมีนัยสำคัญและเพิ่มความหน่วงของการตอบสนองโดยเฉพาะในงานที่ต้องอ้างอิงข้อมูลหลายรอบหรือบริบทยาว.

Nvidia ได้ออกแบบวิธีการ cross‑model KV cache transfer ที่สามารถแปลง KV cache จากโมเดลต้นทางให้เข้ากับรูปแบบของโมเดลเป้าหมายโดยไม่ต้องทำขั้นตอน prefill ซ้ำใหม่ ซึ่งตรงกับความต้องการของแอปพลิเคชันที่ต้องจัดการบริบทขนาดใหญ่หลายรอบ.

Key Details

LLM ทำงานสองขั้นตอนหลักคือ prefill (คำนวณค่า keys และ values ของ token ทั้งหมด) และ decode (อ่านจาก KV cache เพื่อทาย token ถัดไป). เมื่อจำนวน token เพิ่มขึ้นในบทสนทนาหลายรอบ ค่าต้นทุนของ prefill จะเพิ่มตามอัตราเชิงเส้นกับขนาดโมเดลและความยาวอินพุต ทำให้การสลับโมเดลระหว่างขั้นตอนเป็น “คอขวด” ที่สำคัญ.

การสลับโมเดลโดยทั่วไปต้องทำการ recompute KV cache ใหม่ เนื่องจากแต่ละโมเดลมีสถาปัตยกรรมและรูปแบบข้อมูลที่แตกต่างกัน การแก้ปัญหานี้จึงจำเป็นต้องมีวิธีแปลงความทรงจำระหว่างโมเดลโดยไม่ต้องเริ่มต้นใหม่. Nvidia จึงมุ่งเน้นการศึกษา within‑family transfer เช่น ระหว่างรุ่นย่อยของ Qwen, Llama หรือ Ministral ซึ่งใช้ tokenizer และข้อมูลฝึกเดียวกันแม้ขนาดและจำนวนเลเยอร์จะแตกต่าง.

Specs & Performance

ผลทดลองแสดงให้เห็นว่าเทคนิคเชิงเส้นนี้ทำงานเร็วกว่า การ recompute KV cache 2.7‑ถึง 25 เท่า ขึ้นอยู่กับคู่โมเดลที่ใช้งาน และยังคงรักษาความแม่นยำของโมเดลเป้าหมายได้ **สูงสุดถึง 98 % ของผลลัพธ์เมื่อทำงานแบบอิสระ.

• Linear regression mapping จาก Qwen‑3 14B ไปเป็น Qwen‑3 32B สามารถอธิบายความแปรผันของ keys ได้ 56 % และ values 32 %
• การรวมหลายเลเยอร์ต้นทางเพิ่มค่าอธิบายได้เป็น 79 % (keys) และ 65 % (values)

เทคนิคนี้ไม่ต้องใช้การฝึกแบบ gradient‑based ที่มีค่าใช้จ่ายสูง เพียงแค่ทำ per‑head ridge regression ด้วยชุดข้อมูล calibration จำนวนไม่กี่ร้อยข้อความ

How It Works

กระบวนการแมป KV cache มีสามส่วนสำคัญ:

• Per‑head ridge regression – ทำการหาความสัมพันธ์เชิงเส้นระหว่างหัว attention ของโมเดลต้นทางและเป้าหมายโดยแยกแต่ละหัวออกจากกัน เพื่อให้ได้พารามิเตอร์ที่เหมาะที่สุดด้วยวิธี least‑squares.
• Cross‑layer source selection – เนื่องจากจำนวนเลเยอร์ของโมเดลอาจไม่เท่ากัน ระบบจะเลือกเลเยอร์ต้นทางที่มีความสัมพันธ์สูงสุดกับแต่ละเลเยอร์เป้าหมาย เพื่อนำข้อมูล “memory” ที่สำคัญที่สุดมาใช้.
• Content‑space mapping – ก่อนทำการแปลง ระบบจะลบค่าการเข้ารหัสตำแหน่งแบบ RoPE (Rotary Position Embedding) ออก เพื่อให้ข้อมูลใน KV cache อยู่ในรูปแบบเชิงเส้นที่ง่ายต่อการแมประหว่างโมเดล.

ด้วยแนวคิดว่าความจำของ LLM มีโครงสร้างเชิงเส้น ทำให้สามารถใช้ algebraic tricks แทนการฝึกเครือข่ายประสาทเทียมขั้นสูงได้

Analysis & Future Directions

จากมุมมองของอุตสาหกรรม การลดต้นทุน prefill อย่างมีประสิทธิภาพเปิดโอกาสให้ผู้พัฒนาระบบ AI สามารถออกแบบ workflow แบบ multi‑LLM ที่ยืดหยุ่นมากขึ้น เช่น ใช้โมเดลขนาดเล็กจัดการงาน routine ส่วนที่ต้องการ reasoning ซับซ้อนจะสลับไปยังโมเดลใหญ่โดยไม่เสียเวลา recompute.

แม้ว่าการวิจัยครั้งนี้จำกัดอยู่ใน within‑family transfers แต่ทีม Nvidia ชี้ว่าแนวทางเดียวกันอาจต่อยอดไปสู่การทำ cross‑family transfer, การจัดการกับจำนวนหัว attention ที่แตกต่าง, หรือการรวมสถาปัตยกรรมแบบ hybrid ที่ผสม attention ปกติและกลไกความจำอื่น ๆ ได้ในอนาคต.

ข้อจำกัดที่ยังคงอยู่คือการต้องมีข้อมูล calibration ที่เหมาะสม และประสิทธิภาพของการแมปอาจแตกต่างตามลักษณะงานจริง ซึ่งจะต้องมีการทดสอบเพิ่มเติมเพื่อยืนยันว่าอัตราการรักษา accuracy สูงสุด 98 % จะคงที่ในสภาวะ production.

Impact

สำหรับองค์กรที่ใช้งาน AI แบบ agentic การลดเวลาและค่าใช้จ่ายของขั้นตอน prefill สามารถทำให้ระบบตอบสนองได้เร็วขึ้น ลดค่าไฟฟ้าและค่าเช่า GPU ในคลัสเตอร์ขนาดใหญ่ นอกจากนี้ยังช่วยเพิ่มความสามารถในการสเกล workflow ที่ต้องอ้างอิงข้อมูลหลายพัน token เช่น การสรุปเอกสารยาว, การวิเคราะห์ข้อมูล PDF ขนาดใหญ่ หรือการทำ reasoning เชิงลึกใน chatbot ธุรกิจ.

หากเทคนิคนี้ได้รับการพัฒนาให้รองรับโมเดลหลากหลายตระกูล จะเป็นการเปิดทางใหม่สำหรับ model‑agnostic orchestration ของ LLMs ที่ช่วยลดความซับซ้อนของระบบและทำให้ผู้พัฒนาสามารถเลือกใช้โมเดลที่เหมาะสมกับแต่ละขั้นตอนโดยไม่ต้องกังวลเรื่องต้นทุนการ recompute.

Summary

Nvidia แสดงให้เห็นว่า คณิตศาสตร์เชิงเส้น สามารถแทนที่การสลับโมเดล AI ที่มีค่าใช้จ่ายสูงได้ ด้วยเทคนิค cross‑model KV cache transfer ซึ่งทำงานเร็วกว่า 2.7‑ถึง 25 เท่าและรักษาความแม่นยำได้เกือบ 98 % การพัฒนานี้อาจเป็นก้าวสำคัญในการสร้าง workflow AI ที่มีประสิทธิภาพสูงและต้นทุนต่ำสำหรับองค์กรในอนาคต.