เลือกโมเดลและฮาร์ดแวร์ให้เหมาะกับเครื่อง

เผยแพร่ 12 สิงหาคม 2569

ภาพประกอบ: เลือกโมเดลและฮาร์ดแวร์ให้เหมาะกับเครื่อง

เครื่องมือ Local AI ในเว็บนี้ออกแบบมาสำหรับ Mac Apple Silicon ตั้งแต่ M1 ขึ้นไป และใช้ MLX เพื่อรันโมเดลบนชิป M-series โดยตรง สิ่งที่ต้องดูเป็นอันดับแรกไม่ใช่ความเร็วของชิป แต่คือ RAM ที่มีอยู่

ทำไม RAM ถึงสำคัญที่สุด

ก่อนตอบคำถาม โมเดลภาษาต้องโหลด weights เข้าหน่วยความจำก่อน ยิ่งมีพารามิเตอร์มาก (B หมายถึงพันล้าน) ก็ยิ่งใช้ RAM มากขึ้น บน Apple Silicon หน่วยความจำชุดเดียวถูกใช้ร่วมกันโดย CPU, GPU และ Neural Engine ดังนั้น RAM ของเครื่องจึงเป็นตัวกำหนดเพดานขนาดโมเดลที่รันได้จริง

Quantization คืออะไร ทำไมทุกเครื่องมือถึงใช้

โมเดลต้นฉบับมักเก็บค่าตัวเลขแบบ 16 หรือ 32 bit จึงมีขนาดใหญ่ Quantization คือการลดความละเอียดของตัวเลขเหล่านั้นลง เช่นเหลือ 4 bit ยอมให้ความแม่นยำลดลงเล็กน้อยเพื่อประหยัดหน่วยความจำอย่างมาก เครื่องมือในเว็บนี้จึงตั้งต้นด้วยโมเดล 4-bit quantized ซึ่งมักสังเกตได้จากชื่อที่มี 4bit หรือ MLX

ตารางเทียบ: เครื่องแบบไหน ใช้เครื่องมือตัวไหนได้

RAM ของเครื่อง โมเดลที่รันได้ เครื่องมือที่ใช้ได้
8GB Qwen3.5-2B-OptiQ-4bit (~3–4GB ตอนใช้งานจริง) ENDEAVOR AGENT LITE, ENDEAVOR RAG
16–32GB เหมือน 8GB ได้สบายขึ้น หรือทดลอง Qwen3-14B แบบ quantized LITE/RAG ได้สบาย, LOCAL AGENT TH แบบสลับโมเดลเป็น 14B
≥48GB Qwen3.6-35B-A3B-UD-MLX-4bit (production model) ENDEAVOR LOCAL AGENT TH เต็มความสามารถ

จำง่าย ๆ: ถ้า RAM ต่ำกว่า 48GB ให้เริ่มจาก LITE หรือ RAG ทั้งคู่ใช้ Qwen3.5-2B-OptiQ-4bit ซึ่งออกแบบมาให้ทำงานบนเครื่องขนาดเล็กได้

ขนาดโมเดลกับคุณภาพคำตอบ

โมเดลที่ใหญ่ขึ้นไม่ได้มีผลแค่ความสามารถในการตอบคำถาม แต่ช่วยเรื่อง tool calling โดยตรงด้วย Agent ต้องเลือกฟังก์ชันและส่ง argument ตามรูปแบบที่ระบบกำหนด โมเดลเล็กจึงมีโอกาสเลือก tool ผิดหรือส่งรูปแบบผิดได้มากกว่า

จากประสบการณ์ตรงของทีมพัฒนา ENDEAVOR:

  • 35B (production) — เรียก tool แม่นยำ เหมาะกับ workflow ที่ซับซ้อนหลายขั้นตอน
  • 14B — ขั้นต่ำที่ยังพอใช้งาน tool-calling ได้อย่างสมเหตุสมผล เป็นทางเลือกกลางสำหรับเครื่อง RAM ไม่ถึง 48GB
  • 7B/8B ลงมา — มีโอกาสสูงที่จะเรียก tool ผิด หลุด format หรือตอบไม่ตรงคำถามบ่อยขึ้น ต้อง tune prompt/parameter เพิ่มเองถ้าจะใช้งานจริง
  • 2B (LITE/RAG) — ออกแบบมาสำหรับงานที่ชัดเจนตรงไปตรงมา ไม่ใช่งานวิเคราะห์หลายชั้น — คำสั่งควรระบุเป้าหมายให้ชัด

เช็คสเปกเครื่องตัวเองก่อนเริ่ม

เปิด About This Mac จากเมนู Apple แล้วดูช่อง “Memory” หากไม่แน่ใจว่าเครื่องเป็น Apple Silicon หรือ Intel ให้ดูช่อง “Chip”; เครื่องที่ใช้ได้ต้องขึ้นต้นด้วย “Apple M” เพราะเครื่องมือในเว็บนี้ไม่รองรับ Intel Mac

อ่านต่อ

ความคิดเห็น

กำลังโหลดความคิดเห็น...