คิดว่าของจริงน่าจะ vllm แต่ขี้เกียจเรียน อันนั้นก็ไม่ง่าย และในมุม home use มันต้องสลับ model ไปมาลองได้ หรือไม่ใช้แล้ว unload ทิ้ง เปิดแช่ได้
ถ้า tool มัน spawn มาเพื่อรัน 1 model มันไม่ตอบโจทย์ ต้องมี supervisor มันอีกที (จริงๆ ollama มันก็ supervise llama.cpp...)
Banpot Kaewcharoen
Unknown parent • •like this
veer66 and Korawich Kavee like this.