เมื่อคืนเอา ollama ไปต่อ discord แล้วก็พบว่าอยากได้ mcp แต่มันไม่รองรับ ก็เลยเปิด github issue
ตกเย็นขัดใจบอตมันโง่ เลยคิดว่าง่ายๆ แค่เปลี่ยน lib จาก openai เป็น pydantic ทำเองก็ได้
ผ่านไป 5 ชั่วโมงก็พบว่า pydantic มันใช้ data type คนละอย่างต้องนั่งเขียนใหม่หมดเลย แล้วก็ได้ fork มา
GitHub - whs/llmcord: Make Discord your LLM frontend - Supports any OpenAI compatible API (Ollama, xAI, Gemini, OpenRouter and more)
Make Discord your LLM frontend - Supports any OpenAI compatible API (Ollama, xAI, Gemini, OpenRouter and more) - whs/llmcordGitHub
" title="
"/>
" title="
"/>
อัคคาวิน
in reply to อัคคาวิน • • •ท่าใน lib เดิมมันก็ฉลาดดี ไม่ต้องเก็บ conversation history ก็ได้แค่ query thread ย้อนหลังใน discord ไปเรื่อยๆ ทำให้มันเป็น stateless แต่มี cache ด้วยถ้ายังไม่ปิดโปรแกรม
ปัญหาคือพอมันใช้ tool use แล้ว message มันไม่ใช่ 1:1 เพราะ tool use req/response ตรงกลางมันหายไป ตอนนี้ก็เลยกลายเป็นว่า in mem cache สำคัญมาก ถ้า restart llm จะลืม response ไป ซึ่งบางทีมันก็ infer คืนจากบทสนทนาได้ แต่ถ้าถามต่อจะไม่ได้
อัคคาวิน
in reply to อัคคาวิน • • •เขียนจนเสร็จแล้วก็ได้เวลาต่อ mcp ตอนตีสอง
แล้วก็พบว่าไม่รู้เอา mcp อะไรต่อ ส่วนมากมันเป็น personal use ไม่ใช่ใช้เป็นกลุ่มได้...