llama.cpp 用 config.ini 批量加载模型时,有个参数
chat-template-file = chat_template.jinja
大部分模型在gguf文件外,还会提供一份持续迭代的 chat_template.jinja
需要搭配使用,才能更具通用性,消除个性差异,可以避免比如 prefill thinking的冲突中断
llama.cpp 用 config.ini 批量加载模型时,有个参数
chat-template-file = chat_template.jinja
大部分模型在gguf文件外,还会提供一份持续迭代的 chat_template.jinja
需要搭配使用,才能更具通用性,消除个性差异,可以避免比如 prefill thinking的冲突中断