qwen3.5在ocomo下的调试

存在问题

Qwen3.5系列的问题,可能就是在于 prefill thinking 和 not found这类推理失败的情况,

模型子型号选择不对,或者模型厂商选择不对和开源项目交互配合不好,或者llama需要升级了,
我准备在本机amd集显,搭建llama最新版来调试一下,确定具体原因

调试记录

  • Qwen3.5 不同子型号

    Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distill-heretic-v3.i1-Q4_K_M
    Qwen3.5-9B-Claude-4.6-OS-Auto-Variable-HERETIC-UNCENSORED-THINKING.i1-Q5_K_M.gguf
    Qwen3.6-35B-A3B-Opus-Q4_K_S.gguf
  • 其它厂商模型

    Llama3.3-8B-Instruct-Thinking-Heretic-Uncensored-Claude-4.5-Opus-High-Reasoning.i1-Q4_K_S.gguf
    gemma-4-E4B-it.Q4_K_M
  • 最新版llama调参ini