4060和V100*三模式本地算力实施记录

• 硬件环境
  • 4060：8G显存算力独享，64G宿主内存 LPDDR5X，2T固态 nvme pcie4.0
  • V100：16G*2双卡显存算力独享，40G宿主内存 DDR4，250G固态 sata 
• 部署调优：hermes + muse spark 1.3 / deepseek v4.1 flash
• 性能评价：hermes设计的统一性能测试脚本，测试模型能力和性能指标，可以统一对比
• 人工体验：hermes辅助模型的对话效果，hermes主模型的对话效果

4060 8G oculink显卡坞

GPU-4B 文字agent

• 模型：mradermacher/Qwen3.8-4B-Agentic-distill-GGUF
• 文件：Qwen3.8-4B-Agentic-distill.Q4_K_M.gguf，chat_template
• yml：docker-compose.yml
• ini：4060-gpu-qwen3.8-4b-agent.ini
• 性能评价：
• 人工体验：

GPU-9B 文字agent

• 模型：mradermacher/qwen3.8-9b-hermes-fc-tooluse-GGUF
• 文件：qwen3.8-9b-hermes-fc-tooluse.Q4_K_M.gguf，chat_template
• yml：docker-compose.yml
• ini：4060-gpu-qwen3.8-9b-hermes.ini
• 性能评价：
• 人工体验：

CPU-27B 文字agent

• 模型：agentionai/Qwen3.8-27B-AP-GGUF
• 文件：Qwen3.8-27B-AP-Q4_K_M.gguf，chat_template.jinja
• yml：docker-compose.yml
• ini：4060-cpu-qwen3.8-27b-agent.ini
• 性能评价：
• 人工体验：

NVME-35BA3B 文字agent

• 模型：pragmaticcs/Qwen3.8-KAT-AgentWorld-35B-A3B-Coder-GGUF
• 文件：Qwen3.8-KAT-AgentWorld-35B-A3B-Coder-Q4_K_M.gguf，chat_template.jinja
• yml：nvme.yml
• ini：4060-nvme-qwen3.8-35b-agent.ini
• 性能评价：
• 人工体验：

V100 16G*2 nvlink显卡坞

GPU-27B 文字agent

• 模型：agentionai/Qwen3.8-27B-AP-GGUF
• 文件：Qwen3.8-27B-AP-Q4_K_M.gguf，chat_template.jinja
• yml：docker-compose.yml
• ini：v100-gpu-qwen3.8-27b-agent.ini
• 性能评价：
• 人工体验：

GPU-35BA3B 文字agent

• 模型：pragmaticcs/Qwen3.8-KAT-AgentWorld-35B-A3B-Coder-GGUF
• 文件：Qwen3.8-KAT-AgentWorld-35B-A3B-Coder-Q4_K_M.gguf，chat_template.jinja
• yml：nvme.yml
• ini：v100-gpu-qwen3.8-35b-agent.ini
• 性能评价：
• 人工体验：

CPU-125BA6B 文字Gyro

• 模型：agentionai/Qwen3.8-Flash-Next-Gyro-abliterated-Huihui-GGUF
• 文件：Qwen3.8-Flash-Next-Gyro-S-abliterated-TQ1_0.gguf，chat_template.jinja
• yml：nvmegyro.yml
• ini：4060-nvmegyro-qwen3.8-125b-agent.ini
• 性能评价：
• 人工体验：