Hugging Face 模型笔记（ 双 V100 32GB笔记）

gemini对话+总结篇 > 打包给豆包总结版

适配硬件：RTX 4060 8GB / 双 V100 32GB（NVLink）

核心目标：零废话、精准选型、一键避坑，覆盖本地部署 + Agent 开发 + 数据编程全场景

🔍 一、快速解码：模型文件名 / 后缀规则（30 秒看懂）

📌 发布者筛选（直接抄）

🚀 二、硬件专属终极选型表（按场景精准匹配）

✅ RTX 4060 8GB（4bit 量化为主，极致性价比）

✅ 双 V100 32GB（NVLink，性能拉满）

⚠️ 三、高频避坑指南（90% 新手都会踩）

1. FP16 绝对不选：4060 / 单 V100 直接爆显存，双 V100 也会严重拖慢速度

2. Base 模型不能用：仅支持续写，无法触发 Agent 工具调用、对话

3. Claude 版慎用于生产：强制<thinking>思维链，挤占上下文，易导致 JSON/XML 解析失败

4. 多模态必配 mmproj：mmproj-BF16.gguf是视觉编码器，缺失则无法看图

5. 4060 必选 Q4_K_M：这是 8GB 显存的 “甜点级” 量化，兼顾速度、精度、显存

6. 双 V100 优先 MoE：Qwen3.5-35B-A3B 比同参密度模型速度快 5 倍，吞吐量翻倍

7. Qwen3.5 无 Pandas 专项版：官方已取消，用System Prompt指定Pandas 2.x规范 + RAG 辅助文档，效果远超专项版

8. 目录不混乱：LM Studio 原目录保留，用符号链接打平，不破坏软件索引

🛠 四、本地模型管理方案（解决目录混乱）

核心方案：符号链接（软链接）打平目录

不移动原文件，仅创建虚拟快捷方式，实现 “一键查看所有模型”，格式统一为：模型名_发布者_量化等级.gguf

Windows 一键脚本（管理员权限运行 PowerShell）

# 1. 配置路径（替换为你的实际路径）
$srcRoot = "D:\softWin\ProgramFiles_AI\LMStudioModels"  # LM Studio原模型目录
$destRoot = "D:\softWin\ProgramFiles_AI\Models_Flat"    # 打平后的目标目录

# 2. 创建目标目录
if (-not (Test-Path $destRoot)) { New-Item -ItemType Directory -Path $destRoot }

# 3. 扫描并创建软链接
Get-ChildItem -Path $srcRoot -Recurse -Filter *.gguf | ForEach-Object {
    $fileName = $_.Name
    $publisher = $_.Directory.Parent.Name
    $modelName = $_.Directory.Name
    $newName = "${modelName}_${publisher}_$fileName"
    $destPath = Join-Path $destRoot $newName
    
    # 跳过已存在的链接
    if (-not (Test-Path $destPath)) {
        New-Item -ItemType SymbolicLink -Path $destPath -Target $_.FullName
        Write-Host "已创建链接：$newName"
    }
}
Write-Host "✅ 模型目录打平完成！" 

效果

• 原目录：Jackrong/Qwen3.5-27B-Claude-xx/mmproj-BF16.gguf

• 打平后：Qwen3.5-27B-Claude-xx_Jackrong_mmproj-BF16.gguf

• 直接在Models_Flat文件夹筛选、对比，无需多层跳转

📝 五、Qwen3.5 核心知识点（必记）

1. 架构优势（为什么比旧模型强）

• Gated DeltaNet：线性注意力机制，显存占用比旧模型减少 40%，长文本（128K+）不爆炸

• 稀疏 MoE（A3B/A10B）：总参数大但仅激活少量专家，速度快、显存占用合理

• 原生多模态：文本 + 视觉 + 代码统一架构，无需切换模型，适配 RAG 全场景

• 原生思维链：无需蒸馏版，内置思考模式，中文指令遵循性拉满

2. Claude 版 vs 标准版（生产 / 聊天分场景）

3. 双 V100 部署优化技巧

• 开启 NVLink 张量并行：vLLM 启动命令加--tensor-parallel-size 2，双卡通信延迟 300GB/s，首字延迟（TTFT）减半

• 显存分配：MoE 模型（35B-A3B）占 22GB，剩余 10GB 用于 KV Cache，支持 4000 + 字长文本

• 系统环境：Ubuntu+Docker 最佳，Windows 对 NVLink 支持有限，易出现性能瓶颈

🎯 六、最简下载搜索指令（直接复制到 Hugging Face）

4060 8GB 快速搜索

1. 全能 Agent：Qwen3.5-9B-Instruct-Q4_K_M GGUF site:huggingface.co

2. 编程专精：Qwen2.5-Coder-7B-Instruct-Q4_K_M GGUF

3. 无限制对话：Llama-3.1-8B-Abliterated GGUF

4. 视觉 RAG：Qwen3.5-9B-VL-Instruct-Q4_K_M GGUF

双 V100 快速搜索

1. 全能 Agent：Qwen3.5-35B-A3B-Instruct-Q4_K_M GGUF/EXL2

2. 编程专精：Qwen3-Coder-Next-30B-A3B-Instruct-Q4_K_M GGUF

3. 逻辑推理：Qwen3.5-27B-Dense-Instruct-Q4_K_M GGUF

4. 无限制对话：Dolphin-2.9-Qwen3.5-32B-Instruct GGUF

✅ 总结：一句话选型口诀

• 4060 8GB：锁Qwen3.5-9B + Q4_K_M，全能通吃无压力

• 双 V100 32GB：冲Qwen3.5-35B-A3B + Q4_K_M，碾压旧版大模型

• 生产 Agent：用原版 / Bartowski 无限制，远离 Claude 版格式风险

• 模型管理：软链接打平，不破坏原索引

• 搜索规则：发布者 + 量化等级 + Instruct，精准避坑