DeepSeek

仓库

拉取

  • 仓库添加ssh权限
    • 本地生成密钥 ssh-keygen -t ed25519 -C 'email@x.com' -f ~/.ssh/file_name
    • 本地挂载密钥 ssh-add ~/.ssh/file_name
    • 远端添加公钥 cat ~/.ssh/file_name
    • 增加域名信息 vi ~/.ssh/config 
      # hf.co配置
         Host hf.co
         HostName hf.co
         IdentityFile ~/.ssh/file_name
    • 本地验证  ssh -T git@hf.co
    • 本地增加指 vi ~/.ssh/known_hosts官方ssh帮助文件
  • 拉取仓库
    • 排除大文件拉取 GIT_LFS_SKIP_SMUDGE=1 git clone git@hf.co:deepseek-ai/DeepSeek-R1-Distill-Llama-8B
    • 支持lfs大文件 git lfs install
    • 拉去lfs大文件 git lfs pull(我是从网页单下的大文件)

本地推理

本地运行

vLLM运行

  • pip install vLLM
  • vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager
    • ModuleNotFoundError: No module named 'resource'
      目前vLLM只支持linux系统,不能运行在windows

SGlang运行

  • python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

Ollama运行

  • 安装ollama
    • 下载解压zip https://github.com/ollama/ollama/releases 
    • 配置环境变量
      • 执行路径 OLLAMA_HOME = D:\softWin\ProgramFiles_AI\ollama-windows-amd64-v0.5.7
      • 模型路径 OLLAMA_MODELS = D:\softWin\ProgramFiles_AI\ollama-models
      • 定义端口 OLLAMA_HOST = 8001  默认 http://localhost:11434
      • 跨域配置 OLLAMA_ORIGINS = *
  • 验证:ollama -v
  • 服务
    • 启动 ollama serve
    • ps后台:Start-Process -FilePath "ollama" -ArgumentList "serve" -WindowStyle Hidden
    • 停止 ollama stop
    • 查看进程:tasklist | findstr /I “open-webui ollama”
    • 结束进程:taskkill /IM ollama.exe /F
  • 模型
    • 查看模型:ollama list
    • 运行:ollama run deepseek-r1:8b
    • 停止:ollama stop deepseek-r1:8b
  • 可视化
    • 开启conda终端
    • 创建环境:conda create -n openwebui_311 python=3.11
    • 激活环境:conda activate openwebui_311
    • 安装web:pip install --upgrade open-webui
      • 本地版本:pip show open-webui
      • 仓库版本:pip index versions open-webui
      • 官方版本:(Invoke-RestMethod -Uri "https://pypi.org/pypi/open-webui/json").info.version
      • 官方更新:pip install --upgrade --no-cache-dir -i https://pypi.org/simple open-webui
    • 启动web:open-webui serve
    • cmd后台:start /b conda run -n openwebui_311 open-webui serve
    • ps后台:Start-Process -FilePath "conda.exe" -ArgumentList “run -n openwebui_311 open-webui serve --port 8080”-WindowStyle Hidden
    • 验证:
    • 访问web:http://localhost:8080,默认已关联ollama serve的http://localhost:11434
    • 结束进程:taskkill /IM open-webui.exe /F