DeepSeek
仓库
拉取
- 仓库添加ssh权限
- 本地生成密钥
ssh-keygen -t ed25519 -C 'email@x.com' -f ~/.ssh/file_name
- 本地挂载密钥
ssh-add ~/.ssh/file_name
- 远端添加公钥
cat ~/.ssh/file_name
- 增加域名信息
vi ~/.ssh/config
# hf.co配置
Host hf.co
HostName hf.co
IdentityFile ~/.ssh/file_name - 本地验证
ssh -T git@hf.co
- 本地增加指
vi ~/.ssh/known_hosts
(官方ssh帮助文件)
- 拉取仓库
- 排除大文件拉取
GIT_LFS_SKIP_SMUDGE=1 git clone git@hf.co:deepseek-ai/DeepSeek-R1-Distill-Llama-8B
- 支持lfs大文件
git lfs install
- 拉去lfs大文件
git lfs pull
(我是从网页单下的大文件)
本地推理
本地运行
vLLM运行
- pip install vLLM
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager
- ModuleNotFoundError: No module named 'resource'
目前vLLM只支持linux系统,不能运行在windows
SGlang运行
python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2
Ollama运行
- 安装ollama
- 下载解压zip https://github.com/ollama/ollama/releases
- 配置环境变量
- 执行路径 OLLAMA_HOME = D:\softWin\ProgramFiles_AI\ollama-windows-amd64-v0.5.7
- 模型路径 OLLAMA_MODELS = D:\softWin\ProgramFiles_AI\ollama-models
- 定义端口 OLLAMA_HOST = 8001 默认 http://localhost:11434
- 跨域配置 OLLAMA_ORIGINS = *
- 验证:ollama -v
- 服务
- 启动 ollama serve
- ps后台:
Start-Process -FilePath "ollama" -ArgumentList "serve" -WindowStyle Hidden
- 停止 ollama stop
- 查看进程:
tasklist | findstr /I “open-webui ollama”
- 结束进程:taskkill /IM ollama.exe /F
- 模型
- 查看模型:
ollama list
- 运行:ollama run deepseek-r1:8b
- 停止:ollama stop deepseek-r1:8b
- 可视化
- 开启conda终端
- 创建环境:conda create -n openwebui_311 python=3.11
- 激活环境:conda activate openwebui_311
- 安装web:pip install --upgrade open-webui
- 本地版本:pip show open-webui
- 仓库版本:pip index versions open-webui
- 官方版本:(Invoke-RestMethod -Uri "https://pypi.org/pypi/open-webui/json").info.version
- 官方更新:pip install --upgrade --no-cache-dir -i https://pypi.org/simple open-webui
- 启动web:open-webui serve
- cmd后台:start /b conda run -n openwebui_311 open-webui serve
- ps后台:
Start-Process -FilePath "conda.exe" -ArgumentList “run -n openwebui_311 open-webui serve --port 8080”-WindowStyle Hidden
- 验证:
- 访问web:http://localhost:8080,默认已关联ollama serve的http://localhost:11434
- 结束进程:taskkill /IM open-webui.exe /F