vLLM

  • 拉取仓库
    • 排除大文件拉取 GIT_LFS_SKIP_SMUDGE=1 git clone git@hf.co:deepseek-ai/DeepSeek-R1-Distill-Llama-8B
      • 仓库添加ssh权限
        • 本地生成密钥 ssh-keygen -t ed25519 -C 'email@x.com' -f ~/.ssh/file_name
        • 本地挂载密钥 ssh-add ~/.ssh/file_name
        • 远端添加公钥 cat ~/.ssh/file_name
        • 增加域名信息 vi ~/.ssh/config 
          # hf.co配置
             Host hf.co
             HostName hf.co
             IdentityFile ~/.ssh/file_name
        • 本地验证  ssh -T git@hf.co
        • 本地增加指 vi ~/.ssh/known_hosts （官方ssh帮助文件）
    • 支持lfs大文件 git lfs install
    • 拉去lfs大文件 git lfs pull（我是从网页单下的大文件）
  • 安装：pip install vLLM
  • 本地运行：vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager