llama.cpp部署 - win

日常命令

日常config.ini

部署：A/N双卡编译

  • 基础编译工具（MSVC+CMake+Git）

    # 组件下载目录
cd D:\softWin\ProgramFiles_AI\llama\envinstall

# 1. 下载并安装 Git (静默模式)
curl.exe -L -o git_setup.exe "https://github.com/git-for-windows/git/releases/download/v2.44.0.windows.1/Git-2.44.0-64-bit.exe"
.\git_setup.exe /VERYSILENT /NORESTART

# 2. 下载并安装 CMake (添加到系统 PATH)
curl.exe -L -o cmake_setup.msi "https://github.com/Kitware/CMake/releases/download/v3.29.2/cmake-3.29.2-windows-x86_64.msi"
msiexec.exe /i cmake_setup.msi /quiet /qn /norestart

# 3. 下载 Visual Studio 2022 Build Tools 并安装 C++ 核心组件
curl.exe -L -o vs_bt.exe "https://aka.ms/vs/17/release/vs_buildtools.exe"
.\vs_bt.exe --quiet --wait --norestart --nocache `
    --add Microsoft.VisualStudio.Workload.VCTools `
    --add Microsoft.VisualStudio.Component.VC.Tools.x86.x64 `
    --add Microsoft.VisualStudio.Component.Windows11SDK.22621

# 验证
cl  # 应输出MSVC版本
cmake --version  # ≥3.25
git --version

  • NVIDIA CUDA Toolkit

    cd D:\softWin\ProgramFiles_AI\llama\envinstall

# 下载 CUDA 12.4 (最新版本示例)
curl.exe -L -o cuda_setup.exe "https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda_12.4.1_551.78_windows.exe"

# 静默安装所有组件 (包括驱动和编译器)
.\cuda_setup.exe -s

  • AMD ROCm/HIP SDK

    cd D:\softWin\ProgramFiles_AI\llama\envinstall

# 下载 ROCm/HIP SDK for Windows
curl.exe -L -o hip_sdk.exe "https://download.amd.com/developer/rocm/installers/hip_sdk_6.0.2.exe"

# 静默安装
.\hip_sdk.exe /S /v /qn

  • 安装llama.cpp

    cd D:\softWin\ProgramFiles_AI\llama
# 拉取源码
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
# 编译nvidia版本
mkdir build_cuda; cd build_cuda
# 显式指定使用 CUDA 后端
cmake .. -G "Ninja" -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=70 # 70 对应 V100 架构性能最佳
cmake --build . --config Release
cd ..
# 编译amd版本
mkdir build_hip; cd build_hip
# 需确保 $env:HIP_PATH 已正确指向安装路径
$env:CMAKE_PREFIX_PATH = "C:\Program Files\AMD\ROCm\6.0" 
cmake .. -G "Ninja" -DGGML_HIPBLAS=ON -DCMAKE_C_COMPILER=clang -DCMAKE_CXX_COMPILER=clang++
cmake --build . --config Release
cd ..