Ollama

  • ollama： https://github.com/ollama/ollama
    • 官网：https://ollama.ai/
    • 特点：llama官方文档称其为最简单的方式, 图标非常可爱。支持Window，Mac，Linux； 支持AMD显卡；支持视觉模型；REST API
    • 推荐的模型：llama，qwen1.5
  • 安装ollama
    • 下载解压zip https://github.com/ollama/ollama/releases 
    • 配置环境变量
      • 执行路径 OLLAMA_HOME = D:\softWin\ProgramFiles_AI\ollama-windows-amd64-v0.5.7
      • 模型路径 OLLAMA_MODELS = D:\softWin\ProgramFiles_AI\ollama-models
      • 定义端口 OLLAMA_HOST = 8001  默认 http://localhost:11434
      • 跨域配置 OLLAMA_ORIGINS = *
    • 验证：ollama -v
  • 启动服务
    • 启动 ollama serve
    • ps后台：Start-Process -FilePath "ollama" -ArgumentList "serve" -WindowStyle Hidden
    • 停止 ollama stop
    • 查看进程：tasklist | findstr /I “open-webui ollama”
    • 结束进程：taskkill /IM ollama.exe /F
  • 挂载模型
    • 查看模型：ollama list
    • 运行：ollama run deepseek-r1:8b
    • 停止：ollama stop deepseek-r1:8b
  • 启动可视化
    • 配置python环境
      • 开启conda终端
      • 创建环境：conda create -n openwebui_311 python=3.11
      • 激活环境：conda activate openwebui_311
    • 安装web：pip install --upgrade open-webui
      • 本地版本：pip show open-webui
      • 仓库版本：pip index versions open-webui
      • 官方版本：(Invoke-RestMethod -Uri "https://pypi.org/pypi/open-webui/json").info.version
      • 官方更新：pip install --upgrade --no-cache-dir -i https://pypi.org/simple open-webui
    • 启动web
      • 直接启动：open-webui serve
      • cmd后台：start /b conda run -n openwebui_311 open-webui serve
      • ps后台：Start-Process -FilePath "conda.exe" -ArgumentList “run -n openwebui_311 open-webui serve --port 8080”-WindowStyle Hidden
      • 验证：
      • 访问web：http://localhost:8080，默认已关联ollama serve的http://localhost:11434
      • 结束进程：taskkill /IM open-webui.exe /F
  • 卸载清理
    • 结束进程：taskkill /IM open-webui.exe /F;tasklist | findstr python
    • 关闭服务：taskkill /IM ollama.exe /F
    • 清理环境：conda env list;conda remove -n openwebui_311 --all;conda env list
    • 删除环境变量：OLLAMA_*以及Path里的相关行
    • 物理删除
      • 程序目录：ProgramFiles_AI\ollama-windows-amd64-v0.5.7
      • 模型目录：ProgramFiles_AI\ollama-models
      • Open WebUI目录：C:\Users\<你的用户名>\.open-webui
      • 配置文件：C:\Users\<你的用户名>\.ollama