llama 全栈落地总览
- 本机
/s500data/docker/llama,v100 /www/llama 同构。 - 形态:
device/4060|780m|v100/ 按设备自包含(.env/yml/ini/key/toml),命名 device/ 不用 host/node:4060 与 780M 同宿主,host 会撞。 - 根只剩 thin include 入口,无根 .env,裸
up -d 即用。
llama/
├── docker-compose.yml strata.yml # 根入口:只含 include(本机→device/780m;v100→device/v100)
├── device/{4060,780m,v100}/ # .env + llama/strata/frpc.yml + frpc.toml + *.ini + api-keys.txt(同步)
├── data/ (models/ models_sata/ strata/ config/→仅剩 smoke.py bench_tg.py README.md)
├── build/ (dockerfiles/ packages/ archives/ seeds/) └── runtime/ (空壳,state/ 已删)
一、目录规划(三层 + device/)
- ①build=版本化组件(丢了要下载=真事故):dockerfiles/、packages/(terminal+3 引擎包)、archives/、seeds/(mtp-tensors 4.9G 等难下载资源)、feed。
- ②data=业务只读(容器内一律 ro):config 共享工具、frpc toml、models/(GGUF 封装态)、models_sata/(v100 热盘)、packs//mtp/(模型编译态,归模型旁)。
- ③runtime=纯 transient 空壳(
state/ 已删:查实零 yml 引用,真 state 活在命名卷 strata-cache/strata-state 里)。
二、容器设计规范
- /docker-compose.yml:根入口只含
include: ./device/<节点>/<服务>.yml。llama 与 frpc 同 project(根 include 两个场景文件)。 - /device/xxx/*.yml:场景文件容器内路径保持
/config(../../device:/config:ro)。 - /device/xxx/.env:实测:无根时场景值进插值,有根时根优先;
env_file: 只进容器。变量名前缀矩阵,entrypoint 的 $STRATA_INI 走 service environment: 显式映射。 - /device/xxx/frpc.yml:去掉
depends_on 独立启动解耦,ghost_net 嵌入式 DNS。
三、模型参数设计规范(ini 矩阵,2026-10-30 实盘)
- 4060(llama.cpp,卡缺席,静态):35b-mix ×3 + 35b(IsValorum 35B 7.7G 档)/ 4b ×3 + 4b(mradermacher 2.6G)/ 9b ×5(hermes-fc 5.5G)
- 4060strata 两档——
4060-qwen3.8-125b-strata-100K(preset qwen38-125b-strata,family gyro/model gyro-m,port=8081,drafting auto,mtp=off 100K 档关)+ 4060-qwen3.8-763b{,-strata-100K}(preset dsv41-763b-strata,family deepseek41/model IST-DAS-2.25bpw,port 8082,DSpark 草稿,mtp=on) - 780m(Vulkan,在服 9b):
780m-qwen3.8-{4b,9b}-256K.ini,c=262144,n-gpu-layers=99,flash-attn=off(vk 无 FA),cache-k=q4_0、cache-v=f16(vk 下量化 V 必须 FA,q4_0 非法,f16 约 8G),threads=8/parallel=2,kv-unified=on,ngram 谱解码;参数照抄 4060 同级档。 - v100(strata 在服):
v100-qwen3.8-125b-strata-{100K,256K}.ini(preset v100-qwen38-125b-strata{100k,256k},family gyro/model gyro-m,port 8080,drafting auto,mtp=off——旋钮3 10-28 否决 off,MTP 保留含义见 strata 章); - v100llama.cpp 档:27b ×3(cygnal 16G Q4_K_M,常驻内存)+ 125b-mix ×4 + 125b(models_sata 热盘直读 91G GGUF)。
四、模型文件态(四态,位置+尺寸实测)
- ①GGUF 封装态:gyro 91G(热/冷双位一致)/ 763B 265G(ISTA-DASLab 整仓,v100 不同步)/ 4b 2.6G / 9b 5.5G / 27b 16G / 35b 7.7G。
- ②seeds 原料态(同步):
build/seeds/mtp-tensors 4.9G + manifest 锁 BF16 源。 - ③pack 编译态(永不同步):命名=模型(目录承载)+preset 策略+引擎版本,设备不进名——v100
packs/gyro-m_strata-0.1.52(32G,热/冷双位,serving 验证)/ 4060 packs/gyro-m-dense_strata-0.1.48-dsv41(1.4G dense-only,无 experts,缺卡未验)。 - ④mtp 编译态:4060
mtp/(mtp-q2_0.gguf 889M + rt/ + manifests + PROVENANCE,留形);v100 无编译态 mtp(mtp=off,草稿走投机解码)。每份配 PROVENANCE.json(源/sha/引擎/preset/built,未知标 unrecorded)。原料同步、成品分治。
五、strata 技术
- 引擎包版本化进
build/packages/:strata-engine-0.1.52-*-cuda12(v100 serving,overlay 进 /opt/strata/.../0.1.52-...)/ strata-dsv41-0.1.49.2-*-cuda13(备用 overlay)/ terminal 包。 - 镜像:v100 用外部
llama-strata:0.1.52-v100;4060 用本地构建 llama-strata:0.1.48-dsv41(13G,由 data/strata/build/Dockerfile 从 build/terminal+components 构建,Dockerfile 即升级通道)。 - 链路:entrypoint(ini→preset/family/model)→ profile
launch-<preset>.json + run config(state 卷 --pack 路径)→ 缺任一项即 Auto-Prepare(小时级;磁盘不足直接 Fatal 退出,不静默起服)→ serve。 - prepare 策略:v100 全量(experts 物化 30G 换热盘连续读)/ 4060 dense-only(8G 墙)。
- MTP:compiled mtp-q2_0.gguf(4060 有,v100 off);drafting auto(v100 投机解码正常,tg~50t/s)。
六、vulkan 技术(780M,X11 主显共享带宽,测速注明负载)
- 镜像
ghcr.io/ggml-org/llama.cpp:server-vulkan(1.22G;:server 实测无 vk 后端,必须 -vulkan tag)。 /dev/dri 直挂 + cpus 8/mem 24G。FA 关、V 用 f16(见参数章)。- 实测:4b 短问 tg~22t/s,32K 命中(冷 pp~129t/s/249s,KV 命中 13s,load 期容器 19.8G/24G);9b 短问 ~14t/s,32K 命中(冷 pp~91t/s/352s,命中 75s,decode~7t/s,思考吃 token 故 max_tokens=600,容器 RSS 仅 ~250M 因显存驱动侧管理)。100K 全量 prefill >30min(smoke.py 按 CUDA 超时假设不适用),全量 needle 待分段/异步(调参议题非能力问题)。
七、cuda 技术(4060 档,卡缺席,静态)
- 镜像
ghcr.io/ggml-org/llama.cpp:server-cuda(7G)。 - llama.yml 沿用 P 期挂载(
../../device:/config:ro 已随 device/ 化改好,config 静态过)。rootless 走手写 CDI(nvidia.com/gpu=0)+ nix store 的 nvidia-smi 连同 /run/current-system 只读挂入(strata GPU 探测依赖;缺则 dsv41 档 prepare 直接 Fatal)。 - strata 4060 侧 volume 走宿主 bind(
data/strata/cache:/var/strata + cache/state:/home/strata/.local/state),与 v100 的命名卷不同——两边都是"state 出树",载体不同而已。 - 卡回来验证项:port 8080/8081 对齐 → 首起 Auto-Prepare(cache/state 为空;launcher 若回落旧 pack 名再改一次)→ pack/mtp bind → 问答。
八、同步矩阵与教训
- 永不同步:根
*.yml(双侧根入口已分叉)、/.env、runtime/state/**、models*/**、engine/**、packs/**、mtp/**、*.bak、*-api-keys.txt(以上最后两条曾被注释导致 key 进预览,已恢复)。 - 放行:
device/ 全树、config 共享工具、scripts、Dockerfiles、build/packages(含引擎本体)。结构搬家不走 sync(本地改+直传,bisync 只对数)。 - 血泪:
- ①裸
read() 扫模型树灌爆内存 OOM(网关被杀),检索走 ripgrep/限 size; - ②后台任务 PATH 丢 docker,用绝对路径,推送后对端验内容;
- ③bind 源缺失 compose 以 root 建空目录(改名+改 yml 同一次 up 生效);
- ④预览看 DEL 方向;
- ⑤filter 两个凭据行被注释无人知——改 filter 后跑预览验零动作。
九、待办
- ①sync 1 预览归零后 EXEC
- ②4060 回来:先对 port(8080/8081)再 up,首起 prepare→pack 名→问答
- ③低速 models/ 剩余整理
- ④entrypoint ini 指纹自愈 + images/builder 清理(另议)