strata docker目录重新规划

llama 全栈落地总览

  • 本机 /s500data/docker/llama,v100 /www/llama 同构。
  • 形态:device/4060|780m|v100/ 按设备自包含(.env/yml/ini/key/toml),命名 device/ 不用 host/node:4060 与 780M 同宿主,host 会撞。
  • 根只剩 thin include 入口,无根 .env,裸 up -d 即用。
llama/
├── docker-compose.yml  strata.yml      # 根入口:只含 include(本机→device/780m;v100→device/v100)
├── device/{4060,780m,v100}/            # .env + llama/strata/frpc.yml + frpc.toml + *.ini + api-keys.txt(同步)
├── data/  (models/ models_sata/ strata/ config/→仅剩 smoke.py bench_tg.py README.md)
├── build/ (dockerfiles/ packages/ archives/ seeds/)   └── runtime/ (空壳,state/ 已删)

一、目录规划(三层 + device/)

  • ①build=版本化组件(丢了要下载=真事故):dockerfiles/、packages/(terminal+3 引擎包)、archives/、seeds/(mtp-tensors 4.9G 等难下载资源)、feed。
  • ②data=业务只读(容器内一律 ro):config 共享工具、frpc toml、models/(GGUF 封装态)、models_sata/(v100 热盘)、packs//mtp/(模型编译态,归模型旁)。
  • ③runtime=纯 transient 空壳(state/ 已删:查实零 yml 引用,真 state 活在命名卷 strata-cache/strata-state 里)。

二、容器设计规范

  • /docker-compose.yml:根入口只含 include: ./device/<节点>/<服务>.yml。llama 与 frpc 同 project(根 include 两个场景文件)。
  • /device/xxx/*.yml:场景文件容器内路径保持 /config(../../device:/config:ro)。
  • /device/xxx/.env:实测:无根时场景值进插值,有根时根优先;env_file: 只进容器。变量名前缀矩阵,entrypoint 的 $STRATA_INI 走 service environment: 显式映射。
  • /device/xxx/frpc.yml:去掉 depends_on 独立启动解耦,ghost_net 嵌入式 DNS。

三、模型参数设计规范(ini 矩阵,2026-10-30 实盘)

  • 4060(llama.cpp,卡缺席,静态):35b-mix ×3 + 35b(IsValorum 35B 7.7G 档)/ 4b ×3 + 4b(mradermacher 2.6G)/ 9b ×5(hermes-fc 5.5G)
  • 4060strata 两档——4060-qwen3.8-125b-strata-100K(preset qwen38-125b-strata,family gyro/model gyro-m,port=8081,drafting auto,mtp=off 100K 档关)+ 4060-qwen3.8-763b{,-strata-100K}(preset dsv41-763b-strata,family deepseek41/model IST-DAS-2.25bpw,port 8082,DSpark 草稿,mtp=on)
  • 780m(Vulkan,在服 9b):780m-qwen3.8-{4b,9b}-256K.ini,c=262144,n-gpu-layers=99,flash-attn=off(vk 无 FA),cache-k=q4_0、cache-v=f16(vk 下量化 V 必须 FA,q4_0 非法,f16 约 8G),threads=8/parallel=2,kv-unified=on,ngram 谱解码;参数照抄 4060 同级档。
  • v100(strata 在服):v100-qwen3.8-125b-strata-{100K,256K}.ini(preset v100-qwen38-125b-strata{100k,256k},family gyro/model gyro-m,port 8080,drafting auto,mtp=off——旋钮3 10-28 否决 off,MTP 保留含义见 strata 章);
  • v100llama.cpp 档:27b ×3(cygnal 16G Q4_K_M,常驻内存)+ 125b-mix ×4 + 125b(models_sata 热盘直读 91G GGUF)。

四、模型文件态(四态,位置+尺寸实测)

  • ①GGUF 封装态:gyro 91G(热/冷双位一致)/ 763B 265G(ISTA-DASLab 整仓,v100 不同步)/ 4b 2.6G / 9b 5.5G / 27b 16G / 35b 7.7G。
  • ②seeds 原料态(同步):build/seeds/mtp-tensors 4.9G + manifest 锁 BF16 源。
  • ③pack 编译态(永不同步):命名=模型(目录承载)+preset 策略+引擎版本,设备不进名——v100 packs/gyro-m_strata-0.1.52(32G,热/冷双位,serving 验证)/ 4060 packs/gyro-m-dense_strata-0.1.48-dsv41(1.4G dense-only,无 experts,缺卡未验)。
  • ④mtp 编译态:4060 mtp/(mtp-q2_0.gguf 889M + rt/ + manifests + PROVENANCE,留形);v100 无编译态 mtp(mtp=off,草稿走投机解码)。每份配 PROVENANCE.json(源/sha/引擎/preset/built,未知标 unrecorded)。原料同步、成品分治。

五、strata 技术

  • 引擎包版本化进 build/packages/:strata-engine-0.1.52-*-cuda12(v100 serving,overlay 进 /opt/strata/.../0.1.52-...)/ strata-dsv41-0.1.49.2-*-cuda13(备用 overlay)/ terminal 包。
  • 镜像:v100 用外部 llama-strata:0.1.52-v100;4060 用本地构建 llama-strata:0.1.48-dsv41(13G,由 data/strata/build/Dockerfile 从 build/terminal+components 构建,Dockerfile 即升级通道)。
  • 链路:entrypoint(ini→preset/family/model)→ profile launch-<preset>.json + run config(state 卷 --pack 路径)→ 缺任一项即 Auto-Prepare(小时级;磁盘不足直接 Fatal 退出,不静默起服)→ serve。
  • prepare 策略:v100 全量(experts 物化 30G 换热盘连续读)/ 4060 dense-only(8G 墙)。
  • MTP:compiled mtp-q2_0.gguf(4060 有,v100 off);drafting auto(v100 投机解码正常,tg~50t/s)。

六、vulkan 技术(780M,X11 主显共享带宽,测速注明负载)

  • 镜像 ghcr.io/ggml-org/llama.cpp:server-vulkan(1.22G;:server 实测无 vk 后端,必须 -vulkan tag)。
  • /dev/dri 直挂 + cpus 8/mem 24G。FA 关、V 用 f16(见参数章)。
  • 实测:4b 短问 tg~22t/s,32K 命中(冷 pp~129t/s/249s,KV 命中 13s,load 期容器 19.8G/24G);9b 短问 ~14t/s,32K 命中(冷 pp~91t/s/352s,命中 75s,decode~7t/s,思考吃 token 故 max_tokens=600,容器 RSS 仅 ~250M 因显存驱动侧管理)。100K 全量 prefill >30min(smoke.py 按 CUDA 超时假设不适用),全量 needle 待分段/异步(调参议题非能力问题)。

七、cuda 技术(4060 档,卡缺席,静态)

  • 镜像 ghcr.io/ggml-org/llama.cpp:server-cuda(7G)。
  • llama.yml 沿用 P 期挂载(../../device:/config:ro 已随 device/ 化改好,config 静态过)。rootless 走手写 CDI(nvidia.com/gpu=0)+ nix store 的 nvidia-smi 连同 /run/current-system 只读挂入(strata GPU 探测依赖;缺则 dsv41 档 prepare 直接 Fatal)。
  • strata 4060 侧 volume 走宿主 bind(data/strata/cache:/var/strata + cache/state:/home/strata/.local/state),与 v100 的命名卷不同——两边都是"state 出树",载体不同而已。
  • 卡回来验证项:port 8080/8081 对齐 → 首起 Auto-Prepare(cache/state 为空;launcher 若回落旧 pack 名再改一次)→ pack/mtp bind → 问答。

八、同步矩阵与教训

  • 永不同步:根 *.yml(双侧根入口已分叉)、/.env、runtime/state/**、models*/**、engine/**、packs/**、mtp/**、*.bak、*-api-keys.txt(以上最后两条曾被注释导致 key 进预览,已恢复)。
  • 放行:device/ 全树、config 共享工具、scripts、Dockerfiles、build/packages(含引擎本体)。结构搬家不走 sync(本地改+直传,bisync 只对数)。
  • 血泪:
    • ①裸 read() 扫模型树灌爆内存 OOM(网关被杀),检索走 ripgrep/限 size;
    • ②后台任务 PATH 丢 docker,用绝对路径,推送后对端验内容;
    • ③bind 源缺失 compose 以 root 建空目录(改名+改 yml 同一次 up 生效);
    • ④预览看 DEL 方向;
    • ⑤filter 两个凭据行被注释无人知——改 filter 后跑预览验零动作。

九、待办

  • ①sync 1 预览归零后 EXEC 
  • ②4060 回来:先对 port(8080/8081)再 up,首起 prepare→pack 名→问答
  • ③低速 models/ 剩余整理 
  • ④entrypoint ini 指纹自愈 + images/builder 清理(另议)