排查命令手册
适用场景:已经 SSH 登录进 micro 终端(ghost 身份),要判断 docker 跑在哪个栈、命令入口指向哪一栈、rootless 条件是否具备。按顺序查,前三条就能定性。
步骤一:三判据定性当前栈(三条独立证据,必须互相印证)
# 判据1:daemon 进程属主 —— root=rootful,ghost=rootless
ps -o user,pid,cmd -p $(pgrep -d, dockerd)
# 判据2:socket 路径与属主 —— rootful 在 /run/docker.sock,rootless 在 /run/user/[uid]/docker.sock
ls -l /run/docker.sock /run/user/1001/docker.sock
# 判据3:SecurityOptions 里有没有 rootless 标记
docker info --format '{{.SecurityOptions}} driver={{.Driver}} cgroup={{.CgroupDriver}}'步骤二:确认命令入口(终版是写死的严格双入口,不靠环境变量切换)
alias | grep -E '^(alias )?(d|dc|rd|rdc|reload)=' # 核 5 条:d/dc 带 rootless socket,rd/rdc 带 rootful
d ps ; rd ps # 两者所见不同=隔离成立;相同=有一边没起来
echo "DOCKER_HOST=[${DOCKER_HOST:-空=正常}]" # 终版设计里此变量必须为空,有值=历史残留,删掉
docker context ls # 只有 default 即正常;终版不靠 context 切栈步骤三:rootless 前置条件体检(装 daemon 或建 micro2 之前跑,任一不满足先修)
cat /proc/sys/user/max_user_namespaces # 非 0,否则 rootless 完全禁用
loginctl show-user ghost | grep -i linger # yes,否则用户服务随 SSH 断开被回收
grep ghost /etc/subuid /etc/subgid # 映射段,容器 1001=宿主 166536 的依据
which slirp4netns fuse-overlayfs dockerd-rootless-setuptool.sh
ls -l /dev/fuse # fuse-overlayfs 的前提容器为何起不来(先看 exit code 再看日志)
docker ps -a --format '{{.Names}}|{{.Status}}|{{.Image}}'
docker logs --tail 30 [容器名] # emerg/alert 是启动期硬错nginx 专项:属主与上游(rootless 下属主须是 ghost,不再是 101)
ls -ldn /www/nginx/data/certs /www/nginx/data/logs
docker logs nginx 2>&1 | grep -E 'emerg|alert|cannot load'
docker exec nginx nginx -t # 配置语法自检链路自检:内网直连 nginx,再看经 edge 的整链
curl -sk -o /dev/null -w 'nginx8443=%{http_code}' -H 'Host: trilium.atibm.com' https://127.0.0.1:8443/
for h in trilium git mindwtr webdav nginx; do printf '%s=' $h; curl -sk -o /dev/null -w '%{http_code}' -H "Host: $h.atibm.com" https://127.0.0.1/; donestream 端口是否透传
(exec 3<>/dev/tcp/127.0.0.1/62222) 2>/dev/null && echo '62222=OPEN' || echo '62222=CLOSED'
(exec 3<>/dev/tcp/127.0.0.1/63306) 2>/dev/null && echo '63306=OPEN' || echo '63306=CLOSED'数据一致性三件套(比 curl 更能证明数据在)
ls -lh /www/trilium/data/document.db
du -sh /www/forgejo/data /www/forgejo/data/git/repositories
docker exec git forgejo admin user list # 用户列表能出=库通证书实际内容(绕开浏览器只看服务端)
echo | openssl s_client -connect trilium.atibm.com:443 -servername trilium.atibm.com 2>/dev/null | openssl x509 -noout -subject -ext subjectAltName -enddate出网侧验证(从外部机器跑,带 DNS 解析对照)
for h in trilium git mindwtr webdav nginx; do printf '%-10s ' $h; getent hosts $h.atibm.com | awk '{print $1}'; done服务恢复的固定顺序(顺序错必炸):mariadb(等 25s,DNS 可解)→ trilium / mindwtr / webdav / git → nginx → edge。nginx 的 stream 含 git:2222,上游未起即 emerg。
docker 内存分配优化
方法:不用单次快照定常态,后台 6 轮 × 60 秒采样取均值/峰值/波动,再叠加使用画像(频率 × 峰值 × 重要性)定配额。
| 实例 | 常态均值 | 峰值 | 波动 | 原上限 | 调整后 | 依据 |
| trilium | 153M | 177M | 51M(一路下行) | 256M | 384M | 峰值占比 69% 太贴顶,提到 46% |
| edge | 3M | 4.4M | 上升中 | 无(整机额度) | 64M | 建时漏写 deploy,是最大的爆炸半径 |
| git | 90M | 102M | 16M(GC 后收敛) | 384M | 不动 | 当前闲,项目上来要吃峰值 |
| mariadb | 16M | 20M | 9M | 256M | 不动 | 同上,留天花板给未来峰值 |
| mindwtr | 46M | 52M | 9M | 128M | 不动 | 高频低压,36% 健康 |
| nginx | 15M | 16M | 3M | 64M | 不动 | 全站入口,5 倍余量 |
| webdav | 2.6M | 2.6M | 0 | 64M | 不动 | 备用低频,钉子户 |
- swap 终版:2G swapfile(文件形式,命令见第 4 节)+ vm.swappiness=30;老机的 8G 独立分区与 swappiness 90 是旧路线,已作废。
- 撞车三层缓冲:容器超自身 cap→cgroup 只杀该容器(restart 拉起);整机吃紧→内核换出到 swap(只剩变慢);swap 也满→OOM killer 按 oom_score 杀最大的。2G swap 配 1G 内存已够,不用加 swap。
- 真正的风险不是 cap 数字,是"无上限容器"——edge 建时漏了 deploy 段,拿到整机额度,这才是要封的洞。
- 教训:后端容器重建后 nginx 必 reload 一次(曾 trilium 502,直连后端 302 正常,reload 清掉旧 keepalive 连接即恢复)。
ghost 统一改为 micro 配置(本地+远端批处理)
| 域名 | 解析到 | 结论 |
| micro.atibm.com | micro 机(与远端自报 IP 一致) | micro 侧不受影响 |
| ghost.atibm.com | ARM 机 | 博客用,micro 不再 serve |
| 5 个在用子域名 | micro 机 | 证书 SAN 全覆盖 |
# ---- 远端批处理:扫 SSH 残留,预期零命中 ----
grep -rn 'ghost\.atibm\.com' ~/.ssh/config /etc/ssh/ssh_config.d/ 2>/dev/null
# ---- 本地镜像批处理:防同步复活死站点 ----
# 本地 VPS/ghost 实为 micro 整站镜像,站点块已迁走后要改名而不是删
ls /s500data/docker/VPS/ghost/nginx/data/conf.d/
mv ghost.conf ghost.conf.migrated-to-arm-YYYYMMDD # 保留证据,防下次同步写回活站点
# ---- rclone 侧批处理:filter 排除派生件 ----
# 追加两行到 sync plan 的 filter 文件
echo '- **/certs/' >> <plan>/max2-micro-www_filter.txt
echo '- **/cache/' >> <plan>/max2-micro-www_filter.txt- 铁律:SSH 与 rclone 只用全主机名,禁裸 IP——两机同用户 ghost、同一密钥,敲错域名就等于在另一台生产机上操作。
- 破坏性操作前先对自报 IP(
curl ifconfig.me/hostname)再动手。 - rclone.conf 的
[micro]/[arm]段头注释是第二道防线,改 remote 前先读。 - 同步适配:filter 排除派生件 certs 与 cache;属主已统一 ghost(仅 forgejo 例外 166536 + ghost 读 ACL),按 permission 位同步。
- DNS 虚惊一例:桌面端报 mindwtr 解析到 ARM,权威 NS 查实为 CNAME→micro,属解析链路旧缓存,DNS 不动。
Oracle Linux 性能精简
1C1G 的机器上系统税先吃掉可用内存,精简必须在装任何包之前做完——这是本次最贵的教训。
| 项 | 动作 | 收益/判据 |
| kdump | systemctl disable --now kdump;grubby 摘 crashkernel | 1G 机上 crashkernel 预留可吃掉近半内存 |
| cockpit | disable cockpit.socket | Web 控制台,云小机不用 |
| PackageKit | disable packagekit / packagekit-offline-update | 后台包管理,会自己占内存 |
| atd | disable atd | 定时一次性任务,用不到 |
| journald | SystemMaxUse=100M | 曾涨到 1.3G,小盘扛不住 |
| swap | fallocate 2G swapfile + fstab + swapon | 文件形式,想调只改文件不碰分区 |
| swappiness | vm.swappiness=30 | OL 默认 60 对 1G 机太激进 |
| zswap | lzo + sysctl 持久化 | 压缩换出页,减少真 I/O |
| 大包 | 卸 snap / firefox / 过期内核 | / 余量回到 6.4G |
# 精简先行(秒级,不重启),再碰 dnf
systemctl disable --now kdump cockpit.socket packagekit packagekit-offline-update atd
grubby --update-kernel=ALL --remove-args=crashkernel # 当次只落盘,下次重启生效,不为它多加一次重启
mkdir -p /etc/systemd/journald.conf.d
printf '[Journal]\nSystemMaxUse=100M\n' > /etc/systemd/journald.conf.d/size.conf
systemctl restart systemd-journald
fallocate -l 2G /swapfile && chmod 600 /swapfile && mkswap /swapfile
echo '/swapfile none swap sw 0 0' >> /etc/fstab && swapon /swapfile
printf 'vm.swappiness=30\n' > /etc/sysctl.d/99-micro.conf && sysctl -p /etc/sysctl.d/99-micro.conf
# 验:available 必须回到 600M 量级再开始装 docker
free -m ; swapon --show ; systemctl is-enabled kdump cockpit.socket- 顺序铁律:1G 机先建 swap、关 kdump/packagekit/cockpit/atd,再碰 dnf。反了就是死:dnf 的几百 MB rpm 事务会把内存吃干,引发 direct reclaim 转不动,表现为 sshd 连 TCP 都通但永远不发 banner(本次实测踩了,见第 8 节)。
- 包管理与网络操作一律套
timeout,fail-fast,不许无声僵一小时。 - 新实例档案:OL9.8 / 内核 6.12 UEK / 内存 1G + zswap(lzo);docker 29.9.2(dnf guardrail 安装,rootful + rootless 成对);daemon.json 限日志 10m×3 + live-restore。
docker 迁移和恢复
旧 micro (OL7/kernel 3.10) ARM (OL9, 81G 空闲) 新 micro (OL9.8)
| | |
|-- rclone 全量 /www --------------------> | 暂存 /micro-backup |
|-- 停机热打包 mariadb+trilium ----------> | (容器 root 绕过 600 权限) |
| |-- rsync 内网直传 -------------> | /www
| | |-- 解热包
| 保留 IP 改绑(unassign -> assign)---------------------------------------> | 全链路验证- rclone 老机→ARM 全量 55G / 2.5h,全程 zram + ondemand + nice 三件套压内存战;privkey 等 600-root 文件读不出,记 R1-code23(不是失败,是预期跳过)。
- 第二轮补漏:ARM→新机恢复后发现漏了 data/certs、certbot、conf.d、nginx.conf、addon、document.db——恢复后必须逐目录比对,不能只看总体积。
- 停机热包:数据库和文档库必须停容器后打包,靠
docker run --rm -v ... busybox tar以容器内 root 身份绕开宿主 600 权限;打完立刻 start 回去。 - docker 安装(终版):dnf guardrail(精简 repo + 主配置限流 + avail≥350M)直装 29.9.2 全栈,docker-ce 与 docker-ce-rootless-extras 同版本成对;离线 rpm 与「去 extras」是 R 阶段旧路线,已作废。
- 证书与日志属主(终版 rootless):certs/logs 全部 chown ghost + nginx 以容器 root(user 0:0)跑、注释 nginx.conf 内 user nginx;101 属主是 rootful 时代的旧路线,已作废。迁移传 privkey 仍靠「老机容器 root 读 → 管道进新机」(600-root 宿主读不动)。
- 迁移验收三件套(比 curl 更硬):document.db 大小、forgejo data 总大小、forgejo 用户列表——新旧机三个数对上才算成功。本次实测 trilium 411.5M 分毫不差,forgejo 3.0G / repositories 252M,mariadb 三库都在。
- 保留 IP 切换:控制台 unassign + assign 两步搬到新机,DNS 一条不用改;API
public-ip update报 404,IAM 已是 Admin 不是权限问题。 - 终验:外网 5 域名 200/302/401/404/200 + stream 双 OPEN,证书 SAN 覆盖 5 子域、有效期到 2027-01-30。
恢复完成后的验收命令(进 SSH 直接跑):
# 链路自检:内网直连 nginx,再看经 edge 的整链
curl -sk -o /dev/null -w 'nginx8443=%{http_code}\n' -H 'Host: trilium.atibm.com' https://127.0.0.1:8443/
for h in trilium git mindwtr webdav nginx; do printf '%s=' $h; curl -sk -o /dev/null -w '%{http_code}\n' -H "Host: $h.atibm.com" https://127.0.0.1/; done
# stream 端口透传
(exec 3<>/dev/tcp/127.0.0.1/62222) 2>/dev/null && echo '62222=OPEN' || echo '62222=CLOSED'
(exec 3<>/dev/tcp/127.0.0.1/63306) 2>/dev/null && echo '63306=OPEN' || echo '63306=CLOSED'
# 数据一致性三件套(比 curl 更能证明数据在)
ls -lh /www/trilium/data/document.db
du -sh /www/forgejo/data /www/forgejo/data/git/repositories
docker exec git forgejo admin user list
# 证书实际内容(绕开浏览器只看服务端)
echo | openssl s_client -connect trilium.atibm.com:443 -servername trilium.atibm.com 2>/dev/null \
| openssl x509 -noout -subject -ext subjectAltName -enddate
# 服务恢复的固定顺序(顺序错必炸)
mariadb --(等 25s,DNS 可解)--> trilium / mindwtr / webdav / git --> nginx --> edgedocker rootful 和 rootless 分离
终态:严格双入口,无 fallback。rootless 未装时 d 直接报错,不许偷看 rootful;d 与 rd 所见不同即隔离成立。
命令入口(写死,不切换):
d / dc ----> rootless(unix:///run/user/1001/docker.sock,socket 不存在就报错)
rd / rdc ----> rootful(unix:///run/docker.sock)
reload ----> docker exec nginx nginx -s reload(跟随默认栈)# ~/.bashrc(四行 alias,无 if、无 DOCKER_HOST、无 context;改完 bash -n 自检)
alias d='docker --host unix:///run/user/1001/docker.sock'
alias dc='docker --host unix:///run/user/1001/docker.sock compose'
alias rd='docker --host unix:///run/docker.sock'
alias rdc='docker --host unix:///run/docker.sock compose'
alias reload='docker exec nginx nginx -s reload'铁律:daemon 与 docker-ce-rootless-extras 主版本必须一致(现 29.9.2 + 29.9.2)。单升一侧必现 proxy 断裂(26 daemon + 29 extras 实测起不来;上游 moby#48132 之后 daemon 自 bind socket,不再需要该二进制)。判据:strings dockerd 有 rootlesskit-docker-proxy 命中=旧 daemon;rpm -ql extras 无 proxy=新 extras;两者撞上即断裂。
- 前置总闸:user.max_user_namespaces 非 0(/etc/sysctl.d/99-rootless.conf 持久化)+ loginctl enable-linger ghost 保活;再给 user@[uid] 写 Delegate=yes drop-in(否则带 cpus: 的容器报 NanoCPUs can not be set,重启后对新 cgroup 生效)。
- 坑:非交互 shell 无 alias,dc config 会调到 GNU 计算器;验证一律 d compose config。
- 坑:heredoc 定界符不加引号,变量本地提前展开,.bashrc 与 hook 各坏一次;一律 <<"PYEOF"。
- 关栈连 socket 一起关:disable --now docker 只关 service,docker.socket 还会拉起它。
各 docker 实例 rootless 改造并运行
终态:rootless 29.9.2 六容器全 Up(edge 留守 rootful),外网 5 域名 302/200/404/401/200,stream 62222/63306 双 OPEN。
公网 80/443
--> [edge: socat 转发](rootful 留守,rootless 绑不了特权端口)
--> [nginx-unprivileged:8080/8443](rootless,以容器 root=宿主 ghost 跑)
--> 同栈 backend:mindwtr / trilium / git / webdav(rootless ghost_net 内互联,另重建)
stream 直通:62222 --> git 2222,63306 --> mariadb 3306(rootless 发布 >1024 端口无碍)| 容器 | 栈 | 用户映射 | 状态 |
| edge | rootful | root | Up(80→301,443→200) |
| nginx | rootless | 0:0=宿主 ghost | Up |
| mariadb / trilium / mindwtr / webdav | rootless | 默认 root=宿主 ghost | Up(mindwtr healthy) |
| git(forgejo) | rootless | 1001:1001=宿主 166536 | Up(禁 root,只能走 subuid) |
属主三模型(容器 root=宿主 ghost;容器 1001=宿主 166536;只列改了的,不动的不列):
| 目录 | 改法 |
| mariadb/data | 宿主顶层 ghost 即可,entrypoint 首次启动会把内部收回 mysql(宿主 166534),运行时不管;备份靠 ghost 读 ACL(setfacl -R + 目录 default ACL,data/mariadb/ibdata1 能 head 出即达标(注意真 datadir 在下层 mariadb/ 子目录));维护走 socket + init.sql 密码连 root@localhost(TCP 只对 % 账号有效;无密码/unix_socket 在此库上不通;init.sql 保持 600) |
| trilium sessions / mindwtr json | chown ghost(mode 不动,600 仍 600) |
| forgejo/data | chown -R 166536 + ghost 读 ACL(setfacl -R + 目录 default ACL,新建文件自动继承;getfacl 抽查最严文件可读即备份无忧) |
| nginx certs/logs | chown -R ghost + compose user 0:0 + 注释 nginx.conf 内 user nginx(否则 worker 降到 101=宿主 165636 写不了日志) |
- 拉起顺序:mariadb → backend → nginx → edge;nginx 的 stream 含 git:2222,上游未起即
[emerg] host not found in upstream死循环。 - rootless 镜像要重拉一套(data-root 独立,~/.local/share/docker,之前全在 rootful 那边);逐个拉逐个起,不并行(1G 顶不住)。
- forgejo 禁 root(
not supposed to be run as root,v15 后门变量无效),是全栈唯一必须 subuid 的。 - 证书走"专递目录":certbot deploy-hook 把 live 证书复制到 nginx 只读挂载的副本目录;rootless 下副本属主须是 ghost(容器 root 可读)。
踩坑与遗留
- heredoc 定界符未加引号,变量提前展开,.bashrc 与 hook 各坏一次。
- mariadb:lts 镜像无 mysqladmin,readiness 死循环烧满 4 分钟;新镜像先验工具链再写检查。
- 跨会话撞车:relay 单向、desktop 看不见,desktop 冻结全站是对的;跨会话操作必须双向 polling + 人桥一句话。
pkill -f自杀:模式串匹配自身命令行两次;改扫/proc排除自身 pid。- 写脚本别用 terminal heredoc 拼 sudo(被 hardline 拦),落文件再跑。
- daemon 与 extras 单升一侧必断裂(proxy):成对升级,判据见第 6 节铁律。
- NanoCPUs:断在 user@UID 层,docker.service 的 Delegate 不够;drop-in + 重启,controllers 见 cpu 为准。
- forgejo 禁 root 是硬禁:subuid + ghost 读 ACL,不要动备份链路。
- 临时传输钥必须三处清零:本地 scratch、ARM authorized_keys 行、目标机 authorized_keys 行;
grep -c归零才算干净,只留主钥(行数=1)。
sshd 僵死事件(未定根):
- 症状 ×3:22 端口 TCP 通但 sshd 主进程不发 banner(旧会话续活、新连全挂);443/docker/网站全程正常。
- 排除:无 OOM 痕迹、无 dnf 执行记录(三次空跑,包从未装上)、与 rootless 无关(daemon 根本没装)。
- 处置:SOFTRESET 卡 STOPPING 十几分钟 → STOP/START 硬循环恢复;每次只管十几分钟到半小时。
- 教训:journal 默认 volatile(
/var/log/journal不存在),-b -1取不到上个 boot 日志;已建目录持久化(重启后生效)。 - 串口是唯一活路:API 建 instance-console-connection(只吃 RSA key,ed25519 被拒),console-ssh 报 Permission denied;最终手机 Cloud Shell 串口 + 粘贴密码进盒子。
收尾待办: