oracle vps治理和重建

排查命令手册

适用场景:已经 SSH 登录进 micro 终端(ghost 身份),要判断 docker 跑在哪个栈、命令入口指向哪一栈、rootless 条件是否具备。按顺序查,前三条就能定性。

步骤一:三判据定性当前栈(三条独立证据,必须互相印证)
# 判据1:daemon 进程属主 —— root=rootful,ghost=rootless
ps -o user,pid,cmd -p $(pgrep -d, dockerd)
# 判据2:socket 路径与属主 —— rootful 在 /run/docker.sock,rootless 在 /run/user/[uid]/docker.sock
ls -l /run/docker.sock /run/user/1001/docker.sock
# 判据3:SecurityOptions 里有没有 rootless 标记
docker info --format '{{.SecurityOptions}} driver={{.Driver}} cgroup={{.CgroupDriver}}'
步骤二:确认命令入口(终版是写死的严格双入口,不靠环境变量切换)
alias | grep -E '^(alias )?(d|dc|rd|rdc|reload)=' # 核 5 条:d/dc 带 rootless socket,rd/rdc 带 rootful
d ps ; rd ps # 两者所见不同=隔离成立;相同=有一边没起来
echo "DOCKER_HOST=[${DOCKER_HOST:-空=正常}]" # 终版设计里此变量必须为空,有值=历史残留,删掉
docker context ls # 只有 default 即正常;终版不靠 context 切栈
步骤三:rootless 前置条件体检(装 daemon 或建 micro2 之前跑,任一不满足先修)
cat /proc/sys/user/max_user_namespaces # 非 0,否则 rootless 完全禁用
loginctl show-user ghost | grep -i linger # yes,否则用户服务随 SSH 断开被回收
grep ghost /etc/subuid /etc/subgid # 映射段,容器 1001=宿主 166536 的依据
which slirp4netns fuse-overlayfs dockerd-rootless-setuptool.sh
ls -l /dev/fuse # fuse-overlayfs 的前提
容器为何起不来(先看 exit code 再看日志)
docker ps -a --format '{{.Names}}|{{.Status}}|{{.Image}}'
docker logs --tail 30 [容器名] # emerg/alert 是启动期硬错
nginx 专项:属主与上游(rootless 下属主须是 ghost,不再是 101)
ls -ldn /www/nginx/data/certs /www/nginx/data/logs
docker logs nginx 2>&1 | grep -E 'emerg|alert|cannot load'
docker exec nginx nginx -t # 配置语法自检
链路自检:内网直连 nginx,再看经 edge 的整链
curl -sk -o /dev/null -w 'nginx8443=%{http_code}' -H 'Host: trilium.atibm.com' https://127.0.0.1:8443/
for h in trilium git mindwtr webdav nginx; do printf '%s=' $h; curl -sk -o /dev/null -w '%{http_code}' -H "Host: $h.atibm.com" https://127.0.0.1/; done
stream 端口是否透传
(exec 3<>/dev/tcp/127.0.0.1/62222) 2>/dev/null && echo '62222=OPEN' || echo '62222=CLOSED'
(exec 3<>/dev/tcp/127.0.0.1/63306) 2>/dev/null && echo '63306=OPEN' || echo '63306=CLOSED'
数据一致性三件套(比 curl 更能证明数据在)
ls -lh /www/trilium/data/document.db
du -sh /www/forgejo/data /www/forgejo/data/git/repositories
docker exec git forgejo admin user list # 用户列表能出=库通
证书实际内容(绕开浏览器只看服务端)
echo | openssl s_client -connect trilium.atibm.com:443 -servername trilium.atibm.com 2>/dev/null | openssl x509 -noout -subject -ext subjectAltName -enddate
出网侧验证(从外部机器跑,带 DNS 解析对照)
for h in trilium git mindwtr webdav nginx; do printf '%-10s ' $h; getent hosts $h.atibm.com | awk '{print $1}'; done

服务恢复的固定顺序(顺序错必炸):mariadb(等 25s,DNS 可解)→ trilium / mindwtr / webdav / git → nginx → edge。nginx 的 stream 含 git:2222,上游未起即 emerg。

docker 内存分配优化

方法:不用单次快照定常态,后台 6 轮 × 60 秒采样取均值/峰值/波动,再叠加使用画像(频率 × 峰值 × 重要性)定配额。

实例常态均值峰值波动原上限调整后依据
trilium153M177M51M(一路下行)256M384M峰值占比 69% 太贴顶,提到 46%
edge3M4.4M上升中无(整机额度)64M建时漏写 deploy,是最大的爆炸半径
git90M102M16M(GC 后收敛)384M不动当前闲,项目上来要吃峰值
mariadb16M20M9M256M不动同上,留天花板给未来峰值
mindwtr46M52M9M128M不动高频低压,36% 健康
nginx15M16M3M64M不动全站入口,5 倍余量
webdav2.6M2.6M064M不动备用低频,钉子户
  • swap 终版:2G swapfile(文件形式,命令见第 4 节)+ vm.swappiness=30;老机的 8G 独立分区与 swappiness 90 是旧路线,已作废。
  • 撞车三层缓冲:容器超自身 cap→cgroup 只杀该容器(restart 拉起);整机吃紧→内核换出到 swap(只剩变慢);swap 也满→OOM killer 按 oom_score 杀最大的。2G swap 配 1G 内存已够,不用加 swap。
  • 真正的风险不是 cap 数字,是"无上限容器"——edge 建时漏了 deploy 段,拿到整机额度,这才是要封的洞。
  • 教训:后端容器重建后 nginx 必 reload 一次(曾 trilium 502,直连后端 302 正常,reload 清掉旧 keepalive 连接即恢复)。

ghost 统一改为 micro 配置(本地+远端批处理)

域名解析到结论
micro.atibm.commicro 机(与远端自报 IP 一致)micro 侧不受影响
ghost.atibm.comARM 机博客用,micro 不再 serve
5 个在用子域名micro 机证书 SAN 全覆盖
# ---- 远端批处理:扫 SSH 残留,预期零命中 ----
grep -rn 'ghost\.atibm\.com' ~/.ssh/config /etc/ssh/ssh_config.d/ 2>/dev/null

# ---- 本地镜像批处理:防同步复活死站点 ----
# 本地 VPS/ghost 实为 micro 整站镜像,站点块已迁走后要改名而不是删
ls /s500data/docker/VPS/ghost/nginx/data/conf.d/
mv ghost.conf ghost.conf.migrated-to-arm-YYYYMMDD # 保留证据,防下次同步写回活站点

# ---- rclone 侧批处理:filter 排除派生件 ----
# 追加两行到 sync plan 的 filter 文件
echo '- **/certs/' >> <plan>/max2-micro-www_filter.txt
echo '- **/cache/' >> <plan>/max2-micro-www_filter.txt
  • 铁律:SSH 与 rclone 只用全主机名,禁裸 IP——两机同用户 ghost、同一密钥,敲错域名就等于在另一台生产机上操作。
  • 破坏性操作前先对自报 IP(curl ifconfig.me / hostname)再动手。
  • rclone.conf 的 [micro] / [arm] 段头注释是第二道防线,改 remote 前先读。
  • 同步适配:filter 排除派生件 certs 与 cache;属主已统一 ghost(仅 forgejo 例外 166536 + ghost 读 ACL),按 permission 位同步。
  • DNS 虚惊一例:桌面端报 mindwtr 解析到 ARM,权威 NS 查实为 CNAME→micro,属解析链路旧缓存,DNS 不动。

Oracle Linux 性能精简

1C1G 的机器上系统税先吃掉可用内存,精简必须在装任何包之前做完——这是本次最贵的教训。

项动作收益/判据
kdumpsystemctl disable --now kdump;grubby 摘 crashkernel1G 机上 crashkernel 预留可吃掉近半内存
cockpitdisable cockpit.socketWeb 控制台,云小机不用
PackageKitdisable packagekit / packagekit-offline-update后台包管理,会自己占内存
atddisable atd定时一次性任务,用不到
journaldSystemMaxUse=100M曾涨到 1.3G,小盘扛不住
swapfallocate 2G swapfile + fstab + swapon文件形式,想调只改文件不碰分区
swappinessvm.swappiness=30OL 默认 60 对 1G 机太激进
zswaplzo + sysctl 持久化压缩换出页,减少真 I/O
大包卸 snap / firefox / 过期内核/ 余量回到 6.4G
# 精简先行(秒级,不重启),再碰 dnf
systemctl disable --now kdump cockpit.socket packagekit packagekit-offline-update atd
grubby --update-kernel=ALL --remove-args=crashkernel # 当次只落盘,下次重启生效,不为它多加一次重启
mkdir -p /etc/systemd/journald.conf.d
printf '[Journal]\nSystemMaxUse=100M\n' > /etc/systemd/journald.conf.d/size.conf
systemctl restart systemd-journald

fallocate -l 2G /swapfile && chmod 600 /swapfile && mkswap /swapfile
echo '/swapfile none swap sw 0 0' >> /etc/fstab && swapon /swapfile
printf 'vm.swappiness=30\n' > /etc/sysctl.d/99-micro.conf && sysctl -p /etc/sysctl.d/99-micro.conf

# 验:available 必须回到 600M 量级再开始装 docker
free -m ; swapon --show ; systemctl is-enabled kdump cockpit.socket
  • 顺序铁律:1G 机先建 swap、关 kdump/packagekit/cockpit/atd,再碰 dnf。反了就是死:dnf 的几百 MB rpm 事务会把内存吃干,引发 direct reclaim 转不动,表现为 sshd 连 TCP 都通但永远不发 banner(本次实测踩了,见第 8 节)。
  • 包管理与网络操作一律套 timeout,fail-fast,不许无声僵一小时。
  • 新实例档案:OL9.8 / 内核 6.12 UEK / 内存 1G + zswap(lzo);docker 29.9.2(dnf guardrail 安装,rootful + rootless 成对);daemon.json 限日志 10m×3 + live-restore。

docker 迁移和恢复

旧 micro (OL7/kernel 3.10)                 ARM (OL9, 81G 空闲)              新 micro (OL9.8)
| | |
|-- rclone 全量 /www --------------------> | 暂存 /micro-backup |
|-- 停机热打包 mariadb+trilium ----------> | (容器 root 绕过 600 权限) |
| |-- rsync 内网直传 -------------> | /www
| | |-- 解热包
| 保留 IP 改绑(unassign -> assign)---------------------------------------> | 全链路验证
  • rclone 老机→ARM 全量 55G / 2.5h,全程 zram + ondemand + nice 三件套压内存战;privkey 等 600-root 文件读不出,记 R1-code23(不是失败,是预期跳过)。
  • 第二轮补漏:ARM→新机恢复后发现漏了 data/certs、certbot、conf.d、nginx.conf、addon、document.db——恢复后必须逐目录比对,不能只看总体积。
  • 停机热包:数据库和文档库必须停容器后打包,靠 docker run --rm -v ... busybox tar 以容器内 root 身份绕开宿主 600 权限;打完立刻 start 回去。
  • docker 安装(终版):dnf guardrail(精简 repo + 主配置限流 + avail≥350M)直装 29.9.2 全栈,docker-ce 与 docker-ce-rootless-extras 同版本成对;离线 rpm 与「去 extras」是 R 阶段旧路线,已作废。
  • 证书与日志属主(终版 rootless):certs/logs 全部 chown ghost + nginx 以容器 root(user 0:0)跑、注释 nginx.conf 内 user nginx;101 属主是 rootful 时代的旧路线,已作废。迁移传 privkey 仍靠「老机容器 root 读 → 管道进新机」(600-root 宿主读不动)。
  • 迁移验收三件套(比 curl 更硬):document.db 大小、forgejo data 总大小、forgejo 用户列表——新旧机三个数对上才算成功。本次实测 trilium 411.5M 分毫不差,forgejo 3.0G / repositories 252M,mariadb 三库都在。
  • 保留 IP 切换:控制台 unassign + assign 两步搬到新机,DNS 一条不用改;API public-ip update 报 404,IAM 已是 Admin 不是权限问题。
  • 终验:外网 5 域名 200/302/401/404/200 + stream 双 OPEN,证书 SAN 覆盖 5 子域、有效期到 2027-01-30。

恢复完成后的验收命令(进 SSH 直接跑):

# 链路自检:内网直连 nginx,再看经 edge 的整链
curl -sk -o /dev/null -w 'nginx8443=%{http_code}\n' -H 'Host: trilium.atibm.com' https://127.0.0.1:8443/
for h in trilium git mindwtr webdav nginx; do printf '%s=' $h; curl -sk -o /dev/null -w '%{http_code}\n' -H "Host: $h.atibm.com" https://127.0.0.1/; done

# stream 端口透传
(exec 3<>/dev/tcp/127.0.0.1/62222) 2>/dev/null && echo '62222=OPEN' || echo '62222=CLOSED'
(exec 3<>/dev/tcp/127.0.0.1/63306) 2>/dev/null && echo '63306=OPEN' || echo '63306=CLOSED'

# 数据一致性三件套(比 curl 更能证明数据在)
ls -lh /www/trilium/data/document.db
du -sh /www/forgejo/data /www/forgejo/data/git/repositories
docker exec git forgejo admin user list

# 证书实际内容(绕开浏览器只看服务端)
echo | openssl s_client -connect trilium.atibm.com:443 -servername trilium.atibm.com 2>/dev/null \
| openssl x509 -noout -subject -ext subjectAltName -enddate

# 服务恢复的固定顺序(顺序错必炸)
mariadb --(等 25s,DNS 可解)--> trilium / mindwtr / webdav / git --> nginx --> edge

docker rootful 和 rootless 分离

终态:严格双入口,无 fallback。rootless 未装时 d 直接报错,不许偷看 rootful;d 与 rd 所见不同即隔离成立。

命令入口(写死,不切换):
d / dc ----> rootless(unix:///run/user/1001/docker.sock,socket 不存在就报错)
rd / rdc ----> rootful(unix:///run/docker.sock)
reload ----> docker exec nginx nginx -s reload(跟随默认栈)
# ~/.bashrc(四行 alias,无 if、无 DOCKER_HOST、无 context;改完 bash -n 自检)
alias d='docker --host unix:///run/user/1001/docker.sock'
alias dc='docker --host unix:///run/user/1001/docker.sock compose'
alias rd='docker --host unix:///run/docker.sock'
alias rdc='docker --host unix:///run/docker.sock compose'
alias reload='docker exec nginx nginx -s reload'

铁律:daemon 与 docker-ce-rootless-extras 主版本必须一致(现 29.9.2 + 29.9.2)。单升一侧必现 proxy 断裂(26 daemon + 29 extras 实测起不来;上游 moby#48132 之后 daemon 自 bind socket,不再需要该二进制)。判据:strings dockerd 有 rootlesskit-docker-proxy 命中=旧 daemon;rpm -ql extras 无 proxy=新 extras;两者撞上即断裂。

  • 前置总闸:user.max_user_namespaces 非 0(/etc/sysctl.d/99-rootless.conf 持久化)+ loginctl enable-linger ghost 保活;再给 user@[uid] 写 Delegate=yes drop-in(否则带 cpus: 的容器报 NanoCPUs can not be set,重启后对新 cgroup 生效)。
  • 坑:非交互 shell 无 alias,dc config 会调到 GNU 计算器;验证一律 d compose config。
  • 坑:heredoc 定界符不加引号,变量本地提前展开,.bashrc 与 hook 各坏一次;一律 <<"PYEOF"。
  • 关栈连 socket 一起关:disable --now docker 只关 service,docker.socket 还会拉起它。

各 docker 实例 rootless 改造并运行

终态:rootless 29.9.2 六容器全 Up(edge 留守 rootful),外网 5 域名 302/200/404/401/200,stream 62222/63306 双 OPEN。

公网 80/443
--> [edge: socat 转发](rootful 留守,rootless 绑不了特权端口)
--> [nginx-unprivileged:8080/8443](rootless,以容器 root=宿主 ghost 跑)
--> 同栈 backend:mindwtr / trilium / git / webdav(rootless ghost_net 内互联,另重建)
stream 直通:62222 --> git 2222,63306 --> mariadb 3306(rootless 发布 >1024 端口无碍)
容器栈用户映射状态
edgerootfulrootUp(80→301,443→200)
nginxrootless0:0=宿主 ghostUp
mariadb / trilium / mindwtr / webdavrootless默认 root=宿主 ghostUp(mindwtr healthy)
git(forgejo)rootless1001:1001=宿主 166536Up(禁 root,只能走 subuid)

属主三模型(容器 root=宿主 ghost;容器 1001=宿主 166536;只列改了的,不动的不列):

目录改法
mariadb/data宿主顶层 ghost 即可,entrypoint 首次启动会把内部收回 mysql(宿主 166534),运行时不管;备份靠 ghost 读 ACL(setfacl -R + 目录 default ACL,data/mariadb/ibdata1 能 head 出即达标(注意真 datadir 在下层 mariadb/ 子目录));维护走 socket + init.sql 密码连 root@localhost(TCP 只对 % 账号有效;无密码/unix_socket 在此库上不通;init.sql 保持 600)
trilium sessions / mindwtr jsonchown ghost(mode 不动,600 仍 600)
forgejo/datachown -R 166536 + ghost 读 ACL(setfacl -R + 目录 default ACL,新建文件自动继承;getfacl 抽查最严文件可读即备份无忧)
nginx certs/logschown -R ghost + compose user 0:0 + 注释 nginx.conf 内 user nginx(否则 worker 降到 101=宿主 165636 写不了日志)
  • 拉起顺序:mariadb → backend → nginx → edge;nginx 的 stream 含 git:2222,上游未起即 [emerg] host not found in upstream 死循环。
  • rootless 镜像要重拉一套(data-root 独立,~/.local/share/docker,之前全在 rootful 那边);逐个拉逐个起,不并行(1G 顶不住)。
  • forgejo 禁 root(not supposed to be run as root,v15 后门变量无效),是全栈唯一必须 subuid 的。
  • 证书走"专递目录":certbot deploy-hook 把 live 证书复制到 nginx 只读挂载的副本目录;rootless 下副本属主须是 ghost(容器 root 可读)。

踩坑与遗留

  • heredoc 定界符未加引号,变量提前展开,.bashrc 与 hook 各坏一次。
  • mariadb:lts 镜像无 mysqladmin,readiness 死循环烧满 4 分钟;新镜像先验工具链再写检查。
  • 跨会话撞车:relay 单向、desktop 看不见,desktop 冻结全站是对的;跨会话操作必须双向 polling + 人桥一句话。
  • pkill -f 自杀:模式串匹配自身命令行两次;改扫 /proc 排除自身 pid。
  • 写脚本别用 terminal heredoc 拼 sudo(被 hardline 拦),落文件再跑。
  • daemon 与 extras 单升一侧必断裂(proxy):成对升级,判据见第 6 节铁律。
  • NanoCPUs:断在 user@UID 层,docker.service 的 Delegate 不够;drop-in + 重启,controllers 见 cpu 为准。
  • forgejo 禁 root 是硬禁:subuid + ghost 读 ACL,不要动备份链路。
  • 临时传输钥必须三处清零:本地 scratch、ARM authorized_keys 行、目标机 authorized_keys 行;grep -c 归零才算干净,只留主钥(行数=1)。

sshd 僵死事件(未定根):

  • 症状 ×3:22 端口 TCP 通但 sshd 主进程不发 banner(旧会话续活、新连全挂);443/docker/网站全程正常。
  • 排除:无 OOM 痕迹、无 dnf 执行记录(三次空跑,包从未装上)、与 rootless 无关(daemon 根本没装)。
  • 处置:SOFTRESET 卡 STOPPING 十几分钟 → STOP/START 硬循环恢复;每次只管十几分钟到半小时。
  • 教训:journal 默认 volatile(/var/log/journal 不存在),-b -1 取不到上个 boot 日志;已建目录持久化(重启后生效)。
  • 串口是唯一活路:API 建 instance-console-connection(只吃 RSA key,ed25519 被拒),console-ssh 报 Permission denied;最终手机 Cloud Shell 串口 + 粘贴密码进盒子。

收尾待办: