策略泄漏问题
- 举例：pycharm+continue 代码补全
- 模型提供商，注册用户协议有数据共享条款
- 扫描全部代码，上传云端，分享给别人
- 启发得到的思路，也分享给别人
开源LLM架构
- ollma：单机单任务易用
- vllm：集群多任务高并发
- LM studio：本地对话
- opencode：编程助手
- n8n：工作流 开源SKILL库（比如：定时爬网站抓内容）
- stablityai：画图
工作模式
- LLM：无记忆，利用对话上下文形成的token越来越长
- 本地化：部署后提供一个api，供别的工具使用
- 工作流：有个.md存关键信息，加入对话token，复用开源SKILL，实现了流转
- openclaw：一个问题，调用不同模型，沉淀信息，导致概率泛滥，形成幻觉
开源大语言模型
- qwen
- 模型大小：比如30B，size=19GB内存即可，cpu也行
- 模型量化：可以降低精度，减少资源，提高收敛
- 模型稀疏：比如a3b，会加载30B，激活3B参数解决问题，减少资源
- 越狱模型：带abliterated都是未和谐的，有危险信息，去掉拒绝层就是越狱模型
- code模型：加code模型运行要快一些，专门用于编程
- deepseek
显卡
- 老显卡改造：1080改大显存22G
- AI CPU：AMD AI max 395 专业cpu，共享内存，显存可以很大
- 消费显卡：5090 消费顶级显卡
- 专业显卡：超算中心淘汰的运算卡，V100（16G二手1000） AMD M150（不支持cuda）