中文大模型资料（模型/应用/数据集/训练框架）

来源：HqWu-HITCS/Awesome-Chinese-LLM（快照 2026-04-20）｜约 160 个项目｜已压缩：去徽章/目录锚点/Star History，简介压为一句话，项目链接全保留。

底座模型对照

文本LLM模型（54）

• ChatGLM — 中文领域效果最好的开源底座模型之一，针对中文问答和对话进行了优化。
• ChatGLM2-6B — 基于开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，引入了GLM …
• ChatGLM3-6B — ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM…
• GLM-4 — GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。
• Qwen/Qwen1.5/Qwen2/Qwen2.5/Qwen-3 — 通义千问是阿里云研发的通义千问大模型系列。
• InternLM — 商汤科技、上海AI实验室联合香港中文大学、复旦大学和上海交通大学发布千亿级参数大语言模型“书生·浦语”（InternLM）。
• InternLM2 — 商汤科技、上海AI实验室联合香港中文大学、复旦大学和上海交通大学发布千亿级参数大语言模型“书生·浦语”（InternLM2）。
• DeepSeek-V2 — DeepSeek-V2：强大、经济、高效的专家混合语言模型
• Baichuan-7B — 由百川智能开发的一个开源可商用的大规模预训练语言模型。
• Baichuan-13B — Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，在权威的中文和…
• Baichuan2 — 由百川智能推出的新一代开源大语言模型，采用 2.6 万亿 Tokens 的高质量语料训练，在多个权威的中文、英文和多语言的通用、领域 ben…
• XVERSE-7B — 由深圳元象科技自主研发的支持多语言的大语言模型，支持 8K 的上下文长度（Context Length），使用 2.6 万亿 token 的…
• XVERSE-13B — 由深圳元象科技自主研发的支持多语言的大语言模型，支持 8K 的上下文长度（Context Length），使用 3.2 万亿 token 的…
• XVERSE-65B — 由深圳元象科技自主研发的支持多语言的大语言模型，支持 16K 的上下文长度（Context Length），使用 2.6 万亿 token …
• XVERSE-MoE-A4.2B — 由深圳元象科技自主研发的支持多语言的大语言模型（Large Language Model），使用混合专家模型（MoE，Mixture-of-…
• Skywork — 该项目开源了天工系列模型，该系列模型在3.2TB高质量多语言和代码数据上进行预训练，开源了包括模型参数，训练数据，评估数据，评估方法。
• Yi — 该项目开源了Yi-6B和Yi-34B等模型，该系列模型最长可支持200K的超长上下文窗口版本，可以处理约40万汉字超长文本输入，理解超过10…
• Chinese-LLaMA-Alpaca — 中文LLaMA&Alpaca大语言模型+本地CPU/GPU部署，在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练
• Chinese-LLaMA-Alpaca-2 — 该项目将发布中文LLaMA-2 & Alpaca-2大语言模型，基于可商用的LLaMA-2进行二次开发。
• Chinese-LlaMA2 — 该项目基于可商用的LLaMA-2进行二次开发决定在次开展Llama 2的中文汉化工作，包括Chinese-LlaMA2: 对Llama 2进…
• Llama2-Chinese — 该项目专注于Llama2模型在中文方面的优化和上层建设，基于大规模中文数据，从预训练开始对Llama2模型进行中文能力的持续迭代升级。
• OpenChineseLLaMA — 基于 LLaMA-7B 经过中文数据集增量预训练产生的中文大语言模型基座，对比原版 LLaMA，该模型在中文理解能力和生成能力方面均获得较大…
• BELLE — 开源了基于BLOOMZ和LLaMA优化后的一系列模型，同时包括训练数据、相关模型、训练代码、应用场景等，也会持续评估不同训练数据、训练算法等…
• Panda — 开源了基于LLaMA-7B, -13B, -33B, -65B 进行中文领域上的持续预训练的语言模型, 使用了接近 15M 条数据进行二次预…
• Robin (罗宾): — Robin (罗宾)是香港科技大学LMFlow团队开发的中英双语大语言模型。
• Fengshenbang-LM — Fengshenbang-LM(封神榜大模型)是IDEA研究院认知计算与自然语言研究中心主导的大模型开源体系，该项目开源了姜子牙通用大模型V…
• BiLLa — 该项目开源了推理能力增强的中英双语LLaMA模型。
• Moss — 支持中英双语和多种插件的开源对话语言模型，MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和…
• Luotuo-Chinese-LLM — 囊括了一系列中文大语言模型开源项目，包含了一系列基于已有开源模型（ChatGLM, MOSS, LLaMA）进行二次微调的语言模型，指令微调…
• Linly — 提供中文对话模型 Linly-ChatFlow 、中文基础模型 Linly-Chinese-LLaMA 及其训练数据。
• Firefly — Firefly(流萤) 是一个开源的中文大语言模型项目，开源包括数据、微调代码、多个基于Bloom、baichuan等微调好的模型等
• ChatYuan — 元语智能发布的一系列支持中英双语的功能型对话语言大模型，在微调数据、人类反馈强化学习、思维链等方面进行了优化。
• ChatRWKV — 开源了一系列基于RWKV架构的Chat模型（包括英文和中文），发布了包括Raven，Novel-ChnEng，Novel-Ch与Novel-…
• CPM-Bee — 一个完全开源、允许商用的百亿参数中英文基座模型。
• TigerBot — 一个多语言多任务的大规模语言模型(LLM)，开源了包括模型：TigerBot-7B, TigerBot-7B-base，TigerBot-1…
• Aquila — 由智源研究院发布，Aquila语言大模型在技术上继承了GPT-3、LLaMA等的架构设计优点，替换了一批更高效的底层算子实现、重新设计实现了…
• Aquila2 — 由智源研究院发布，Aquila2 系列，包括基础语言模型 Aquila2-7B，Aquila2-34B 和 Aquila2-70B-Expr…
• Anima — 由艾写科技开发的一个开源的基于QLoRA的33B中文大语言模型，该模型基于QLoRA的Guanaco 33B模型使用Chinese-Vicu…
• KnowLM — KnowLM项目旨在发布开源大模型框架及相应模型权重以助力减轻知识谬误问题，包括大模型的知识难更新及存在潜在的错误和偏见等。
• BayLing — 一个具有增强的跨语言对齐的通用大模型，由中国科学院计算技术研究所自然语言处理团队开发。
• YuLan-Chat — YuLan-Chat是中国人民大学GSAI研究人员开发的基于聊天的大语言模型。
• PolyLM — 一个在6400亿个词的数据上从头训练的多语言语言模型，包括两种模型大小(1.7B和13B)。
• huozi — 由哈工大自然语言处理研究所多位老师和学生参与开发的一个开源可商用的大规模预训练语言模型。
• YaYi — 雅意大模型在百万级人工构造的高质量领域数据上进行指令微调得到，训练数据覆盖媒体宣传、舆情分析、公共安全、金融风控、城市治理等五大领域，上百种…
• YAYI2 — YAYI 2 是中科闻歌研发的新一代开源大语言模型，包括 Base 和 Chat 版本，参数规模为 30B。
• Yuan-2.0 — 该项目开源了由浪潮信息发布的新一代基础语言大模型，具体开源了全部的3个模型源2.0-102B，源2.0-51B和源2.0-2B。
• Chinese-Mixtral-8x7B — 该项目基于Mixtral-8x7B稀疏混合专家模型进行了中文扩词表增量预训练，开源了Chinese-Mixtral-8x7B扩词表模型以及训…
• BlueLM — BlueLM 是由 vivo AI 全球研究院自主研发的大规模预训练语言模型，本次发布包含 7B 基础 (base) 模型和 7B 对话 (…
• TuringMM — TuringMM-34B-Chat是一款开源的中英文Chat模型，由北京光年无限科技有限公司基于Yi-34B开源模型、基于14w的精标教育数…
• Orion — Orion-14B-Base是一个具有140亿参数的多语种大模型，该模型在一个包含2.5万亿token的多样化数据集上进行了训练，涵盖了中文…
• OrionStar-Yi-34B-Chat — OrionStar-Yi-34B-Chat 是猎户星空基于零一万物开源的Yi-34B模型，使用 15W+ 的高质量语料训练而来微调大模型，旨…
• MiniCPM — MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）…
• Mengzi3 — Mengzi3 8B/13B模型基于Llama架构，语料精选自网页、百科、社交、媒体、新闻，以及高质量的开源数据集。
• YuLan-Mini — YuLan-Mini 2.4B是一个全开源、可商用、高性能的大模型，拥有 28K 上下文长度，主要擅长数学、代码、中文、英文等，仅使用预训练…

多模态LLM模型（8）

• VisualGLM-6B — 一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，具有 62 亿参数
• CogVLM — 一个强大的开源视觉语言模型（VLM）。
• Visual-Chinese-LLaMA-Alpaca — 基于中文LLaMA&Alpaca大模型项目开发的多模态中文大模型。
• LLaSM — 第一个支持中英文双语语音-文本多模态对话的开源可商用对话模型。
• VisCPM — 一个开源的多模态大模型系列，支持中英双语的多模态对话能力（VisCPM-Chat模型）和文到图生成能力（VisCPM-Paint模型）。
• MiniCPM-V — 面向图文理解的端侧多模态大模型系列。
• Qwen-VL — 是阿里云研发的大规模视觉语言模型，可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。
• InternVL/1.5/2.0 — 开源多模态大模型，也是国内首个在MMMU（多学科问答）上突破60的模型。

医疗（19）

• DoctorGLM — 基于 ChatGLM-6B的中文问诊模型，通过中文医疗对话数据集进行微调，实现了包括lora、p-tuningv2等微调及部署
• BenTsao — 开源了经过中文医学指令精调/指令微调(Instruct-tuning) 的LLaMA-7B模型。
• BianQue — 一个经过指令与多轮问询对话联合微调的医疗对话大模型，基于ClueAI/ChatYuan-large-v2作为底座，使用中文医疗问答指令与多轮…
• HuatuoGPT — 开源了经过中文医学指令精调/指令微调(Instruct-tuning)的一个GPT-like模型
• Med-ChatGLM — 基于中文医学知识的ChatGLM模型微调，微调数据与BenTsao相同。
• QiZhenGPT — 该项目利用启真医学知识库构建的中文医学指令数据集，并基于此在LLaMA-7B模型上进行指令精调，大幅提高了模型在中文医疗场景下效果，首先针对…
• ChatMed — 该项目推出ChatMed系列中文医疗大规模语言模型，模型主干为LlaMA-7b并采用LoRA微调，具体包括ChatMed-Consult :…
• XrayGLM，首个会看胸部X光片的中文多模态医学大模型 — 该项目为促进中文领域医学多模态大模型的研究发展，发布了XrayGLM数据集及模型，其在医学影像诊断和多轮交互对话上显示出了非凡的潜力。
• MeChat，中文心理健康支持对话大模型 — 该项目开源的中文心理健康支持通用模型由 ChatGLM-6B LoRA 16-bit 指令微调得到。
• MedicalGPT — 训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。
• Sunsimiao — Sunsimiao是一个开源的中文医疗大模型，该模型基于baichuan-7B和ChatGLM-6B底座模型在十万级高质量的中文医疗数据中微…
• ShenNong-TCM-LLM — 该项目开源了ShenNong中医药大规模语言模型，该模型以LlaMA为底座，采用LoRA (rank=16)微调得到。
• SoulChat — 该项目开源了经过百万规模心理咨询领域中文长文本指令与多轮共情对话数据联合指令微调的心理健康大模型灵心（SoulChat），该模型以ChatG…
• CareGPT — 该项目开源了数十个公开可用的医疗微调数据集和开放可用的医疗大语言模型，包含LLM的训练、测评、部署等以促进医疗LLM快速发展。
• DISC-MedLLM — 该项目是由复旦大学发布的针对医疗健康对话式场景而设计的医疗领域大模型与数据集，该模型由DISC-Med-SFT数据集基于Baichuan-1…
• Taiyi-LLM — 该项目由大连理工大学信息检索研究室开发的中英双语医学大模型“太一”，收集整理了丰富的中英双语生物医学自然语言处理（BioNLP）训练语料，总…
• WiNGPT — WiNGPT是一个基于GPT的医疗垂直领域大模型，基于Qwen-7b1作为基础预训练模型，在此技术上进行了继续预训练，指令微调等，该项目具体…
• ChiMed-GPT — ChiMed-GPT是一个开源中文医学大语言模型，通过在中文医学数据上持续训练 Ziya-v2 构建而成，其中涵盖了预训练、有监督微调 (S…
• MindChat — 心理大模型——漫谈(MindChat)期望从心理咨询、心理评估、心理诊断、心理治疗四个维度帮助人们纾解心理压力与解决心理困惑，为用户提供隐私…

法律（8）

• 獬豸(LawGPT_zh): 中文法律对话语言模型 [github.com] — 该系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增…
• LexiLaw：中文法律大模型 — LexiLaw 是一个基于 ChatGLM-6B微调的中文法律大模型，通过在法律领域的数据集上进行微调。
• Lawyer LLaMA：中文法律LLaMA — 开源了一系列法律领域的指令微调数据和基于LLaMA训练的中文法律大模型的参数。
• 韩非(HanFei) [github.com] — 由北大开源的一系列法律领域的大模型，包括ChatLaw-13B（基于姜子牙Ziya-LLaMA-13B-v1训练而来），ChatLaw-33…
• lychee_law-律知 — 该项目由德国萨尔大学团队和中国南京大学团队合作开发，开源一系列中文司法领域大模型，如Law-GLM-10B: 基于 GLM-10B 模型, …
• 智海-录问(wisdomInterrogatory) — 该项目由浙江大学、阿里巴巴达摩院以及华院计算三家单位共同设计研发的法律大模型，基于baichuan-7b进行了法律领域数据的二次预训练与指令…
• 夫子•明察司法大模型 — 该项目由是由山东大学、浪潮云、中国政法大学联合研发，以 ChatGLM 为大模型底座，基于海量中文无监督司法语料（包括各类判决文书、法律法规…
• DISC-LawLLM — 该项目由由复旦大学数据智能与社会计算实验室 (Fudan-DISC) 开发并开源的法律领域大模型，包括数据集，基于 Baichuan-13B…

金融（6）

• Cornucopia（聚宝盆）：基于中文金融知识的LLaMA微调模型 — 开源了经过中文金融知识指令精调/指令微调(Instruct-tuning) 的LLaMA-7B模型。
• BBT-FinCUGE-Applications — 开源了中文金融领域开源语料库BBT-FinCorpus，中文金融领域知识增强型预训练模型BBT-FinT5及中文金融领域自然语言处理评测…
• XuanYuan（轩辕）：首个千亿级中文金融对话模型 — 轩辕是国内首个开源的千亿级中文对话大模型，同时也是首个针对中文金融领域优化的千亿级开源对话大模型。
• FinGPT — 该项目开源了多个金融大模型，包括ChatGLM-6B/ChatGLM2-6B+LoRA和LLaMA-7B+LoRA的金融大模型，收集了包括金…
• DISC-FinLLM — 该项目由复旦大学数据智能与社会计算实验室 (Fudan-DISC) 开发并开源，项目中开源的资源包括：DISC-FinLLM-SFT训练数据…
• Tongyi-Finance — 该模型是针对对金融行业推出的大语言模型，基于通义千问基础模型进行行业语料增量学习，强化金融领域知识和场景应用能力，覆盖金融知识问答、文本分类…

教育（5）

• 桃李（Taoli） — 一个在国际中文教育领域数据上进行了额外训练的模型。
• EduChat — 该项目华东师范大学计算机科学与技术学院的EduNLP团队研发，主要研究以预训练大模型为基底的教育对话大模型相关技术，融合多样化的教育垂直领域…
• chatglm-maths — 基于chatglm-6b微调/LORA/PPO/推理的数学题解题大模型, 样本为自动生成的整数/小数加减乘除运算, 可gpu/cpu部署，开…
• MathGLM — 该项目由THUDM研发，开源了多个能进行20亿参数可以进行准确多位算术运算的语言模型，同时开源了可用于算术运算微调的数据集。
• QiaoBan — 该项目旨在构建一个面向儿童情感陪伴的大模型，这个仓库包含：用于指令微调的对话数据/data，巧板的训练代码，训练配置文件，使用巧板进行对话的…

科技（3）

• 天文大语言模型StarGLM — 基于ChatGLM训练了天文大语言模型，以期缓解大语言模型在部分天文通用知识和前沿变星领域的幻觉现象，为接下来可处理天文多模态任务、部署于望…
• TransGPT·致远 — 开源交通大模型，主要致力于在真实交通行业中发挥实际价值。
• Mozi — 该项目开源了基于LLaMA和Baichuan的科技论文大模型，可以用于科技文献的问答和情感支持。

电商（1）

• EcomGPT — 一个由阿里发布的面向电商领域的语言模型，该模型基于BLOOMZ在电商指令微调数据集上微调得到，人工评估在12个电商评测数据集上超过ChatG…

网络安全（1）

• SecGPT — 开项目开源了网络安全大模型，该模型基于Baichuan-13B采用Lora做预训练和SFT训练，此外该项目还开源了相关预训练和指令微调数据集…

农业（2）

• 后稷（AgriMa） — 首个中文开源农业大模型是由山西大学、山西农业大学与The Fin AI联合研发，以Baichuan为底座，基于海量有监督农业领域相关数据微调…
• 稷丰（AgriAgent） [github.com] — 首个开源中文农业多模态大模型是由山西农业大学研发，以MiniCPM-Llama3-V 2.5为底座，能够从图像、文本、气象数据等多源信息中提…

LangChain应用（7）

• langchain-ChatGLM — 基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。
• LangChain-ChatGLM-Webui — 利用LangChain和ChatGLM-6B系列模型制作的Webui, 提供基于本地知识的大模型应用。
• Langchain-ChatGLM-and-TigerBot — 该项目在langchain-ChatGLM的基础上补充了加载TigerBot模型的基于本地知识库的问答应用。
• Chinese-LangChain — 基于ChatGLM-6b+langchain实现本地化知识库检索与智能答案生成（包括互联网检索结果接入）
• Lagent — Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体。
• DemoGPT — ⚡ DemoGPT 使您只需使用提示即可创建快速演示。
• ChatDev — ChatDev是一家虚拟软件公司，通过担任不同角色的各种智能代理进行运营，包括首席执行官、首席技术官、程序员、测试员等。

其他应用（13）

• wenda — 一个LLM调用平台。
• JittorLLMs — 计图大模型推理库：笔记本没有显卡也能跑大模型，具有成本低，支持广，可移植，速度快等优势。
• LMFlow: — LMFlow是香港科技大学LMFlow团队开发的大模型微调工具箱。
• fastllm — 纯c++的全平台llm加速库，chatglm-6B级模型单卡可达10000+token / s，支持moss, chatglm, baich…
• WebCPM — 一个支持可交互网页搜索的中文大模型。
• GPT Academic — 为GPT/GLM提供图形交互界面，特别优化论文阅读润色体验，支持并行问询多种LLM模型，支持清华chatglm等本地模型。
• ChatALL — ChatALL（中文名：齐叨）可以把一条指令同时发给多个 AI，可以帮助用户发现最好的回答。
• CreativeChatGLM — 可以使用修订和续写的功能来生成创意内容，可以使用“续写”按钮帮 ChatGLM 想一个开头，并让它继续生成更多的内容，你可以使用“修订”按钮…
• docker-llama2-chat — 开源了一个只需要三步就可以上手LLaMA2的快速部署方案。
• ChatGLM2-Voice-Cloning — 实现了一个可以和喜欢的角色沉浸式对话的应用，主要采用ChatGLM2+声音克隆+视频对话的技术。
• Flappy — 一个产品级面向所有程序员的LLM SDK，
• LazyLLM — LazyLLM是一款低代码构建多Agent大模型应用的开发工具，协助开发者用极低的成本构建复杂的AI应用，并可以持续的迭代优化效果。
• MemFree — MemFree 是一个开源的 Hybrid AI 搜索引擎，可以同时对您的个人知识库（如书签、笔记、文档等）和互联网进行搜索, 为你提供最佳…

预训练数据集（5）

• MNBVC — 超大规模中文语料集，不但包括主流文化，也包括各个小众文化甚至火星文的数据。
• WuDaoCorporaText — WuDaoCorpora是北京智源人工智能研究院（智源研究院）构建的大规模、高质量数据集，用于支撑大模型训练研究。
• CLUECorpus2020 — 通过对Common Crawl的中文部分进行语料清洗，最终得到100GB的高质量中文预训练语料，可直接用于预训练、语言模型或语言生成任务以及…
• WanJuan-1.0 — 书生·万卷1.0为书生·万卷多模态语料库的首个开源版本，包含文本数据集、图文数据集、视频数据集三部分，数据总量超过2TB。
• seq-monkey-data — 序列猴子是出门问问提供的超大规模语言模型，基于其通用的表示与推理能力，支持多轮交互，能够大幅度提高生产效率和数据处理能力，被广泛应用于问答系…

SFT数据集（18）

• RefGPT：基于RefGPT生成大量真实和定制的对话数据集 — 包括RefGPT-Fact和RefGPT-Code两部分，其中RefGPT-Fact给出了5万中文的关于事实性知识的多轮对话，RefGPT-…
• COIG — 维护了一套无害、有用且多样化的中文指令语料库，包括一个人工验证翻译的通用指令语料库、一个人工标注的考试指令语料库、一个人类价值对齐指令语料库…
• generated_chat_0.4M — 包含约40万条由BELLE项目生成的个性化角色对话数据，包含角色介绍。
• Chinese-DeepSeek-R1-Distill-data-110k — 包含约11万个中文对话样本，通过蒸馏满血版DeepSeek-R1得到，数据集中不仅包含math数据，还包括大量的通用类型数据，总数量为110…
• alpaca_chinese_dataset — 根据斯坦福开源的alpaca数据集进行中文翻译，并再制造一些对话数据
• Alpaca-CoT — 统一了丰富的IFT数据（如CoT数据，目前仍不断扩充）、多种训练效率方法（如lora，p-tuning）以及多种LLMs，三个层面上的接口，…
• pCLUE — 基于提示的大规模预训练数据集，用于多任务学习和零样本学习。
• firefly-train-1.1M — 23个常见的中文数据集，对于每个任务，由人工书写若干种指令模板，保证数据的高质量与丰富度，数据量为115万
• BELLE-data-1.5M — 通过self-instruct生成，使用了中文种子任务，以及openai的text-davinci-003接口,涉及175个种子任务
• Chinese Scientific Literature Dataset — 中文科学文献数据集（CSL），包含 396,209 篇中文核心期刊论文元信息 （标题、摘要、关键词、学科、门类）以及简单的prompt
• Chinese medical dialogue data — 中文医疗对话数据集，包括： 94596个问答对 220606个问答对 1…
• Huatuo-26M — Huatuo-26M 是一个中文医疗问答数据集，此数据集包含了超过2600万个高质量的医疗问答对，涵盖了各种疾病、症状、治疗方式、药品信息等…
• Alpaca-GPT-4: — Alpaca-GPT-4 是一个使用 self-instruct 技术，基于 175 条中文种子任务和 GPT-4 接口生成的 50K 的指…
• InstructionWild — InstructionWild 是一个从网络上收集自然指令并过滤之后使用自然指令结合 ChatGPT 接口生成指令微调数据集的项目。
• ShareChat — 一个倡议大家一起翻译高质量 ShareGPT 数据的项目。
• Guanaco — 一个使用 Self-Instruct 的主要包含中日英德的多语言指令微调数据集。
• chatgpt-corpus — 开源了由 ChatGPT3.5 生成的300万自问自答数据，包括多个领域，可用于用于训练大模型。
• SmileConv — 数据集通过ChatGPT改写真实的心理互助 QA为多轮的心理健康支持多轮对话（single-turn to multi-turn inclu…

偏好数据集（6）

• CValues — 该项目开源了数据规模为145k的价值对齐数据集，该数据集对于每个prompt包括了拒绝&正向建议 (safe and reponsibili…
• GPT-4-LLM — 该项目开源了由GPT4生成的多种数据集，包括通过GPT4生成的中英PPO数据，可以用于奖励模型的训练。
• zhihu_rlhf_3k — 该项目开源了3k+条基于知乎问答的人类偏好数据集，每个实际的知乎问题下给出了赞同数据较高（chosen）和较低（rejected）的回答，可…
• hh_rlhf_cn — 基于Anthropic论文Training a Helpful and Harmless Assistant with Reinforcem…
• chatbot_arena_conversations — 该偏好数据集包含20个LLM的输出，其中包括GPT-4和Claude-v1等更强的LLM，它还包含这些最先进模型的许多失败案例。
• UltraFeedback — 该数据集是一个大规模、细粒度、多样化的偏好数据集，用于训练强大的奖励模型和批评者模型。

LLM训练微调框架（4）

• DeepSpeed Chat — 该项目提供了一键式RLHF训练框架，只需一个脚本即可实现多个训练步骤，包括SFT，奖励模型微调和基于人类反馈的强化学习（RLHF），此外还实…
• LLaMA Efficient Tuning — 该项目提供了易于使用的基于PEFT的LLaMA微调框架，实现了包括全参数，LoRA，QLoRA等的预训练，指令微调和RLHF，并支持LLaM…
• ChatGLM Efficient Tuning — 该项目提供了基于PEFT的高效ChatGLM微调，支持LoRA，P-Tuning V2，全参数微调等模式，并适配了多个微调数据集。
• bert4torch — 该项目提供了一个大模型的训练和部署框架，包含了目前主要的开源大模型，llama系列，chatglm，bloom系列等等，同时还给出了预训练和…