民间版中文羊驼模型（Plus）v3.0
比假期先到来的是我们的最新模型😄，本次更新主要聚焦于以下几方面：
🚀 发布中文LLaMA, Alpaca Plus版（7B）
推出中文LLaMA, Alpaca Plus版（7B），相比基础版本的改进点如下：
- 进一步扩充了训练数据，其中LLaMA扩充至120G文本（通用领域），Alpaca扩充至4M指令数据（重点增加了STEM相关数据）
- Alpaca训练时采用了更大的rank，相比原版具有更低的验证集损失
- 评测结果显示，Alpaca-Plus-7B相比基础版Alpaca-7B效果更优，部分任务接近或超过13B版本
- 这一轮比拼：7B获得65.3分，13B获得70.9分，Plus-7B效果75.3分，具体评测结果请参考效果评测
（Plus-13B在路上）
💯 完善了评测样例
在原有的测试样例的基础上，进一步对评测样例、评测方法进行完善，请参考效果评测。
- 样例总量从160个扩充至200个，每个任务20个样例
- 评测模型由Q4改为Q8，更接近于原始模型的效果，更具有参考价值
- 修正了部分prompt，使得指令意图更明确
📚 简化了模型合并脚本
现在用户可以使用统一的merge_llama_with_chinese_lora.py对模型进行合并和转换了。
- 支持输出
.pth格式模型：用于后续llama.cpp等的量化和部署 - 支持输出
.bin格式（huggingface）模型：用于进一步精调或其他训练目的 - Alpaca-Plus合并流程稍有不同，请务必参考最新合并流程教程
📚 添加了预训练脚本
提供了用于训练LLaMA的预训练脚本，基于🤗transformers中的run_clm.py。具体使用方法请参考Wiki中的相关教程。