Skip to content

中文羊驼大模型二期 v4.0
Compare
Choose a tag to compare
@ymcui ymcui released this 29 Dec 02:28
· 9 commits to main since this release
v4.0
5de7a2f

本次更新推出长上下文版模型Chinese-LLaMA-2-7B-64K和Chinese-Alpaca-2-7B-64K，可直接应用于各类长文本下游任务。推出人类偏好对齐版模型Chinese-Alpaca-2-1.3B-RLHF和Chinese-Alpaca-2-7B-RLHF，大幅提升正确价值观表达能力。

🚀 Chinese-LLaMA-2-7B-64K、Chinese-Alpaca-2-7B-64K

  • 通过YaRN方法，在增量数据上进行训练，使模型获得长文本处理能力
  • 在长文本评测LongBench（中文+代码任务）上，64K版模型相比标准版有显著的性能提升，甚至优于16K版本模型，效果参阅长上下文版模型评测
  • Chinese-Alpaca-2-7B-64K已加入到⚔️ 模型竞技场，欢迎体验评测

👮 Chinese-Alpaca-2-1.3B-RLHF、Chinese-Alpaca-2-7B-RLHF

  • 以Chinese-Alpaca-2系列模型为基础，利用偏好数据和PPO算法进行人类偏好对齐精调，显著提升模型传递正确价值观的能力
  • 在人类偏好对齐评测方面，RLHF模型表现显著超越对应的SFT模型，小模型（1.3B）超越大模型（7B），具体参阅人类偏好对齐（RLHF）版本评测
  • Chinese-Alpaca-2-1.3B-RLHF、Chinese-Alpaca-2-7B-RLHF已加入到⚔️ 模型竞技场，欢迎体验评测

温馨提示

  • 64K版长上下文模型已支持🤗HuggingFace、llama.cpp、langchain等生态
  • 使用长上下文版模型之前，务必参阅推理与部署表格，查看相关方法是否支持
  • 建议：主要处理长文本任务时，使用长上下文版模型；其他场景建议使用标准版模型

其他更新

  • 更新了对高版本依赖的支持，通过参数设置选择全量训练或LoRA训练 (#393)
  • 添加可直接下载使用的GGUF模型权重 (#411)
  • 修复了开源peft版本与requirements冲突的BUG (#468)

For English release note, please refer to Discussion.

Assets 2
Loading
1 Join discussion