From a37f53d6e04cfa89a7aa765c8a36cded57f8182b Mon Sep 17 00:00:00 2001 From: w5688414 Date: Fri, 26 Apr 2024 16:00:41 +0800 Subject: [PATCH] cherry pick paddlenlp 2.8 (#8323) * cherry pick paddlenlp 2.8 * Update README --- README.md | 2 ++ paddlenlp/__init__.py | 2 +- requirements.txt | 2 +- setup.py | 2 +- 4 files changed, 5 insertions(+), 3 deletions(-) diff --git a/README.md b/README.md index 272cb5214c66..ef1531159277 100644 --- a/README.md +++ b/README.md @@ -30,6 +30,8 @@ ## News 📢 +* **2024.04.24 [PaddleNLP v2.8](https://github.com/PaddlePaddle/PaddleNLP/releases/tag/v2.8.0)**：自研极致收敛的RsLoRA+算法，大幅提升PEFT训练收敛速度以及训练效果；引入高性能生成加速到RLHF PPO算法，打破 PPO 训练中生成速度瓶颈，PPO训练性能大幅领先。通用化支持 FastFNN、FusedQKV等多个大模型训练性能优化方式，大模型训练更快、更稳定。 + * **2024.01.04 [PaddleNLP v2.7](https://github.com/PaddlePaddle/PaddleNLP/releases/tag/v2.7.1)**： 大模型体验全面升级，统一工具链大模型入口。统一预训练、精调、压缩、推理以及部署等环节的实现代码，到 `PaddleNLP/llm`目录。全新大[模型工具链文档](https://paddlenlp.readthedocs.io/zh/latest/llm/finetune.html)，一站式指引用户从大模型入门到业务部署上线。全断点存储机制 Unified Checkpoint，大大提高大模型存储的通用性。高效微调升级，支持了高效微调+LoRA同时使用，支持了QLoRA等算法。 * **2023.08.15 [PaddleNLP v2.6](https://github.com/PaddlePaddle/PaddleNLP/releases/tag/v2.6.0)**： 发布[全流程大模型工具链](./llm)，涵盖预训练，精调，压缩，推理以及部署等各个环节，为用户提供端到端的大模型方案和一站式的开发体验；内置[4D并行分布式Trainer](./docs/trainer.md)，[高效微调算法LoRA/Prefix Tuning](./llm#33-lora), [自研INT8/INT4量化算法](./llm#6-量化)等等；全面支持[LLaMA 1/2](./llm/llama), [BLOOM](.llm/bloom), [ChatGLM 1/2](./llm/chatglm), [GLM](./llm/glm), [OPT](./llm/opt)等主流大模型 diff --git a/paddlenlp/__init__.py b/paddlenlp/__init__.py index af011febd291..e3cd7e1c5f75 100644 --- a/paddlenlp/__init__.py +++ b/paddlenlp/__init__.py @@ -18,7 +18,7 @@ PADDLENLP_STABLE_VERSION = "PADDLENLP_STABLE_VERSION" -__version__ = "2.7.1.post" +__version__ = "2.8.0.post" if os.getenv(PADDLENLP_STABLE_VERSION): __version__ = __version__.replace(".post", "") diff --git a/requirements.txt b/requirements.txt index 33b7f4bf9149..71fee6049318 100644 --- a/requirements.txt +++ b/requirements.txt @@ -23,4 +23,4 @@ safetensors tool_helpers aistudio-sdk>=0.1.3 jinja2 -regex \ No newline at end of file +regex diff --git a/setup.py b/setup.py index ab8f03a292e1..0723cfc28cb4 100644 --- a/setup.py +++ b/setup.py @@ -109,7 +109,7 @@ def show(): f.write(content) -__version__ = "2.7.1.post" +__version__ = "2.8.0.post" if os.getenv(PADDLENLP_STABLE_VERSION): __version__ = __version__.replace(".post", "")