Skip to content

1.1.2

Latest
Latest
Compare
Choose a tag to compare
@shibing624 shibing624 released this 02 Nov 06:42
· 11 commits to main since this release
1.1.2
cba05f3

1.1.2版本

  1. GPT模型支持了NEFTune给embedding加噪SFT训练方法，SFT中使用 --neft_alpha 参数启用 NEFTune，例如 --neft_alpha 5，示例代码：https://github.com/shibing624/textgen/blob/main/examples/gpt/training_llama_demo.py

  2. 兼容了 ChatGLM-6B 1,2,3 / Baichuan 1,2 / LLaMA 1,2 / BLOOM / Mistral / QWen 等GPT模型LoRA微调训练和预测，可以用于多轮对话微调训练

Full Changelog: 1.1.1...1.1.2

Assets 2
Loading