PaddleNLP 2.3.6 Release Note Candidate

[w5688414]

New Features

Pipelines

• Pipelines融入RocketQA轻量化小模型。Add ernie 3.0 based rocketqa into pipelines #3078
• 新增基于ERNIE3.0的RocketQA召回模型。 Add ERNIE 3.0 based rocketqa DualEncoder models #3033
• 新增基于ERNIE3.0的RocketQA排序模型。 Add ERNIE 3.0 based RocketQA Ranker models #3019

文本分类Application

• 新增analysis模块 。add analysis module in text classification application #3011
• 新增基于检索的文本分类。 Add retrieval based classification #2836
• 新增小样本场景下的文本分类。[prompt] add prompt and text classification examples #2894

Neural Search

• Milvus升级到2.1版本。 Add and upgrade to Milvus2.0 support for neural search #2945

Taskflow

• Taskflow集成RocketQA的排序模型，用于语义相似度计算。 Add text semantic matching for taskflow #3003

文本生成

• Generation API 支持自定义 logits_processor Add unit tests for generation models #3018
• Generation API 支持 get_decoder_start_token_id() 方法获取模型 decoder_start_token_id Add unit tests for generation models #3018
• BART 模型支持 get_input_embeddings() 和 set_input_embeddings() 方法获取 embeddings Add unit tests for generation models #3018
• GPT 模型支持 get_vocab() 方法获取词表 Add unit tests for generation models #3018

预训练 ERNIE

• 支持ernie-3.0-base-zh等其他权重进行预训练
• 支持多个数据集组合输入，支持重计算功能 [Recompute] Support ernie for dygraph recompute. #2849
• 支持从内置权重开始训练
• 优化了日志显示，默认展示全局loss [Pre-Training] Enhance ERNIE pretrain with additional chinese char #2667

文图生成

• 新增Dalle-mini文图生成模型。[NEW MODEL]Add DALL-E mini Model #2917
• 新增阿里EasyNLP中的文图文图生成模型。Add EasyNLP Text2Image model #2968
• 新增文图生成的TaskFLow。Add Text2Image into Taskflow #2988

Bug Fix

• 修复 BART tokenizer 获取 bos_token_id 出错问题 Fix bart tokenizer #3058
• 修复 BART tokenizer 无法设置 model_max_length 问题 Add unit tests for generation models #3018
• 修复 Pipelines的随机问题生成按钮报错问题和搜索问题回退到上一个搜索结果的问题。 Fix random generate question ui error and search results re display of pipelines #2954
• 修复Pipelines在python3.7上利用faiss抽向量引起的问题。 Fix faiss index batch_size bug on python3.7 and update es config for … #2965

• 修复tokenizer resize-token-embeddings 方法 fix resize token embedding method #2763
• 修复OPT 示例代码 update opt sample & decoding #3064

其他

• 支持FasterGPT的word_embeddings 和 lm_head.decoder_weight的权重不共享。FasterGPT share word_embeddings weight #2953
• 重构RoFormer，新增RoFormerForCausalLM类，支持roformer-sim相似句生成 。Refactor RoFormer Model #3049
• 更新Ernie模型，当type_vocab_size=0时，表示不使用token_type_id。 [Update Ernie] if type_vocab_size == 0 we do not use token type id #3075

模型单测

• 新增Ernie-Gram模型单测 [UnitTest] Add ernie gram unittest #3059
• 新增TinyBert模型单测 [Unittest]add tinybert unittest #2992
• 新增Roformer 模型单测 [Unittest]Add roformer unittest #2991
• 新增Ernie-M模型单测 [Unittest] add ernie-m unittest #2964
• 新增Skep模型单测 add skep unittest & fix skep modeling #2941
• 新增Electra和 XLNet模型单测 [Unittest]Add unittest for Electra and XLNet model #3031
• 新增 RoBERTa, ALBERT 和 ERNIE模型的单测 [Unittest] Add unittest for RoBERTa, ALBERT and ERNIE #2972

New Contributors

[wj-Mcat]

模型单测

• 新增Ernie-Gram模型单测 [UnitTest] Add ernie gram unittest #3059
• 新增TinyBert模型单测 [Unittest]add tinybert unittest #2992
• 新增Roformer 模型单测 [Unittest]Add roformer unittest #2991
• 新增Ernie-M模型单测 [Unittest] add ernie-m unittest #2964
• 新增Skep模型单测 add skep unittest & fix skep modeling #2941

Bug Fix

• 修复tokenizer resize-token-embeddings 方法 fix resize token embedding method #2763
• 修复OPT 示例代码 update opt sample & decoding #3064

[JunnYu]

文图生成

• 新增Dalle-mini文图生成模型。[NEW MODEL]Add DALL-E mini Model #2917
• 新增阿里EasyNLP中的文图文图生成模型。Add EasyNLP Text2Image model #2968
• 新增文图生成的TaskFLow。Add Text2Image into Taskflow #2988

其他

• 支持FasterGPT的word_embeddings 和 lm_head.decoder_weight的权重不共享。FasterGPT share word_embeddings weight #2953
• 重构RoFormer，新增RoFormerForCausalLM类，支持roformer-sim相似句生成 。Refactor RoFormer Model #3049
• 更新Ernie模型，当type_vocab_size=0时，表示不使用token_type_id。 [Update Ernie] if type_vocab_size == 0 we do not use token type id #3075