From af3594fc13d10322521a165f672f0206ed391cd7 Mon Sep 17 00:00:00 2001 From: yingyibiao Date: Wed, 18 May 2022 20:27:13 +0800 Subject: [PATCH] fix --- .../recall/domain_adaptive_pretraining/data_tools/README.md | 2 +- examples/benchmark/clue/README.md | 2 +- examples/benchmark/glue/README.md | 2 +- examples/dependency_parsing/ddparser/README.md | 2 +- examples/information_extraction/DuEE/README.md | 2 +- examples/information_extraction/DuEE/classifier.py | 2 +- examples/information_extraction/DuIE/README.md | 2 +- examples/information_extraction/msra_ner/README.md | 4 ++-- examples/sentiment_analysis/skep/README.md | 2 +- examples/text_classification/pretrained_models/README.md | 2 +- examples/text_generation/ernie-gen/README.md | 4 ++-- examples/text_matching/ernie_matching/README.md | 2 +- examples/text_matching/sentence_transformers/README.md | 2 +- model_zoo/ernie-1.0/data_tools/README.md | 2 +- 14 files changed, 16 insertions(+), 16 deletions(-) diff --git a/applications/neural_search/recall/domain_adaptive_pretraining/data_tools/README.md b/applications/neural_search/recall/domain_adaptive_pretraining/data_tools/README.md index b3897f443de6..7169aa956874 100644 --- a/applications/neural_search/recall/domain_adaptive_pretraining/data_tools/README.md +++ b/applications/neural_search/recall/domain_adaptive_pretraining/data_tools/README.md @@ -103,7 +103,7 @@ optional arguments: -h, --help show this help message and exit --model_name MODEL_NAME What model to use. - 必须设置，如：ernie-1.0, 可以参考已有的模型名称 https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/transformers.rst + 必须设置，如：ernie-1.0, 可以参考已有的模型名称 https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer --tokenizer_name {ErnieTokenizer,BertTokenizer,GPTTokenizer,GPTChineseTokenizer} What type of tokenizer to use. 模型对应的tokenizer, 目前暂时只支持 Ernie，Bert，GPT diff --git a/examples/benchmark/clue/README.md b/examples/benchmark/clue/README.md index d43a1499abaf..f9fe0e3ebc59 100644 --- a/examples/benchmark/clue/README.md +++ b/examples/benchmark/clue/README.md @@ -559,7 +559,7 @@ python -u ./run_clue_classifier.py \ 另外，如需评估，传入参数 `--do_eval` 即可，如果只对读入的 checkpoint 进行评估不训练，则不需传入 `--do_train`。 其中参数释义如下： -- `model_name_or_path` 指示了 Fine-tuning 使用的具体预训练模型，可以是 PaddleNLP 提供的预训练模型，可以选择[Transformer预训练模型汇总](../../../docs/model_zoo/transformers.rst)中相对应的中文预训练权重。注意 CLUE 任务应选择中文预训练权重。 +- `model_name_or_path` 指示了 Fine-tuning 使用的具体预训练模型，可以是 PaddleNLP 提供的预训练模型，可以选择[Transformer预训练模型汇总](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 中相对应的中文预训练权重。注意 CLUE 任务应选择中文预训练权重。 - `task_name` 表示 Fine-tuning 的分类任务，当前支持 AFQMC、TNEWS、IFLYTEK、OCNLI、CMNLI、CSL、CLUEWSC2020。 - `max_seq_length` 表示最大句子长度，超过该长度将被截断。 diff --git a/examples/benchmark/glue/README.md b/examples/benchmark/glue/README.md index 476f24a4effd..9e98c57fb55b 100644 --- a/examples/benchmark/glue/README.md +++ b/examples/benchmark/glue/README.md @@ -52,7 +52,7 @@ python -m paddle.distributed.launch --gpus "0,1" run_glue.py \ ``` 其中参数释义如下： - `model_name_or_path` 指示了Fine-tuning使用的具体预训练模型，可以是PaddleNLP提供的预训练模型 或者 本地的预训练模型。如果使用本地的预训练模型，可以配置本地模型的目录地址，例如: /home/xx_model/，目录中需包含paddle预训练模型model_state.pdparams。 -如果使用PaddleNLP提供的预训练模型，可以选择`model_type`在[Transformer预训练模型汇总](../../../docs/model_zoo/transformers.rst)中相对应的英文预训练权重。注意这里选择的模型权重要和上面配置的模型类型匹配，例如model_type 配置的是bert，则model_name_or_path只能选择bert相关的模型。另，glue任务应选择英文预训练权重。 +如果使用PaddleNLP提供的预训练模型，可以选择`model_type`在[Transformer预训练模型汇总](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 中相对应的英文预训练权重。注意这里选择的模型权重要和上面配置的模型类型匹配，例如model_type 配置的是bert，则model_name_or_path只能选择bert相关的模型。另，glue任务应选择英文预训练权重。 - `tokenizer_name_or_path` 指示了Fine-tuning使用的具体tokenizer，一般保持和model_name_or_path一致，也可以单独指定 - `task_name` 表示 Fine-tuning 的任务，当前支持CoLA、SST-2、MRPC、STS-B、QQP、MNLI、QNLI、RTE。 - `max_seq_length` 表示最大句子长度，超过该长度将被截断。 diff --git a/examples/dependency_parsing/ddparser/README.md b/examples/dependency_parsing/ddparser/README.md index 4e7c24bf2dc6..244e50b402b4 100644 --- a/examples/dependency_parsing/ddparser/README.md +++ b/examples/dependency_parsing/ddparser/README.md @@ -15,7 +15,7 @@ 依存句法分析任务通过分析句子中词语之间的依存关系来确定句子的句法结构， 该项目是基于Paddle v2.1的[baidu/ddparser](https://github.com/baidu/DDParser)实现， 模型结构为[Deep Biaffine Attention for Neural Dependency Parsing](https://arxiv.org/abs/1611.01734)。 -同时本项目引入了[ERNIE](https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/transformers.rst)系列预训练模型， +同时本项目引入了[ERNIE](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 系列预训练模型， 用户可以基于预训练模型finetune完成依存句法分析训练（参考以下[示例](#模型训练)）。 ## 快速开始 diff --git a/examples/information_extraction/DuEE/README.md b/examples/information_extraction/DuEE/README.md index 3cd693b9b48d..37886fae6cab 100644 --- a/examples/information_extraction/DuEE/README.md +++ b/examples/information_extraction/DuEE/README.md @@ -213,7 +213,7 @@ f1_score = (2 * P * R) / (P + R)，其中 ## 进阶优化基线效果 基线采用的预训练模型为ERNIE，PaddleNLP提供了丰富的预训练模型，如BERT，RoBERTa，Electra，XLNet等 -参考[PaddleNLP预训练模型介绍](../../../docs/model_zoo/transformers.rst) +参考[PaddleNLP预训练模型介绍](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 如可以选择RoBERTa large中文模型优化模型效果，只需更换模型和tokenizer即可无缝衔接。 diff --git a/examples/information_extraction/DuEE/classifier.py b/examples/information_extraction/DuEE/classifier.py index 613b3f990fc1..948f08de4c0b 100644 --- a/examples/information_extraction/DuEE/classifier.py +++ b/examples/information_extraction/DuEE/classifier.py @@ -37,7 +37,7 @@ # warnings.filterwarnings('ignore') """ For All pre-trained model（English and Chinese), -Please refer to https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/transformers.rst. +Please refer to https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer """ # yapf: disable diff --git a/examples/information_extraction/DuIE/README.md b/examples/information_extraction/DuIE/README.md index a17a3e76b595..bbf0ba1d1436 100644 --- a/examples/information_extraction/DuIE/README.md +++ b/examples/information_extraction/DuIE/README.md @@ -125,7 +125,7 @@ python re_official_evaluation.py --golden_file=dev_data.json --predict_file=pre ## 进阶优化基线效果 基线采用的预训练模型为ERNIE，PaddleNLP提供了丰富的预训练模型，如BERT，RoBERTa，Electra，XLNet等 -参考[PaddleNLP预训练模型介绍](../../../docs/model_zoo/transformers.rst) +参考[PaddleNLP预训练模型介绍](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 如可以选择RoBERTa large中文模型优化模型效果，只需更换模型和tokenizer即可无缝衔接。 diff --git a/examples/information_extraction/msra_ner/README.md b/examples/information_extraction/msra_ner/README.md index 39ecdf0c74e1..3323f92a1020 100644 --- a/examples/information_extraction/msra_ner/README.md +++ b/examples/information_extraction/msra_ner/README.md @@ -36,7 +36,7 @@ python -u ./train.py \ 其中参数释义如下： - `model_type`: 指定模型的类型，可选的有 bert、ernie、ernie-ctm。 -- `model_name_or_path`: 指示了某种特定配置的模型，对应有其预训练模型和预训练时使用的 tokenizer，支持[PaddleNLP Transformer API](../../../docs/model_zoo/transformers.rst)中除ernie-gen以外的所有模型。若使用其他系列模型，需修改脚本导入相应的Task和Tokenizer。若模型相关内容保存在本地，这里也可以提供相应目录地址。 +- `model_name_or_path`: 指示了某种特定配置的模型，对应有其预训练模型和预训练时使用的 tokenizer，支持[PaddleNLP Transformer API](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 中除ernie-gen以外的所有模型。若使用其他系列模型，需修改脚本导入相应的Task和Tokenizer。若模型相关内容保存在本地，这里也可以提供相应目录地址。 - `dataset`: 目前支持 msra_ner 和 peoples_daily_ner 数据集。 - `max_seq_length`: 表示最大句子长度，超过该长度将被截断。 - `batch_size`: 表示每次迭代**每张卡**上的样本数目。 @@ -118,7 +118,7 @@ python -u ./predict.py \ ### 使用其它预训练模型 -请参考[Transformer API文档](../../../docs/model_zoo/transformers.rst)了解更多PaddleNLP支持的预训练模型信息，并更换`--model_name_or_path`参数即可对比其他预训练模型的效果。 +请参考[Transformer API文档](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 了解更多PaddleNLP支持的预训练模型信息，并更换`--model_name_or_path`参数即可对比其他预训练模型的效果。 ## Reference diff --git a/examples/sentiment_analysis/skep/README.md b/examples/sentiment_analysis/skep/README.md index 343da0cef193..a88417692b3b 100644 --- a/examples/sentiment_analysis/skep/README.md +++ b/examples/sentiment_analysis/skep/README.md @@ -122,7 +122,7 @@ model = paddlenlp.transformers.SkepForSequenceClassification.from_pretrained( tokenizer = paddlenlp.transformers.SkepTokenizer.from_pretrained( "skep_ernie_1.0_large_ch") ``` -更多预训练模型，参考[transformers](../../../docs/model_zoo/transformers.rst) +更多预训练模型，参考[transformers](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 程序运行时将会自动进行训练，评估，测试。同时训练过程中会自动保存模型在指定的`save_dir`中。 diff --git a/examples/text_classification/pretrained_models/README.md b/examples/text_classification/pretrained_models/README.md index cf116006724e..f72b59a6298f 100644 --- a/examples/text_classification/pretrained_models/README.md +++ b/examples/text_classification/pretrained_models/README.md @@ -103,7 +103,7 @@ tokenizer = AutoTokenizer.from_pretrained('ernie-1.0-base-zh') model = AutoModelForSequenceClassification.from_pretrained('bert-base-chinese', num_class=2) tokenizer = AutoTokenizer.from_pretrained('bert-base-chinese') ``` -更多预训练模型，参考[transformers](../../../docs/model_zoo/transformers.rst) +更多预训练模型，参考[transformers](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 程序运行时将会自动进行训练，评估，测试。同时训练过程中会自动保存模型在指定的`save_dir`中。 diff --git a/examples/text_generation/ernie-gen/README.md b/examples/text_generation/ernie-gen/README.md index b035a89b025e..4d236818fd22 100644 --- a/examples/text_generation/ernie-gen/README.md +++ b/examples/text_generation/ernie-gen/README.md @@ -53,7 +53,7 @@ python -u ./train.py \ ``` 参数释义如下： -- `model_name_or_path` 指示了某种特定配置的模型，对应有其预训练模型和预训练时使用的 tokenizer，支持[PaddleNLP Transformer类预训练模型](../../../docs/model_zoo/transformers.rst)中的所有模型，但只有`ernie-gen-base-en, ernie-gen-large-en, ernie-gen-large-en-430g`三种模型会加载最后输出层的参数，其余模型只会加载transformer参数作热启动。若模型相关内容保存在本地，这里也可以提供相应目录地址。 +- `model_name_or_path` 指示了某种特定配置的模型，对应有其预训练模型和预训练时使用的 tokenizer，支持[PaddleNLP Transformer类预训练模型](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 中的所有模型，但只有`ernie-gen-base-en, ernie-gen-large-en, ernie-gen-large-en-430g`三种模型会加载最后输出层的参数，其余模型只会加载transformer参数作热启动。若模型相关内容保存在本地，这里也可以提供相应目录地址。 - `max_encode_len` 表示最大输入句子长度，超过该长度将被截断。 - `max_decode_len` 表示最大输出句子长度，超过该长度将被截断。 - `batch_size` 表示每次迭代**每张卡**上的样本数目。 @@ -101,7 +101,7 @@ python -u ./eval.py \ ``` 参数释义如下： -- `model_name_or_path` 指示了某种特定配置的模型，对应有其预训练模型和预训练时使用的 tokenizer，支持[PaddleNLP Transformer类预训练模型](../../../docs/model_zoo/transformers.rst)中的所有模型，但只有`ernie-gen-base-en, ernie-gen-large-en, ernie-gen-large-en-430g`三种模型会加载最后输出层的参数，其余模型只会加载transformer参数作热启动。若模型相关内容保存在本地，这里也可以提供相应目录地址。 +- `model_name_or_path` 指示了某种特定配置的模型，对应有其预训练模型和预训练时使用的 tokenizer，支持[PaddleNLP Transformer类预训练模型](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 中的所有模型，但只有`ernie-gen-base-en, ernie-gen-large-en, ernie-gen-large-en-430g`三种模型会加载最后输出层的参数，其余模型只会加载transformer参数作热启动。若模型相关内容保存在本地，这里也可以提供相应目录地址。 - `max_encode_len` 表示最大输入句子长度，超过该长度将被截断。 - `max_decode_len` 表示最大输出句子长度，超过该长度将被截断。 - `batch_size` 表示每次迭代**每张卡**上的样本数目。 diff --git a/examples/text_matching/ernie_matching/README.md b/examples/text_matching/ernie_matching/README.md index cf4a2f12d60c..92bbb3476de5 100644 --- a/examples/text_matching/ernie_matching/README.md +++ b/examples/text_matching/ernie_matching/README.md @@ -99,7 +99,7 @@ tokenizer = ppnlp.transformers.ErnieGramTokenizer.from_pretrained('ernie-gram-zh # tokenizer = ppnlp.transformers.RobertaTokenizer.from_pretrained('roberta-wwm-ext-large') ``` -更多预训练模型，参考[transformers](../../../docs/model_zoo/transformers.rst) +更多预训练模型，参考[transformers](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 程序运行时将会自动进行训练，评估。同时训练过程中会自动保存模型在指定的`save_dir`中。 如： diff --git a/examples/text_matching/sentence_transformers/README.md b/examples/text_matching/sentence_transformers/README.md index 3d2211fe6b66..ad58a254033c 100644 --- a/examples/text_matching/sentence_transformers/README.md +++ b/examples/text_matching/sentence_transformers/README.md @@ -125,7 +125,7 @@ tokenizer = ppnlp.transformers.ErnieTokenizer.from_pretrained('ernie-1.0-base-zh # tokenizer = ppnlp.transformers.RobertaTokenizer.from_pretrained('roberta-wwm-ext-large') ``` -更多预训练模型，参考[transformers](../../../docs/model_zoo/transformers.rst) +更多预训练模型，参考[transformers](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 程序运行时将会自动进行训练，评估，测试。同时训练过程中会自动保存模型在指定的`save_dir`中。 如： diff --git a/model_zoo/ernie-1.0/data_tools/README.md b/model_zoo/ernie-1.0/data_tools/README.md index 397686e18727..8e9e664feca1 100644 --- a/model_zoo/ernie-1.0/data_tools/README.md +++ b/model_zoo/ernie-1.0/data_tools/README.md @@ -102,7 +102,7 @@ optional arguments: -h, --help show this help message and exit --model_name MODEL_NAME What model to use. - 必须设置，如：ernie-1.0-base-zh, 可以参考已有的模型名称 https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/transformers.rst + 必须设置，如：ernie-1.0-base-zh, 可以参考已有的模型名称 https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer --tokenizer_name {ErnieTokenizer,BertTokenizer,GPTTokenizer,GPTChineseTokenizer} What type of tokenizer to use. 模型对应的tokenizer, 目前暂时只支持 Ernie，Bert，GPT