Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Fix deadlinks #2230

Merged
merged 2 commits into from
May 18, 2022
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Original file line number Diff line number Diff line change
Expand Up @@ -103,7 +103,7 @@ optional arguments:
-h, --help show this help message and exit
--model_name MODEL_NAME
What model to use.
必须设置,如:ernie-1.0, 可以参考已有的模型名称 https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/transformers.rst
必须设置,如:ernie-1.0, 可以参考已有的模型名称 https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer
--tokenizer_name {ErnieTokenizer,BertTokenizer,GPTTokenizer,GPTChineseTokenizer}
What type of tokenizer to use.
模型对应的tokenizer, 目前暂时只支持 Ernie,Bert,GPT
Expand Down
2 changes: 1 addition & 1 deletion examples/benchmark/clue/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -598,8 +598,8 @@ python -u ./run_clue_classifier.py \
另外,如需评估,传入参数 `--do_eval` 即可,如果只对读入的 checkpoint 进行评估不训练,则不需传入 `--do_train`。

其中参数释义如下:
- `model_name_or_path` 指示了 Fine-tuning 使用的具体预训练模型,可以是 PaddleNLP 提供的预训练模型,可以选择[Transformer预训练模型汇总](../../../docs/model_zoo/index.rst)中相对应的中文预训练权重。注意 CLUE 任务应选择中文预训练权重。

- `model_name_or_path` 指示了 Fine-tuning 使用的具体预训练模型,可以是 PaddleNLP 提供的预训练模型,可以选择[Transformer预训练模型汇总](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 中相对应的中文预训练权重。注意 CLUE 任务应选择中文预训练权重。
- `task_name` 表示 Fine-tuning 的分类任务,当前支持 AFQMC、TNEWS、IFLYTEK、OCNLI、CMNLI、CSL、CLUEWSC2020。
- `max_seq_length` 表示最大句子长度,超过该长度将被截断。
- `batch_size` 表示每次迭代**每张卡**上的样本数目。
Expand Down
2 changes: 1 addition & 1 deletion examples/benchmark/glue/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -52,7 +52,7 @@ python -m paddle.distributed.launch --gpus "0,1" run_glue.py \
```
其中参数释义如下:
- `model_name_or_path` 指示了Fine-tuning使用的具体预训练模型,可以是PaddleNLP提供的预训练模型 或者 本地的预训练模型。如果使用本地的预训练模型,可以配置本地模型的目录地址,例如: /home/xx_model/,目录中需包含paddle预训练模型model_state.pdparams。
如果使用PaddleNLP提供的预训练模型,可以选择`model_type`在[Transformer预训练模型汇总](../../../docs/model_zoo/transformers.rst)中相对应的英文预训练权重。注意这里选择的模型权重要和上面配置的模型类型匹配,例如model_type 配置的是bert,则model_name_or_path只能选择bert相关的模型。另,glue任务应选择英文预训练权重。
如果使用PaddleNLP提供的预训练模型,可以选择`model_type`在[Transformer预训练模型汇总](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 中相对应的英文预训练权重。注意这里选择的模型权重要和上面配置的模型类型匹配,例如model_type 配置的是bert,则model_name_or_path只能选择bert相关的模型。另,glue任务应选择英文预训练权重。
- `tokenizer_name_or_path` 指示了Fine-tuning使用的具体tokenizer,一般保持和model_name_or_path一致,也可以单独指定
- `task_name` 表示 Fine-tuning 的任务,当前支持CoLA、SST-2、MRPC、STS-B、QQP、MNLI、QNLI、RTE。
- `max_seq_length` 表示最大句子长度,超过该长度将被截断。
Expand Down
2 changes: 1 addition & 1 deletion examples/dependency_parsing/ddparser/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -15,7 +15,7 @@
依存句法分析任务通过分析句子中词语之间的依存关系来确定句子的句法结构,
该项目是基于Paddle v2.1的[baidu/ddparser](https://github.com/baidu/DDParser)实现,
模型结构为[Deep Biaffine Attention for Neural Dependency Parsing](https://arxiv.org/abs/1611.01734)。
同时本项目引入了[ERNIE](https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/transformers.rst)系列预训练模型,
同时本项目引入了[ERNIE](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 系列预训练模型,
用户可以基于预训练模型finetune完成依存句法分析训练(参考以下[示例](#模型训练))。

## 快速开始
Expand Down
2 changes: 1 addition & 1 deletion examples/information_extraction/DuEE/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -213,7 +213,7 @@ f1_score = (2 * P * R) / (P + R),其中
## 进阶优化基线效果

基线采用的预训练模型为ERNIE,PaddleNLP提供了丰富的预训练模型,如BERT,RoBERTa,Electra,XLNet等
参考[PaddleNLP预训练模型介绍](../../../docs/model_zoo/transformers.rst)
参考[PaddleNLP预训练模型介绍](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer)

如可以选择RoBERTa large中文模型优化模型效果,只需更换模型和tokenizer即可无缝衔接。

Expand Down
2 changes: 1 addition & 1 deletion examples/information_extraction/DuEE/classifier.py
Original file line number Diff line number Diff line change
Expand Up @@ -37,7 +37,7 @@
# warnings.filterwarnings('ignore')
"""
For All pre-trained model(English and Chinese),
Please refer to https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/transformers.rst.
Please refer to https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer
"""

# yapf: disable
Expand Down
2 changes: 1 addition & 1 deletion examples/information_extraction/DuIE/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -125,7 +125,7 @@ python re_official_evaluation.py --golden_file=dev_data.json --predict_file=pre
## 进阶优化基线效果

基线采用的预训练模型为ERNIE,PaddleNLP提供了丰富的预训练模型,如BERT,RoBERTa,Electra,XLNet等
参考[PaddleNLP预训练模型介绍](../../../docs/model_zoo/transformers.rst)
参考[PaddleNLP预训练模型介绍](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer)

如可以选择RoBERTa large中文模型优化模型效果,只需更换模型和tokenizer即可无缝衔接。

Expand Down
4 changes: 2 additions & 2 deletions examples/information_extraction/msra_ner/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -36,7 +36,7 @@ python -u ./train.py \

其中参数释义如下:
- `model_type`: 指定模型的类型,可选的有 bert、ernie、ernie-ctm。
- `model_name_or_path`: 指示了某种特定配置的模型,对应有其预训练模型和预训练时使用的 tokenizer,支持[PaddleNLP Transformer API](../../../docs/model_zoo/transformers.rst)中除ernie-gen以外的所有模型。若使用其他系列模型,需修改脚本导入相应的Task和Tokenizer。若模型相关内容保存在本地,这里也可以提供相应目录地址。
- `model_name_or_path`: 指示了某种特定配置的模型,对应有其预训练模型和预训练时使用的 tokenizer,支持[PaddleNLP Transformer API](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 中除ernie-gen以外的所有模型。若使用其他系列模型,需修改脚本导入相应的Task和Tokenizer。若模型相关内容保存在本地,这里也可以提供相应目录地址。
- `dataset`: 目前支持 msra_ner 和 peoples_daily_ner 数据集。
- `max_seq_length`: 表示最大句子长度,超过该长度将被截断。
- `batch_size`: 表示每次迭代**每张卡**上的样本数目。
Expand Down Expand Up @@ -118,7 +118,7 @@ python -u ./predict.py \

### 使用其它预训练模型

请参考[Transformer API文档](../../../docs/model_zoo/transformers.rst)了解更多PaddleNLP支持的预训练模型信息,并更换`--model_name_or_path`参数即可对比其他预训练模型的效果。
请参考[Transformer API文档](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 了解更多PaddleNLP支持的预训练模型信息,并更换`--model_name_or_path`参数即可对比其他预训练模型的效果。

## Reference

Expand Down
2 changes: 1 addition & 1 deletion examples/sentiment_analysis/skep/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -122,7 +122,7 @@ model = paddlenlp.transformers.SkepForSequenceClassification.from_pretrained(
tokenizer = paddlenlp.transformers.SkepTokenizer.from_pretrained(
"skep_ernie_1.0_large_ch")
```
更多预训练模型,参考[transformers](../../../docs/model_zoo/transformers.rst)
更多预训练模型,参考[transformers](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer)


程序运行时将会自动进行训练,评估,测试。同时训练过程中会自动保存模型在指定的`save_dir`中。
Expand Down
2 changes: 1 addition & 1 deletion examples/text_classification/pretrained_models/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -103,7 +103,7 @@ tokenizer = AutoTokenizer.from_pretrained('ernie-1.0-base-zh')
model = AutoModelForSequenceClassification.from_pretrained('bert-base-chinese', num_class=2)
tokenizer = AutoTokenizer.from_pretrained('bert-base-chinese')
```
更多预训练模型,参考[transformers](../../../docs/model_zoo/transformers.rst)
更多预训练模型,参考[transformers](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer)


程序运行时将会自动进行训练,评估,测试。同时训练过程中会自动保存模型在指定的`save_dir`中。
Expand Down
4 changes: 2 additions & 2 deletions examples/text_generation/ernie-gen/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -53,7 +53,7 @@ python -u ./train.py \
```

参数释义如下:
- `model_name_or_path` 指示了某种特定配置的模型,对应有其预训练模型和预训练时使用的 tokenizer,支持[PaddleNLP Transformer类预训练模型](../../../docs/model_zoo/transformers.rst)中的所有模型,但只有`ernie-gen-base-en, ernie-gen-large-en, ernie-gen-large-en-430g`三种模型会加载最后输出层的参数,其余模型只会加载transformer参数作热启动。若模型相关内容保存在本地,这里也可以提供相应目录地址。
- `model_name_or_path` 指示了某种特定配置的模型,对应有其预训练模型和预训练时使用的 tokenizer,支持[PaddleNLP Transformer类预训练模型](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 中的所有模型,但只有`ernie-gen-base-en, ernie-gen-large-en, ernie-gen-large-en-430g`三种模型会加载最后输出层的参数,其余模型只会加载transformer参数作热启动。若模型相关内容保存在本地,这里也可以提供相应目录地址。
- `max_encode_len` 表示最大输入句子长度,超过该长度将被截断。
- `max_decode_len` 表示最大输出句子长度,超过该长度将被截断。
- `batch_size` 表示每次迭代**每张卡**上的样本数目。
Expand Down Expand Up @@ -101,7 +101,7 @@ python -u ./eval.py \
```

参数释义如下:
- `model_name_or_path` 指示了某种特定配置的模型,对应有其预训练模型和预训练时使用的 tokenizer,支持[PaddleNLP Transformer类预训练模型](../../../docs/model_zoo/transformers.rst)中的所有模型,但只有`ernie-gen-base-en, ernie-gen-large-en, ernie-gen-large-en-430g`三种模型会加载最后输出层的参数,其余模型只会加载transformer参数作热启动。若模型相关内容保存在本地,这里也可以提供相应目录地址。
- `model_name_or_path` 指示了某种特定配置的模型,对应有其预训练模型和预训练时使用的 tokenizer,支持[PaddleNLP Transformer类预训练模型](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer) 中的所有模型,但只有`ernie-gen-base-en, ernie-gen-large-en, ernie-gen-large-en-430g`三种模型会加载最后输出层的参数,其余模型只会加载transformer参数作热启动。若模型相关内容保存在本地,这里也可以提供相应目录地址。
- `max_encode_len` 表示最大输入句子长度,超过该长度将被截断。
- `max_decode_len` 表示最大输出句子长度,超过该长度将被截断。
- `batch_size` 表示每次迭代**每张卡**上的样本数目。
Expand Down
2 changes: 1 addition & 1 deletion examples/text_matching/ernie_matching/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -99,7 +99,7 @@ tokenizer = ppnlp.transformers.ErnieGramTokenizer.from_pretrained('ernie-gram-zh
# tokenizer = ppnlp.transformers.RobertaTokenizer.from_pretrained('roberta-wwm-ext-large')

```
更多预训练模型,参考[transformers](../../../docs/model_zoo/transformers.rst)
更多预训练模型,参考[transformers](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer)

程序运行时将会自动进行训练,评估。同时训练过程中会自动保存模型在指定的`save_dir`中。
如:
Expand Down
2 changes: 1 addition & 1 deletion examples/text_matching/sentence_transformers/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -125,7 +125,7 @@ tokenizer = ppnlp.transformers.ErnieTokenizer.from_pretrained('ernie-1.0-base-zh
# tokenizer = ppnlp.transformers.RobertaTokenizer.from_pretrained('roberta-wwm-ext-large')

```
更多预训练模型,参考[transformers](../../../docs/model_zoo/transformers.rst)
更多预训练模型,参考[transformers](https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer)

程序运行时将会自动进行训练,评估,测试。同时训练过程中会自动保存模型在指定的`save_dir`中。
如:
Expand Down
2 changes: 1 addition & 1 deletion model_zoo/ernie-1.0/data_tools/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -102,7 +102,7 @@ optional arguments:
-h, --help show this help message and exit
--model_name MODEL_NAME
What model to use.
必须设置,如:ernie-1.0-base-zh, 可以参考已有的模型名称 https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/transformers.rst
必须设置,如:ernie-1.0-base-zh, 可以参考已有的模型名称 https://paddlenlp.readthedocs.io/zh/latest/model_zoo/index.html#transformer
--tokenizer_name {ErnieTokenizer,BertTokenizer,GPTTokenizer,GPTChineseTokenizer}
What type of tokenizer to use.
模型对应的tokenizer, 目前暂时只支持 Ernie,Bert,GPT
Expand Down