Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于预训练的问题 #62

Open
zyhxbz opened this issue Jun 14, 2023 · 4 comments
Open

关于预训练的问题 #62

zyhxbz opened this issue Jun 14, 2023 · 4 comments
Labels
documentation Improvements or additions to documentation help wanted Extra attention is needed

Comments

@zyhxbz
Copy link

zyhxbz commented Jun 14, 2023

在对模型进行的预训练时,readme给出的指导并没有给出预训练模型的路径,而只有模型的输出路径,但我想使用训练好的模型接着进行预训练时,得到的结果是未经预训练模型产生的结果,经过实验,如果想使用已经预训练的模型接着进行预训练,应当在运行pretrain.py文件时加入预训练模型的路径参数:--pretrained_modle_path,指明预训练模型的路径

@zxxcjy123
Copy link

在对模型进行的预训练时,readme给出的指导并没有给出预训练模型的路径,而只有模型的输出路径,但我想使用训练好的模型接着进行预训练时,得到的结果是未经预训练模型产生的结果,经过实验,如果想使用已经预训练的模型接着进行预训练,应当在运行 pretrain.py 文件时加入预训练模型的路径参数:--pretrained_modle_path,指明预训练模型的路径

请问一下你进行增量预训练后,预训练模型会在原作者的预训练模型基础上增加你后面添加的预训练知识吗?

@linwhitehat linwhitehat added help wanted Extra attention is needed documentation Improvements or additions to documentation labels Jan 15, 2024
@lional2017
Copy link

实在不行自己魔改代码在预训练前加一句模型读取吧,作者提供的代码问题还挺多的

@mzubair31102
Copy link

Error: Traceback (most recent call last):
Error: File "/content/drive/My Drive/BERT/ET-BERT/fine-tuning/run_classifier.py", line 8, in
Error: from uer.layers import *
Error: ModuleNotFoundError: No module named 'uer'

@linwhitehat
Copy link
Owner

在对模型进行的预训练时,readme给出的指导并没有给出预训练模型的路径,而只有模型的输出路径,但我想使用训练好的模型接着进行预训练时,得到的结果是未经预训练模型产生的结果,经过实验,如果想使用已经预训练的模型接着进行预训练,应当在运行pretrain.py文件时加入预训练模型的路径参数:--pretrained_modle_path,指明预训练模型的路径

感谢对我们的工作的支持。目前已更新补充继续预训练的参数说明。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
documentation Improvements or additions to documentation help wanted Extra attention is needed
Projects
None yet
Development

No branches or pull requests

5 participants