We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
由于前面执行过程中的不断试错,目前通过CUDA_VISIBLE_DEVICES=1,2,3 python webui.py --model_name_or_path /home/Lij/SEA-main/test_sea/ --template mistral --infer_type llama_factory这条指令能打开对应的gradio页面并能成功上传提交pdf,但是submit了后,会出现如下报错,在远程服务器对应地址确实没找到sea.mmd报错信息具体如下(一共两部分报错,内存不足+无.mmd文件):
至于内存不足的问题,我有如下思考:是否是因为run_review_transformers.py第36行,即使在终端执行指令中指定使用多卡但仍会默认只选择第一张gpu执行。如果是因为这个原因,又应该如何修改才能实现多gpu执行呢? 对于没有生成.mmd文件的报错无从下手。
期待回复,感谢!
The text was updated successfully, but these errors were encountered:
您好,我推测你运行时报错的顺序是首先内存不足然后是.mmd文件没有的错误,这样的错误原因是在线系统运行时不会中断,因此解析阶段显存不足(nougat是个vit模型)先导致pdf没有解析成mmd文件,之后review的时候找不到解析的pdf文件因而再次报错。 因为系统涉及多个模块,因此目前在线系统只能单卡部署(80g显存的卡都没问题),如果只能多卡,可行的解决方法是先运行parse_pdf对pdf进行解析得到mmd文件,然后运行inference代码进行review(或者直接多卡运行系统,解析超显存不用理会,这时已经有mmd文件了就可以直接review了)。
Sorry, something went wrong.
No branches or pull requests
由于前面执行过程中的不断试错,目前通过CUDA_VISIBLE_DEVICES=1,2,3 python webui.py --model_name_or_path
/home/Lij/SEA-main/test_sea/ --template mistral --infer_type llama_factory这条指令能打开对应的gradio页面并能成功上传提交pdf,但是submit了后,会出现如下报错,在远程服务器对应地址确实没找到sea.mmd报错信息具体如下(一共两部分报错,内存不足+无.mmd文件):
至于内存不足的问题,我有如下思考:是否是因为run_review_transformers.py第36行,即使在终端执行指令中指定使用多卡但仍会默认只选择第一张gpu执行。如果是因为这个原因,又应该如何修改才能实现多gpu执行呢?
对于没有生成.mmd文件的报错无从下手。
期待回复,感谢!
The text was updated successfully, but these errors were encountered: