Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

即使下载了nougat-ocr==0.1.17,在submit pdf之后仍然有No such file or directory,即没有.mmd文件的报错 #1

Open
DIAOROUQINGNIAN opened this issue Jul 22, 2024 · 1 comment
Labels

Comments

@DIAOROUQINGNIAN
Copy link

由于前面执行过程中的不断试错,目前通过CUDA_VISIBLE_DEVICES=1,2,3 python webui.py --model_name_or_path
/home/Lij/SEA-main/test_sea/ --template mistral --infer_type llama_factory这条指令能打开对应的gradio页面并能成功上传提交pdf,但是submit了后,会出现如下报错,在远程服务器对应地址确实没找到sea.mmd报错信息具体如下(一共两部分报错,内存不足+无.mmd文件):

image
image

至于内存不足的问题,我有如下思考:是否是因为run_review_transformers.py第36行,即使在终端执行指令中指定使用多卡但仍会默认只选择第一张gpu执行。如果是因为这个原因,又应该如何修改才能实现多gpu执行呢?
对于没有生成.mmd文件的报错无从下手。

期待回复,感谢!

@heroding77
Copy link
Collaborator

您好,我推测你运行时报错的顺序是首先内存不足然后是.mmd文件没有的错误,这样的错误原因是在线系统运行时不会中断,因此解析阶段显存不足(nougat是个vit模型)先导致pdf没有解析成mmd文件,之后review的时候找不到解析的pdf文件因而再次报错。
因为系统涉及多个模块,因此目前在线系统只能单卡部署(80g显存的卡都没问题),如果只能多卡,可行的解决方法是先运行parse_pdf对pdf进行解析得到mmd文件,然后运行inference代码进行review(或者直接多卡运行系统,解析超显存不用理会,这时已经有mmd文件了就可以直接review了)。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
Projects
None yet
Development

No branches or pull requests

2 participants