-
Notifications
You must be signed in to change notification settings - Fork 1
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
[BUG]Windows系统环境中的兼容性错误 #4
Comments
环境:cuda11.8 |
好像是pytorch就有这个问题,PyTorch 2.0 not working on Windows #90768 我看看怎么解决,不行就把 |
然后然报错了一个😢
|
transformers-4.28.1 |
我的锅。我以为我是分开写的,结果写到一起了。 config.py第86行 |
@wlingzhenyu 抱歉,没说清楚(也没按规范分开写) |
还是会出现报错😶🌫️,貌似还是没解决
|
有可能是我的transformers有版本问题吗 |
transformers 4.28.1 |
我的也更新到了4.28.1但是没问题。所以应该不是transformers的问题。我仔细看了一下日志,这里显示是autotokenizer加载的问题 File "E:\Users\wling\Desktop\code\U1\.venv\Lib\site-packages\nonebot_plugin_chatglm\config.py", line 66, in <module>
tokenizer = AutoTokenizer.from_pretrained( 我仔细看看,你可以加我qq,1352488443交流一下详细情况。 |
我想应该是这样一个情况:我准备的默认安装路径是Linux格式的,自动下载并转移保存后,再次加载时,autotokenizer找到的路径(modelpath)出错了。你检查一下 大致是 |
chatglm_model指定后成功了,但是当我私聊向他发送hi时有发生了错误😢
|
你发一下chatglm的配置。最终报错结果是没有属性 现在默认的模型是 不过默认的cpu(没写
|
纯cpu推理我是想用JittorLLMs的,问题只在于Jittor魔改了torch,我怕引入新的bug,且影响其他部署好了的项目(比如说stable diffusion),所以没加。 今天有事出门,晚上回家看怎么尽量节省资源进行推理。 |
我使用了chatglm-6b的模型,成功了,但出现了个问题,生成的过程中貌似会占用线程,导致其他功能出现问题 这个问题可以在下一个版本中解决咩 |
ok |
看ChatGLM-6B的官方说明,
在Windows系统上用量化后的模型(int8、int4、int4-qe),要安装gcc。 |
由于之前的思路和写法是用await,所以它是等待返回回复才执行其他命令功能(即占用线程)。 你可以试试nonebot_plugin_ChatGLM6B来实现。 在CUDA推理模式下,较简短的输入大概等候也就10秒内,而CPU推理则30秒或几分钟。本地CPU部署我目前的思路是尽量用别人加速的来实现(比如说JittorLLMs,但这个魔改torch,怕出兼容性问题) |
日志,windows不能用torch.compile
The text was updated successfully, but these errors were encountered: