PyTorch中loading fbgemm.dll异常的解决办法!

admin • • Python学习

PyTorch中loading fbgemm.dll异常的解决办法!

PyTorch是一个深度学习框架,当我们在本地调试大模型时,可能会选用并安装它,目前已更新至2.4版本,本文给大家介绍了PyTorch中loading fbgemm.dll异常的解决办法,文中通过代码和图文介绍的非常详细,需要的朋友可以参考下。

一、安装必备

 

1. window

学习或开发阶段，我们通常在window环境下进行，因此需满足以下条件：

Windows 7 and greater；
Windows 10 or greater recommended；
Windows Server 2008 r2 and greater；

2. python

准备一个python环境，需满足以下条件：

Python 3.8-3.11（支持）；
Python 2.x（不支持）；

3. install pytorch

正式安装pytorch执行如下命令（默认最新版）：

1
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

安装successful后，可看到如下界面（来自pycharm）：

202481695716394

二、异常情景

1. 请求GPT-2

博主拿GPT作为示例（来自官方），新建一个python文件并取名为hello_GPT2.py，目的是完成gpt2模型的调用，下面是源码 ：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
from transformers import GPT2LMHeadModel, GPT2Tokenizer
# 指定模型名称
model_name = 'gpt2'
# 加载模型和分词器
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
model = GPT2LMHeadModel.from_pretrained(model_name)
# 输入文本
input_text = "Once upon a time"
# 对输入文本进行分词
inputs = tokenizer.encode(input_text, return_tensors='pt')
# 生成文本
outputs = model.generate(
inputs,
max_length=100,  # 生成文本的最大长度
num_return_sequences=1,  # 生成序列的数量
temperature=0.7,  # 温度控制生成的多样性，值越高，生成的文本越随机
top_k=50,  # 控制生成的词汇范围，值越小，生成的文本越集中
top_p=0.9  # 采样阈值，控制生成的文本多样性
)
# 解码生成的文本
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("生成的文本:")
print(generated_text)

2. 异常Traceback

当我们执行上面的代码时，极容易遇到以下异常：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Traceback (most recent call last):
File "D:\projects\PycharmProjects\llm_openai_gpt\hello_GPT2.py", line 1, in <module>
from transformers import GPT2LMHeadModel, GPT2Tokenizer
File "D:\projects\PycharmProjects\llm_openai_gpt\.venv\Lib\site-packages\transformers\__init__.py", line 26, in <module>
from . import dependency_versions_check
File "D:\projects\PycharmProjects\llm_openai_gpt\.venv\Lib\site-packages\transformers\dependency_versions_check.py", line 16, in <module>
from .utils.versions import require_version, require_version_core
File "D:\projects\PycharmProjects\llm_openai_gpt\.venv\Lib\site-packages\transformers\utils\__init__.py", line 34, in <module>
from .generic import (
File "D:\projects\PycharmProjects\llm_openai_gpt\.venv\Lib\site-packages\transformers\utils\generic.py", line 462, in <module>
import torch.utils._pytree as _torch_pytree
File "D:\projects\PycharmProjects\llm_openai_gpt\.venv\Lib\site-packages\torch\__init__.py", line 148, in <module>
raise err
OSError: [WinError 126] 找不到指定的模块。 Error loading "D:\projects\PycharmProjects\llm_openai_gpt\.venv\Lib\site-packages\torch\lib\fbgemm.dll" or one of its dependencies.

 

关键之处：

OSError: [WinError 126] 找不到指定的模块。Error loading "D:\projects\PycharmProjects\llm_openai_gpt\.venv\Lib\site-packages\torch\lib\fbgemm.dll" or one of its dependencies.

 

 

三、解决办法

根据提示，是因为fbgemm.dll缺少依赖，导致加载异常，所以直接办法去找依赖文件，博主这里给出一个解决的办法：

1. 下载libomp140.x86_64.dll文件

点击 dllme.com后，可看到如下页面：

点击右下角，下载 libomp140.x86_64_x86-64.zip。

2. 存放位置

将zip解压后，有一个文件：libomp140.x86_64.dll，转移至 Windows\System32 目录下，如存在可覆盖。

完成后，可顺利排除该异常。

结语

该文用于解决PyTorch2.4安装后，出现了 OSError: [WinError 126] 找不到指定的模块，Error loading "PATH\torch\lib\fbgemm.dll" or one of its dependencies.的问题，如存在其他异常，还需进一步探索，如有疑问，欢迎指正！

 

 

学习资料见知识星球。

以上就是今天要分享的技巧，你学会了吗？若有什么问题，欢迎在下方留言。

快来试试吧，小琥 my21ke007。获取 1000个免费 Excel模板福利​​​​！

更多技巧， www.excelbook.cn

欢迎 加入 零售创新 知识星球，知识星球主要以数据分析、报告分享、数据工具讨论为主；

电商数据分析360°实战攻略！

你将获得：

1、价值上万元的专业的PPT报告模板。

2、专业案例分析和解读笔记。

3、实用的Excel、Word、PPT技巧。

4、VIP讨论群，共享资源。

5、优惠的会员商品。

6、一次付费只需99元，即可下载本站文章涉及的文件和软件。

 

文章版权声明 1、本网站名称：Excelbook
2、本站永久网址：http://www.excelbook.cn
3、本网站的文章部分内容可能来源于网络，仅供大家学习与参考，如有侵权，请联系站长王小琥进行删除处理。
4、本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报。
6、本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。

THE END
分享
二维码
< <上一篇
下一篇>>