ABSoft
  • Java
  • Go
  • MySQL
  • Python
  • Javascript
  • ChatGPT
  • All Tags
  • 登录
  • 注册
  1. 首页
  2. 问答
  3. [SJTU-IPADS/PowerInfer]为什么执行过程中没有gpu offload,这边执行的gpu为a100 80G,
Q

[SJTU-IPADS/PowerInfer]为什么执行过程中没有gpu offload,这边执行的gpu为a100 80G,

  • powerinfer
  • Python
2024-07-02 704 views 8 likes 
3

第一步:报错没有activation文件夹; image

这边手动增加activation文件夹(fake)后,执行python依然报错 image

单独执行python命令报错如下: image

qw1319

A

回答

1

这个activation文件夹要如何产生呢?怎么样才能使能gpu offload呢

qw1319

相关问题
  • [SJTU-IPADS/PowerInfer]为什么执行过程中没有gpu offload,这边执行的gpu为a100 80G,
  • [SJTU-IPADS/PowerInfer]通义千问大模型什么时候能支持呢?我们在用72B、14B的,迫切希望能支持加速推理。
  • [SJTU-IPADS/PowerInfer]llama2中文 hf格式.bin 如何转换成PowerInfer格式?
  • [SJTU-IPADS/PowerInfer]windows visual studio编译失败
  • [SJTU-IPADS/PowerInfer]请问你们是否有兴趣支持deepseek?
  • [SJTU-IPADS/PowerInfer]请问下针对消费级卡的服务器的适配。
  • [SJTU-IPADS/PowerInfer]请问和llama.cpp 相比有什么优化的地方吗?因为我看大部分代码都是和他重合的
  • [SJTU-IPADS/PowerInfer]ReluFalcon 40B 在llama.cpp上无效输出
  • [SJTU-IPADS/PowerInfer]ggml-cuda.cu:8949: invalid argument无效参数问题
  • [SJTU-IPADS/PowerInfer]在A100-80G上无法找到cuda的情况
  • © 2025 WWW.ABSOFT.CN
  • 皖ICP备2021002917号-1