6
                            试了50字左右的句子12G都跑不了,只能跑小短句。运行又下载了4个模型,共8个多G的模型,能优化一下就好了。
试了50字左右的句子12G都跑不了,只能跑小短句。运行又下载了4个模型,共8个多G的模型,能优化一下就好了。
测试云端8gb可以运行,2080显卡:https://www.compshare.cn/images/0P5afkH86RYp
https://www.xiangongyun.com/image/detail/efbe45c3-cad2-4bcf-9865-30ebcdab2fe6?r=WZFDHU
都有免费体验的额度,谢谢支持!!!
官方能提供较好的cpu-offload方案吗,占显存的项目很多,qwen image高达50G的模型3G显存都能跑的很快
开启fp16 能压到9G