4
@推理音频的时候显存的利用率只有30%左右，要如何才能提高他的利用率呢 @index-tts
Q
[index-tts]gpu显存利用率问题
A
回答
6
你可以启动多个实例啊，自己设计一下多线程或者多进程管理推理任务
0
你可以启动多个实例啊，自己设计一下多线程或者多进程管理推理任务
大佬请问一下这个是什么问题导致的呢，我用multiprocessing 的pool加载多次模型，推理过一会时抛出异常 RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1