Python

9热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] 布置到windows服务器上，没有报错，但AI也没有回复

我本地电脑上能正常运行cli_demo.py，但部署在腾讯GPU服务器上却有问题，我是通过远程桌面连接到服务器，然后打开VSCdoe跑cli_demo.py，提问之后AI没有回复消息，也没报错，字符串变量response没有任何内容（cli_demo.py第18~21行），我没改动过代码，都是本地测试过在上传到服务器的。试过换了windows server 2022系统，还是同样的问题。 ---

0热度

9回答

[THUDM/ChatGLM-6B][BUG/Help] <使用evaluate.sh 评估模型效果时报错>

在adgen数据上进行微调之后想测试模型效果。尝试运行evaluate.sh时总会报这个错误，但是不知道怎么解决 Steps To Reproduce bash evaluate.sh Environment - OS: - Python: 3.7.5 - Transformers: 4.27.1 - PyTorch: 1.13.1 - CUDA Support (`python -c "

6热度

5回答

[THUDM/ChatGLM-6B]如何在微调后应该对其进行下游任务的训练TRAIN this model on a down-stream[BUG/Help]

微调后加载模型和checkpoint 出现如下提示： Some weights of ChatGLMForConditionalGeneration were not initialized from the model checkpoint at D:\glm\chatglm_webui\chatglm-6b and are newly initialized: ['transformer.pr

1热度

12回答

[THUDM/ChatGLM-6B]想保留原有的对话能力并增加现有的问题处理对话哪种更适合呢？lora还是ptuning？？？我还有个疑问，#413 说到ptuning微调之后就只支持当前任务了，这种同样是对话的任务微调之后之前的对话能力是否也会变差？如果想保留原有的对话能力并增加现有的问题处理对话是不是使用lora更适合？

想保留原有的对话能力并增加现有的问题处理对话哪种更适合呢？lora还是ptuning？？？我还有个疑问，https://github.com/THUDM/ChatGLM-6B/issues/413 说到ptuning微调之后就只支持当前任务了，这种同样是对话的任务微调之后之前的对话能力是否也会变差？如果想保留原有的对话能力并增加现有的问题处理对话是不是使用lora更适合？ Environment

3热度

6回答

[THUDM/ChatGLM-6B][BUG/Help] M1上无法运行，报错“AssertionError: Torch not compiled with CUDA enabled”

本地下载完成模型，修改完代码，运行python cli_demo.py，报错AssertionError: Torch not compiled with CUDA enabled，似乎是cuda不支持arm架构，本地启了一个conda装了pytorch，但是不能装cuda 1、python cli_demo.py Environment - OS: mac 13.0 - Python: 3

7热度

10回答

[THUDM/ChatGLM-6B][BUG/Help] <CPU无法使用int4模型>

使用CPU无法运行chatglm-6b-int4，但可以运行chatglm-6b，主要的运行错误如下 Traceback (most recent call last): File "C:\Users\Azure/.cache\huggingface\modules\transformers_modules\chatglm_6b_int_4\quantization.py", line 1

0热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] linux系统，使用cpu，系统运行后卡住不回答是怎么回事儿？

linux操作系统，使用CPU布署，运行cli_demo出来提示后，卡住不回答是怎么回事儿？ linux系统； cpu布署 Environment - OS:centos - Python:3.10.9 - Transformers:默认 - PyTorch:1.13.1 - CUDA Support (`python -c "import torch; print(torch.cuda.i

6热度

6回答

[THUDM/ChatGLM-6B]CUDA版本需求

请问这个项目的CUDA版本有要求吗，我用的11.3跑起来就报了这个错RuntimeError: CUDA Error: no kernel image is available for execution on the device，网上查了原因就说是CUDA版本不对，换了10.0跑起来的时候就说CUDA没法启动 bash train.sh Environment - OS: - Pytho

4热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] <p-tuning v2微调>

看代码似乎默认是不开启prefix_projection，我在我的数据集上微调发现不开启prefix_projection的情况损失一直震荡不收敛，开启prefix_projection能收敛，但训练参数量比例从0.5%升到14%。这种情况正常吗？见主要描述 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Supp

1热度

7回答

[THUDM/ChatGLM-6B][BUG/Help] 在官方Ptuning文档的帮助下，微调了模型，并加载了原模型和微调后的模型，但是却返回RuntimeError，BFloat16

您好，我使用官方的文档微调模型以后，加载后却出现该问题 RuntimeError: mixed dtype (CPU): expect input to have scalar type of BFloat16 config = AutoConfig.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, pre_seq_le

4热度

6回答

[THUDM/ChatGLM-6B][Help] <torch1.7.1版本没有 skip_init 方法导致加载报错>

在自己电脑上部署GPU版本，由于cuda 版本原因，使用的pytorch为1.7.1，执行web_demo.py 报错，执行这个modeling_chatglm.py时报错，在这个版本下要怎么修改呢，能帮忙贴下代码吗，感谢在torch为1.7.1 时正常加载模型 python web-demo.py Environment - OS:window - Python:3.9 -

9热度

19回答

[THUDM/ChatGLM-6B]我发现长文本生成效果不容易调出来，特别容易出现重复例如“我吃饭了吗吗吗吗吗吗吗吗吗”

我发现长文本生成效果不容易调出来，特别容易出现重复例如“我吃饭了吗吗吗吗吗吗吗吗吗”，网上说是退化问题，即随着生成文本长度的增加其质量会逐渐降低，容易出现多种层次（字、短语、句子级）的重复生成。有没有大神给一些有效的经验。求大神指点训练长文本生成。 Environment - OS:ubuntu-18 - Python:3.8.13 - Transformers:4.28 - PyTor

5热度

8回答

[THUDM/ChatGLM-6B][Help] 每次运行都会出现 No compiled kernel found.

每次运行一遍 model = AutoModel.from_pretrained('./int4', trust_remote_code=True).half().cuda() 都会出现如下报错 No compiled kernel found. Compiling kernels : /home/devops/.cache/huggingface/modules/transformers_mod

9热度

12回答

[THUDM/ChatGLM-6B][BUG/Help] 请问如何基于之前的Ptuning模型，再次进行微调

已经训练了200次，生成了一个模型。再次执行训练时，又从头开始跑了 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

5热度

36回答

[THUDM/ChatGLM-6B]多gpu如何训练？预测是可以的，但是训练不行

多gpu运行问题预测的时候多gpu可以这样写： model = load_model_on_gpus("./THUDM/chatglm-6b", num_gpus=2) 但是训练的时候多了 config=config 参数怎么办： model = AutoModel.from_pretrained(model_args.model_name_or_path, config=config, tru

3热度

1回答

[2noise/ChatTTS]用nuxt3搭建了一个简易的webui

功能简单，界面节点，水平有限，请见谅 https://github.com/Gouryella/ChatTTS-webui

9热度

2回答

[2noise/ChatTTS]小白，requirement的环境下载好了，为什么在infer.ipynb 里面的 import ChatTTS 就报错啊

OSError Traceback (most recent call last) Cell In[26], line 1 ----> 1 import ChatTTS File D:\代码\Tensor\ChatTTS\ChatTTS__init__.py:1 ----> 1 from .core import C

6热度

1回答

[2noise/ChatTTS]没报错，跑起来后，程序直接停止了，不跑了

代码如下： import torch import ChatTTS from IPython.display import Audio 初始化ChatTTS chat = ChatTTS.Chat() chat.load_models() 定义要转换为语音的文本 texts = ["你好，欢迎使用ChatTTS！"] 生成语音 wavs = chat.infer(texts, use_decode

6热度

2回答

[2noise/ChatTTS]运行报错了INTERNAL ASSERT FAILED怎么解决啊？

在运行：wavs = chat.infer(texts, use_decoder=True) 时报了如下错误： --------------------------------------------------------------------------- RuntimeError Traceback (most recent cal

9热度

1回答

[2noise/ChatTTS]安装依赖报错

安装依赖时一直报错 ERROR: Could not find a version that satisfies the requirement torch (from versions: none) ERROR: No matching distribution found for torch