ABSoft

最新提问

1热度

7回答

[THUDM/ChatGLM-6B][Feature] 如何贡献GPTQ相关的代码以及模型

Hi，我目前已经用GPTQ对ChatGLM-6B做了8/4bit的量化，量化后的模型依旧能够流畅对话。想问一下如果如果贡献这部分内容的话，该怎么操作。我想了一些可能的形式哈：直接贡献GPTQ calibrated 的模型参数，并适配ChatGLM的推理流程。我对GPTQ做了一定的工具化，可以把这部分内容直接直接贡献到.quantize接口里来上面两种方法背后都还有一些待讨论的点，例如GP

5热度

17回答

[THUDM/ChatGLM-6B]deepspeed inference 显存问题

deepspeed 执行chatglm推理会出现显存成倍的情况，具体如下： deepspeed --num_gpus 2 test.py 服务器环境中有2个gpu，执行推理的时候，会出现显存为2倍参数量。也就是可以理解为，并deepspeed加载后，并没有完成模型并行，2块gpu都加载了同样参数量，存在显存翻倍的情况。测试bloom模型并未出现这个情况，具体不知道是不是和模型底层有关，chat

3热度

7回答

[THUDM/ChatGLM-6B][Feature] 训练1M数据需要多久

用官方推荐的方法ptuning, 在v100上提示需要快500小时才能搞完，是这样么，还是参数我搞错了

1热度

4回答

[THUDM/ChatGLM-6B][BUG/Help] 在训练完成后测试没有返回结果

from transformers import AutoTokenizer, AutoModel, AutoConfig import os import torch tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b",cache_dir='/output/ChatGLM-6B/chatglm-6b', trust_remot

7热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] 微调后无法给出完整回答

按照微调示例中准备了数据集大约670份，每一份都是完整回答，但是微调后大概率无法产生完整对话，每次两三行就会在语义不完整的情况下结束回答，但是训练过程中的loss已经0.0014左右了。加大数据集可以改善问题吗？数据集目前summary的字数均在300以上，会有影响吗？还请教如何改善这个问题，增加字数输出，并输出完整语义。数据集示例如下： {"summary": "1月29日实施报告\n【实施人

0热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] linux系统，使用cpu，系统运行后卡住不回答是怎么回事儿？

linux操作系统，使用CPU布署，运行cli_demo出来提示后，卡住不回答是怎么回事儿？ linux系统； cpu布署 Environment - OS:centos - Python:3.10.9 - Transformers:默认 - PyTorch:1.13.1 - CUDA Support (`python -c "import torch; print(torch.cuda.i

5热度

6回答

[THUDM/ChatGLM-6B]CUDA版本需求

请问这个项目的CUDA版本有要求吗，我用的11.3跑起来就报了这个错RuntimeError: CUDA Error: no kernel image is available for execution on the device，网上查了原因就说是CUDA版本不对，换了10.0跑起来的时候就说CUDA没法启动 bash train.sh Environment - OS: - Pytho

0热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] <p-tuning v2微调>

看代码似乎默认是不开启prefix_projection，我在我的数据集上微调发现不开启prefix_projection的情况损失一直震荡不收敛，开启prefix_projection能收敛，但训练参数量比例从0.5%升到14%。这种情况正常吗？见主要描述 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Supp

1热度

7回答

[THUDM/ChatGLM-6B][BUG/Help] 在官方Ptuning文档的帮助下，微调了模型，并加载了原模型和微调后的模型，但是却返回RuntimeError，BFloat16

您好，我使用官方的文档微调模型以后，加载后却出现该问题 RuntimeError: mixed dtype (CPU): expect input to have scalar type of BFloat16 config = AutoConfig.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, pre_seq_le

4热度

6回答

[THUDM/ChatGLM-6B][Help] <torch1.7.1版本没有 skip_init 方法导致加载报错>

在自己电脑上部署GPU版本，由于cuda 版本原因，使用的pytorch为1.7.1，执行web_demo.py 报错，执行这个modeling_chatglm.py时报错，在这个版本下要怎么修改呢，能帮忙贴下代码吗，感谢在torch为1.7.1 时正常加载模型 python web-demo.py Environment - OS:window - Python:3.9 -

10热度

19回答

[THUDM/ChatGLM-6B]我发现长文本生成效果不容易调出来，特别容易出现重复例如“我吃饭了吗吗吗吗吗吗吗吗吗”

我发现长文本生成效果不容易调出来，特别容易出现重复例如“我吃饭了吗吗吗吗吗吗吗吗吗”，网上说是退化问题，即随着生成文本长度的增加其质量会逐渐降低，容易出现多种层次（字、短语、句子级）的重复生成。有没有大神给一些有效的经验。求大神指点训练长文本生成。 Environment - OS:ubuntu-18 - Python:3.8.13 - Transformers:4.28 - PyTor

9热度

8回答

[THUDM/ChatGLM-6B][Help] 每次运行都会出现 No compiled kernel found.

每次运行一遍 model = AutoModel.from_pretrained('./int4', trust_remote_code=True).half().cuda() 都会出现如下报错 No compiled kernel found. Compiling kernels : /home/devops/.cache/huggingface/modules/transformers_mod

5热度

12回答

[THUDM/ChatGLM-6B][BUG/Help] 请问如何基于之前的Ptuning模型，再次进行微调

已经训练了200次，生成了一个模型。再次执行训练时，又从头开始跑了 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

10热度

36回答

[THUDM/ChatGLM-6B]多gpu如何训练？预测是可以的，但是训练不行

多gpu运行问题预测的时候多gpu可以这样写： model = load_model_on_gpus("./THUDM/chatglm-6b", num_gpus=2) 但是训练的时候多了 config=config 参数怎么办： model = AutoModel.from_pretrained(model_args.model_name_or_path, config=config, tru

2热度

1回答

[2noise/ChatTTS]WARNING:ChatTTS.model.gpt:Incomplete result. hit max_new_token: 384

感谢开源 :heart: 请教一下，报这个错是因为输入文本太长了吗？384 token貌似有点短，有什么办法解决吗 WARNING:ChatTTS.model.gpt:Incomplete result. hit max_new_token: 384

9热度

2回答

[2noise/ChatTTS]import ChatTTS出错

我该怎样安装ChatTTS？ How can i install ChatTTS ?

5热度

1回答

[2noise/ChatTTS]代码分享

导入ChatTTS模块和soundfile模块 import ChatTTS import soundfile as sf import os def text_to_mp3(text, filename): chat = ChatTTS.Chat() chat.load_models() wavs = chat.infer(text, use_decoder=True) sf.write(r"/

7热度

2回答

[2noise/ChatTTS]APIConnectionError: Connection error.

from ChatTTS.experimental.llm import llm_api API_KEY = '' client = llm_api(api_key=API_KEY, base_url="https://api.deepseek.com", model="deepseek-chat") user_question = '四川有哪些好吃的美食呢?' text = client.cal

2热度

2回答

[2noise/ChatTTS]一个windows配置过程

1【手动下载model，见huggingface；自动下载的话，1，2忽略】 2【修改core.py】里面的路径为本地在core.py中，有load_models，可以修改为本地路径 —— source修改为：local —— local_path修改为：你的model的绝对路径 3【配置环境】 —— 先配置个venv，不细说。 —— 先不要直接安装requirements —— 安装pytor

0热度

3回答

[2noise/ChatTTS]我写了一个WebUI，非常适合小白来使用，分享给大家

为ChatTTS项目开发了一个WebUI。这个界面设计得非常友好，非常适合不熟悉编程的小白用户使用。通过这个WebUI，您可以无需编写任何代码就能与ChatTTS模型进行交互，极大地简化了使用过程。对于还没有安装成功或使用成功的用户，这个WebUI可以大大帮助您。请大家尝试一下，并告诉我您的反馈。您的意见对改进这个工具、让它变得更加用户友好非常重要。 ChatTTS-WebUI