Python

4热度

5回答

[THUDM/ChatGLM-6B]关于chatGLM-6B的embedding API接口

请问可以提供将问题或者描述转换成embedding向量的API吗？通过这个repo提供的chatGLM-6B embedding api可以获取 1、问题或者描述对应的向量 2、向量之间可以提供相似度的计算公式和结果并进行返回

6热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] GTX3060 Laptop运行int4-qe量化模型爆显存

使用cli_demo.py尝试第一次对话时出现爆显存，具体如下： Traceback (most recent call last): File "C:\gits\ChatGLM-6B\cli_demo.py", line 44, in <module> main() File "C:\gits\ChatGLM-6B\cli_demo.py", line 34, in

8热度

7回答

[THUDM/ChatGLM-6B][BUG/Help] 显存爆满后无法释放

输入文本过长导致报错，提示显存不足，清空history并torch.cuda.empty_cache()后显存仍被占用，此时再输入新的问题依然可能出现报错显存不足。 del并重新加载model后显存仍然显示被占用，但输入同样的问题可以正常使用，请问除了重新加载model外还有其他办法吗？ torch.cuda.OutOfMemoryError: CUDA out of memory. Tri

2热度

6回答

[THUDM/ChatGLM-6B][Help] 是否支持多进程部署

api.py 文件提供了使用uvicorn 结合 FastAPI 进行部署的例子 uvicorn 服务器启动时，workers 数量设置为1，这是否是由于在多进程模式下，无法加载模型才这样设置的呢？使用python web框架部署时，是否支持多进程部署方式呢？ Environment - OS: - Python: - Transformers: - PyTorch: - CUDA S

2热度

8回答

[THUDM/ChatGLM-6B][Feature] 请问如何基于特定文本对其中的内容进行解答？

例如，我有一个博物馆的展品资料，我需要用这个资料作为模型的上下文环境，能够根据资料对用户的提问进行回答。使得用户提问关于展品的问题，模型能够给出正确的解答。

10热度

7回答

[THUDM/ChatGLM-6B]如何使用amd显卡运行此模型

如何使用amd显卡运行此模型 Environment - OS:CentOS 7.9 - Python:3.7 - Transformers:4.26.1 - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

6热度

6回答

[THUDM/ChatGLM-6B][Help] windows gpu 环境 chatglm-6b-int4-qe 报错：AttributeError: 'NoneType' object has no attribute 'int4WeightExtractionHalf'

windows gpu=6G显存环境，CPU启动可以正常使用。换成cuda启动web_demo，提问时报错。加载模型配置： model = AutoModel.from_pretrained("model", trust_remote_code=True).half().cuda() 错误信息： Traceback (most recent call last): File "C:\Pytho

0热度

8回答

[THUDM/ChatGLM-6B][Help] ptuning中的数据集如何使用？

如果想要训练自己的数据，无监督，非问答的。这个数据集应该如何改造？比如一篇文章，怎么填充成这种格式 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

3热度

10回答

[THUDM/ChatGLM-6B][BUG/Help] ptuning之后如何使用新的模型

按照ptuning/README.md完成了ptuning的训练和推理，目前看generated_predictions.txt的结果均达到预期，请问如何使用checkpoint中训练后的模型？调用了半天都是各种报错，求大佬指条明路。能够正常调用微调后的模型进行chat 修改了web_demo.py中的路径及模型，但无法正常使用。 Environment OS: Ubuntu 20.04 P

2热度

7回答

[THUDM/ChatGLM-6B][Feature] 微调数据集怎样设计才能支持长文本分段输出

用 ptuning 做微调，希望输出长文本，并且输出的长文本能在多轮对话中依据上下文分段输出。譬如这样的 prompt 训练样本： { "q" : "怎样做一个煎蛋，请分段输出每一个步骤", "a"：“做煎蛋一共有三步。\n1. 开火，锅内加油至6成温度. \n2. 鸡蛋放入锅里，小火慢煎并翻面. \n3.起锅放入盘中，加少量生抽 ” } 微调后，希望得到下面的效果：问: 怎样做一个煎蛋，请分

0热度

10回答

[THUDM/ChatGLM-6B]关于p_tuning效果的疑问

请问为什么选择p_tuning而不是lora或者prefix_tuning，这三者孰优孰劣？然后就是，我使用glm6b原版模型，对广告生成数据集做了测试，发现效果本来就非常好，是不是原版模型已经加了这个数据集？导致微调看不出效果？下面图片是我用原版glm6b做的测试：

4热度

9回答

[THUDM/ChatGLM-6B][Help] 如何支持多显卡

公司内部使用，装了2卡，发现默认配置只有1卡在跑，请问如何使用才可以使用多卡 Environment OS: Ubuntu 20.04 Python: 3.8 Transformers: 4.26.1 PyTorch: 1.12 CUDA Support: True

6热度

12回答

[PaddlePaddle/PaddleOCR]表格识别自定义模型问题

系统环境/System Environment：Ubuntu 16 版本号/Version：Paddle：2.3.2-GPU PaddleOCR：2.6 问题相关组件/Related components：运行指令/Command Code： !python ppstructure/table/predict_table.py \ --det_model_dir=/data/l

10热度

12回答

[PaddlePaddle/PaddleOCR]印章弯曲文本识别

小批量数据使用det_r50_db++_icdar15.yml，进行训练（使用的是ResNet50_dcn_asf_synthtext_pretrained.pdparams预训练模型），loss最终只能降到0.4左右，拿训练集直接进行评估的，recall和precision一直低于0.1，在配置文件部分也加了use_polygon: true该参数,标注格式如下(弯曲部分均采用16点或8点均

5热度

12回答

[PaddlePaddle/PaddleOCR]KIE训练按照文档训练自己的数据集出错

2022/10/13 01:02:57] ppocr INFO: Architecture : [2022/10/13 01:02:57] ppocr INFO: Backbone : [2022/10/13 01:02:57] ppocr INFO: checkpoints : ../output/ser_vi_layoutxlm_xfund_zh/best_accura

8热度

24回答

[PaddlePaddle/PaddleOCR]安装paddleocr时出现错误：PyMuPDF无法安装

请提供下述完整信息以便快速定位问题/Please provide the following information to quickly locate the problem 系统环境/System Environment：Windows 11 22H2 版本号/Version：Paddle：paddlepaddle-gpu==2.3.2 PaddleOCR：2.6.0.2 问题相关组件/R

8热度

12回答

[PaddlePaddle/PaddleOCR]弯曲中文文字识别验证一直为0

请提供下述完整信息以便快速定位问题/Please provide the following information to quickly locate the problem 系统环境/System Environment：Ubuntu 18.04.5 版本号/Version：Paddle：gpu-2.3.0.post112 PaddleOCR：2.6.0.1 问题相关组件/Re

2热度

33回答

[PaddlePaddle/PaddleOCR]方向分类器在python上验证准确，然而转换为推理模型后，在cpp上部署，输出却有误

请提供下述完整信息以便快速定位问题/Please provide the following information to quickly locate the problem 系统环境/System Environment：版本号/Version：Paddle： PaddleOCR：问题相关组件/Related components：运行指令/Command Code：完整报错/Co

3热度

4回答

[babysor/MockingBird]请问VC模式怎么用

我的Demo BOX运行和训练都没有问题，但是VC模式界面里那个第一步的Seslect（选择为被转换的语音输入）一直按了没有任何反应，请指导

3热度

3回答

[babysor/MockingBird]运行数据集：assert args.dataset in recognized_datasets, 'is not supported,

train文件夹在E:\aidatatang_200zh_2\aidatatang_200zh\corpus，根目录就是E:\aidatatang_200zh_2吧？但是好像不太对劲，如图