Python

4热度

9回答

# root@localhost:/paddle/chatGlmBase/ptuning# python main.py --do_train --train_file chat/train.json --validation_file chat/dev.json --prompt_column prompt --response_column summary --history_column

9热度

9回答

[THUDM/ChatGLM-6B][BUG/Help] OVERFLOW导致loss异常

在使用ds_train_finetune.sh加自己数据训练过程中，训练刚开始就会出现如下OVERFLOW的提示信息，训练过程中也时常出现。训练了一段时间，在出现OVERFLOW信息后，loss飙升。持续训练，直至最终出现Exception: Current loss scale already at minimum - cannot decrease scale anymore.

6热度

10回答

[THUDM/ChatGLM-6B]训练上7百万数据loss没有下降一走在3.x徘徊震荡怎么回事？还有训练完后并没有使用我的数据来回答，不知怎么回事？

训练上7百万数据loss没有下降一直在3.x徘徊震荡怎么回事？数据格式： {"prompt": "心率失常二度房室阻滞脑梗糖尿病心血管狭窄。遗传高血压，心脏病，糖尿病17年，2011年室上速手术后，2015年出现二度二型传导阻滞，2018 年脑梗。", "summary": "是否有症状？", "history": []} {"prompt": "现在有症状，每天有几次跳的跳的停一下，有时候一天

10热度

11回答

[THUDM/ChatGLM-6B]API server支持更好的并发

通过ThreadPoolExecutor异步执行model.chat 保证多路同时请求能并发响应.

6热度

6回答

[THUDM/ChatGLM-6B]为什么模型精度降低，推理耗时反而增大了？

我是用t4进行推理，它是支持int8和int4的输入长度为1000，int4需要32s，fp16只需要12s from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) model

2热度

18回答

[THUDM/ChatGLM-6B][BUG/Help] 有没有比较好的方式提升qps

使用int4量化版本模型加载，单卡显存只使用了1/3，但是使用的时候基本上qps只能到1，有没有比较好的方法，提升调用的qps？ Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`

0热度

12回答

[THUDM/ChatGLM-6B][Feature] 斗胆和大佬们讨论一个知识库相关的技术方案是否可行

基于向量化和大型语言模型的知识库与交互系统各位见笑。我就是一菜鸡，下文如果说得不对的地方请指正，莫要见怪。就目前而言，各类开源大语言模型最大的使用方向就是知识库、问答系统等垂直领域。目前的解决方案有二： 1、模型外挂知识库，比如【闻达】。优点：技术比较简单，实用性比较强。缺点：受模型token限制，自然语言文本信息承载量也比较低，能处理的信息有限，难以整合大量信息。 2、模型微调优点：

1热度

3回答

[geekan/MetaGPT]system design 文档里Program call flow尾巴经常出问题

system design 文档里Program call flow尾巴经常出问题，经常多出''',造成语法解析出错

6热度

5回答

[geekan/MetaGPT]生成代码经常在文件头引用有问题

生成代码经常在文件头引用有两个问题： from wrong_packagename.CLASSNAME import xxxx 自身生成class引用经常出问题，没有声明引用 from xxxx import Xxxx

8热度

3回答

[geekan/MetaGPT]How to continue the previous process after Sudden failure/如何继续刚才的失败进程

项目执行接近尾声的时候突然失败，例如是网络原因导致中断。之后要网络恢复后要如何继续刚才的进程，而不是完全重新开始项目？

3热度

3回答

[geekan/MetaGPT]希望取得联系

尊敬的MetaGPT 应用开发者，我是 InternLM 社区开发者&志愿者尖米, 大佬开源的工作对我的启发很大，希望可以探讨使用 InternLM 实现MetaGPT 的可能性和实现路径，我的微信是mzm312，希望可以取得联系进行更深度的交流；

4热度

2回答

[geekan/MetaGPT]Token限制

我在使用GPT4模型時遇到了超出最大限制(8192tokens)的問題我參考了其他issue並嘗試更換為gpt-4-32k 但我收到以下錯誤 openai.error.InvalidRequestError: The model gpt-4-32k does not exist or you do not have access to it. Learn more: https://help.o

7热度

3回答

[geekan/MetaGPT]FileNotFoundError: [WinError 2] 找不到文件

请问这是什么原因呢？该怎么解决 ` Anything UNCLEAR The requirement is clear to me. Warning: gpt-4 may update over time. Returning num tokens assuming gpt-4-0613. 2023-09-10 14:58:56.429 | INFO | metagpt.provider.

9热度

12回答

[geekan/MetaGPT]SoftwareCompany全流程汉化 / SoftwareCompany中文流程

最近我完成了SoftwareCompany的全流程汉化，可以点击这里查看代码仓库但是现在我最好把这个汉化版本合并到主分支里面，因为我没有新建文件去写，而是直接在原来的基础上进行的修改汉化（新建了一个分支）。我个人没有什么开发大型项目的经验，所以现在有点迷茫，希望向开发者征询意见。最近，我完成了一家软件公司的中文本地化全流程。您可以点击此处查看代码库。但是，我不确定如何将此本地化版本合并到主分支中

10热度

11回答

[geekan/MetaGPT]GPT4好贵，如何接入其他模型呢

比如Qwen、Baichuan2等...

6热度

6回答

[geekan/MetaGPT]添加llm来源spark_api。

由于spark_api没有官方类，所以需要额外的一个文件。

3热度

3回答

[geekan/MetaGPT]MetaGPT的成功率很低

目前我测试了三个游戏：贪吃蛇，三维弹球和坦克大战。并且都使用了--code_review True。然而三个游戏都不能正常运行，在贪吃蛇游戏的coding中出现了没有初始化屏幕显示的错误。在三维弹球中甚至出现了NotImplementedError，原因是代码中存在两个函数未实现： def create_objects(self): This function should be impleme

7热度

7回答

[geekan/MetaGPT]Is Langchain considered?/是否考虑过使用langchain作为后端

这个想法很不错但是看了下代码似乎是从llm抽象层就开始是自己造轮子了，感觉意义不大。使用Langchain作为后端的话可以省不少时间，把经历集中在功能上

3热度

5回答

[geekan/MetaGPT]使用Chat-GLM3模型开源错误

我将模型替换为Chat-GLM3，在运行的时候报错：

6热度

4回答

[geekan/MetaGPT]功能：记忆留言增加轮流直播。给Memory中的消息添加老人轮数机制

特征给Memory中的消息添加消防轮数（turns-to-live, ttl），表示消息接下来可以重启几轮对话。功能文档影响方便按重要性管理内存里的消息，清除不重要的，需要擦除的消息，例如，对于bug消息，如果解决完bug后，将bug消息从内存中删除是有利的，可以减少内存中的信息发音，使得记忆中信息熵更小。结果其他