人工智能 | 清华大学chatglm大模型 -金沙娱场城app
chatglm-6b 是一个开源的、支持中英双语的对话语言模型，基于 general language model (glm) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（int4 量化级别下最低只需 6gb 显存）。chatglm-6b 使用了和 chatgpt 相似的技术，针对中文问答和对话进行了优化。经过约 1t 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 chatglm-6b 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。欢迎通过 http://chatglm.cn 体验更大规模的 chatglm 模型。
为了方便下游开发者针对自己的应用场景定制模型，我们同时实现了基于 p-tuning v2 的高效参数微调方法 (使用指南) ，int4 量化级别下最低只需 7gb 显存即可启动微调。
chatglm-6b 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。
使用 pip 安装依赖：pip install -r requirements.txt，其中 transformers 库版本推荐为 4.27.1，但理论上不低于 4.23.1 即可。
此外，如果需要在 cpu 上运行量化后的模型，还需要安装 gcc 与 openmp。多数 linux 发行版默认已安装。对于 windows ，可在安装 tdm-gcc 时勾选 openmp。windows 测试环境 gcc 版本为 tdm-gcc 10.3.0， linux 为 gcc 11.3.0。在 macos 上请参考 q1。
>>> from transformers import autotokenizer, automodel
>>> tokenizer = autotokenizer.from_pretrained("thudm/chatglm-6b", trust_remote_code=true
)>>> model = automodel.from_pretrained("thudm/chatglm-6b", trust_remote_code=true).half().cuda()
>>> model = model.eval()>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)你好 !我是人工智能助手 chatglm-6b,很高兴见到你,欢迎问我任何问题。
>>> response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
>>> print(response)
