011. 清华大学 chatglm-金沙娱场城app

前有 chatgpt，后有文心一言，最近几个月 ai 圈的产品可谓是爆发式发展。但这些语言大模型动辄需要上百 g 显存，对于个人电脑实在是负担不起。而近期由清华大学推出的开源对话 ai——chatglm-6b，最低只要 6g 显存，使得用户可以在大部分消费级的显卡上进行本地部署，为广大 ai 爱好者带来了福音。发布不过短短两周，github 已有 9.8k star，受认可程度可见一斑。

1. 下载

首先需要下载源代码：

以及从抱脸上下载模型文件，可能需要较长时间：

将下载的模型文件目录 chatglm-6b 移动到源代码目录下的 thudm/chatglm-6b 目录。

2. 使用

建立 python 虚拟环境，并安装依赖库：

如果 pytorch 和 cuda 未安装，需自行下载安装。网上教程极多，不再多讲。

直接运行根目录下 web_demo.py 文件，即可使用。

默认情况下，模型以 fp16 精度加载，运行上述代码需要大概 13gb 显存。如果 gpu 显存有限，可以尝试以量化方式加载模型，使用方法如下：

运行成功后会自动打开一个由 gradio 搭建的 http://127.0.0.1:7860 页面，即可使用。

gpu 显存 占用较高，本人电脑勉强能用：

原始界面比较简陋，自己写一套新的界面，主要适配移动端。

后端

使用 fastapi 开发，支持流式响应：

前端

使用 vue3 vant 开发，支持流式渲染输出：

界面效果

由于时间和个人水平有限，界面其实写得并不很好。但主要功能包括流式输出已经实现，减少了等待时间，还是有一些使用价值。

至于 chatglm-6b 的使用效果，虽然离 chatgpt 仍有差距，但对于一个只有 60 亿参数的小模型来说，已经很不错了。期待正在内测的 chatglm-130b 有着更好的表现。