出自清华的强大中文AI模型ChatGLM2-6B
ChatGLM2-6B 是一个基于人工智能技术的人工智能对话系统,该项目是由清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同开发。ChatGLM2-6B 基于深度学习技术,使用了指令微调(Instruction Tuning)和人类反馈强化(Human Feedback Reinforcement)等技术,可以针对用户的指示生成高质量的自然语言文本响应。该系统可以回答各种类型的问题,包括常识问题、技术咨询、情感表达等等。在对话过程中,ChatGLM2-6B 会持续学习和适应用户的需求,并通过不断优化来提高其对话质量。
项目地址:https://github.com/THUDM/ChatGLM2-6B
HuggingFace:https://huggingface.co/THUDM/chatglm2-6b
相对于第一版的ChatGLM-6B,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,ChatGLM2-6B又增加许多新特性:
1. 更强大的性能
基于ChatGLM初代模型的开发经验,全面升级了ChatGLM2-6B的基座模型。ChatGLM2-6B使用了GLM的混合目标函数,经过了1.4T中英标识符的预训练与人类偏好对齐训练.评测结果显示,与初代模型相比,ChatGLM2-6B在MMLU(+23%)、CEval(+33%)、GSM8K(+571%) 、BBH(+60%)等数据集上的性能取得了大幅度的提升,在同尺寸开源模型中具有较强的竞争力。
2. 更长的上下文
基于 FlashAttention 技术,研究人员将基座模型的上下文长度由 ChatGLM-6B 的2K扩展到了32K,并在对话阶段使用8K的上下文长度训练,允许更多轮次的对话。但当前版本的ChatGLM2-6B对单轮超长文档的理解能力有限,会在后续迭代升级中着重进行优化。
3. 更高效的推理
基于 Multi-Query Attention 技术,ChatGLM2-6B有更高效的推理速度和更低的显存占用.在官方的模型实现下,推理速度相比初代提升了42%,INT4量化下,6G显存支持的对话长度由1K提升到了8K。
4. 更开放的协议
ChatGLM2-6B权重对学术研究完全开放,在获得官方的书面许可后,亦允许商业使用。
安装
先下载代码库,再安装依赖。
git clone https://github.com/THUDM/ChatGLM2-6B cd ChatGLM2-6B pip install -r requirements.txt
演示代码
可以通过如下代码调用 ChatGLM2-6B 模型来生成对话:
from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True) model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True, device='cuda') model = model.eval() response, history = model.chat(tokenizer, "你好", history=[]) print(response) response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history) print(response)
相关文章
- 使用stable diffution生成艺术二维码
- JQuery 删除节点下子元素中的最后一个元素
- Windows 11启动菜单的隐藏更改
- 出自清华的强大中文AI模型ChatGLM2-6B
- php根据ip判断所属国家(使用Geo库)
- 使用acme.sh自动化部署ssl证书
- C#压缩pdf文件的代码示例
- 功能强大的免费AI绘画工具:Stable Diffusion
- ChatGPT的中文平替:ChatGLM-6B
- 科普:为什么人工智能需要GPU而不是CPU?
- iis10安装URLRwrite组件
- 记一次cc攻击处理过程
- CodeIgniter4设置session变量为公共变量
- 在Codeigniter4中跟$this->db->last_query()功能一样的函数是什么?
- 如何为Spring Boot应用程序配置端口
- 安全狗Linux版命令行
- Codeigniter 4实体属性转换为未自动序列化的数组
- 在Codeigniter 4中使用分页时报错
- Mysql5.7创建用户并授权
- CodeIgniter 4设置会话变量$session=\\\\Config\\\\Services::session()为全局可用