首页 > 行业观察 > LangChain和ChatGLM-6B快速部署教程

LangChain和ChatGLM-6B快速部署教程

新知榜官方账号

2023-12-08 16:26:15

LangChain和ChatGLM-6B快速部署教程

工欲善其事,必先利其器。首先我们先介绍一下这两个框架是做什么的。LangChain是一个开源的应用开发框架,目前支持Python和TypeScript两种编程语言。它赋予LLM两大核心能力:数据感知,将语言模型与其他数据源相连接;代理能力,允许语言模型与其环境互动。LangChain的主要应用场景包括个人助手、基于文档的问答、聊天机器人、查询表格数据、代码分析等。ChatGLM-6B是清华大学知识工程和数据挖掘小组发布的一个开源的对话机器人。根据官方介绍,这是一个千亿参数规模的中英文语言模型。并且对中文做了优化。本次开源的版本是其60亿参数的小规模版本,约60亿参数。该模型的基础模型是GLM(GLM:GeneralLanguageModelPretrainingwithAutoregressiveBlankInfilling),是一个千亿基座模型。

那么两者结合起来,就会发生神奇的化学反应。打造自己的GPT和知识库!下面看具体的教程:

快速部署

  1. 登录UCloud控制台(https://console.ucloud.cn/uhost/uhost/create),机型选择“GPU型”,“V100S”,CPU及GPU颗数等详细配置按需选择。最低推荐配置:10核CPU32G内存1颗V100S。镜像选择“镜像市场”,镜像名称搜索“ChatGLM-6B”,选择该镜像创建GPU云主机即可。
  2. GPU云主机创建成功之后,登录GPU云主机。
  3. 确定环境:首先,确信你的机器安装了Python3.8及以上版本,python--version如果版本达不到,需要升级对应的python版本。
  4. 项目依赖#拉取仓库$gitclonehttps://github.com/imClumsyPanda/langchain-ChatGLM.git#进入目录$cdlangchain-ChatGLM#项目中pdf加载由先前的detectron2替换为使用paddleocr,如果之前有安装过detectron2需要先完成卸载避免引发tools冲突$pipuninstalldetectron2#检查paddleocr依赖,linux环境下paddleocr依赖libX11,libXext$yuminstalllibX11$yuminstalllibXext#安装依赖$pipinstall-rrequirements.txt#验证paddleocr是否成功,首次运行会下载约18M模型到~/.paddleocr$pythonloader/image_loader.py
  5. 执行脚本体验WebUI或命令行交互执行cli_demo.py脚本体验指令命令交互:$pythoncli_demo.pybug解决:protobuf版本可能报错,根据提示调整版本。或者执行webui.py脚本体验Web交互$pythonwebui.py或者执行api.py利使用fastapi部分API$pythonapi.py或者成功部分分API后,执行以下脚踏实地体验于VUE的前端页面$cdviews$pnpmi$npmrundevVUE前端界面如下图所示:
  6. 效果展示可以看到,基础的模型已经能够解决我们一部分的问题。
  7. 多种玩法可以切换各种模型。可以选择测试模式可以上传自己的知识库。

本页网址:https://www.xinzhibang.net/article_detail-22304.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章

相关快讯

ChatGPT,Midjourney,文心一言,文心一格,bing新必应,Stable diffusion,文心一格,稿定设计,墨刀AI,mastergo,Adobe Firefly

短视频知识人物影响力榜

查看更多

新知榜独家 {{faTime.effecttime}}发布

总榜

人物 领域 粉丝数 影响力指数

{{item.manIndex}}

{{item.nickname}} {{item.field}}

{{item.fs}}

{{item.effect}}