新知榜官方账号
2023-09-25 16:56:32
在国内经常会遇到各种网络问题,而且一旦失去网络连接就无法使用Chatgpt,此外,Chatgpt是需要付费的。在2023年,GPT将迎来发展元年,我相信未来每个人都应该有自己的Chatgpt大模型,而不仅仅是大型机构才能拥有。未来,对于Chatgpt大模型所需的计算能力,应该是人人都能负担得起的,就像现在的个人电脑一样。
本文主要介绍如何利用Facebook开源的LLAMA7B大模型和llama.cpp开源代码,在MacbookProM1上构建一个能够运行的AI助手。
使用命令行方式下载curl-oggml-alpaca-7b-q4.bin-C-https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC或是直接使用浏览器打开,下载完成后文件改名为ggml-alpaca-7b-q4.bin:https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
llama.cpp工程是基于Facebook的llama开源项目进行改进的。请使用gitclone方式下载代码,以便以后轻松更新。当前项目更新速度较快。
git clone https://github.com/ggerganov/llama.cpp.git进入llama.cpp,运行如下命令
make如果没有报错则表示编绎成功了。在目录下会生成如下几个可执行文件:main、quantize。其中,main是启动会话的程序,而quantize目前不需要使用。
我们主要使用交互模式,并将可预测的令牌数设置为512,因此请按以下命令操作:
./main -m ./models/ggml-alpaca-7b-q4.bin --color-ins -r 'Me:' -n 512启动后即可开始使用。生成的答案相比Chatgpt有点简陋,毕竟模型只有7B的参数,如果换到65B,应该效果会好很多。未来继续优化后会更好。
微信扫码咨询
相关工具
相关文章
相关快讯
推荐
阿里Accio中文版上线!一键搞定复杂采购
2025-08-19 09:13
视频“用嘴编辑”的时代来了,但钱包顶得住吗?
2025-08-15 17:59
智谱新模型GLM-4.5V全面开源,玩家们有福啦!
2025-08-12 17:56
扎心文案+AI插画=爆款!揭秘8万赞视频的制作全流程
2025-08-12 10:08
GPT-5没你想的那么好,附实测体验~
2025-08-11 11:07
一站式搞定AI绘图+视频,AI短片效率飙升的秘密在这儿!
2025-08-08 09:26
打工人新神器!10款国产AI,让你告别996!
2025-08-08 09:24
豆包视觉推理深度体验,AI也能“边看边想”了!
2025-08-08 09:19
300美元的AI男友来了!马斯克的情感生意从女友做到男友
2025-08-01 17:56
Agent智能体:2025年企业新员工,月薪仅需一度电?
2025-07-30 17:49