新知榜官方账号
2024-06-20 10:36:56
今天给大家分享的是一款OpenAI的开源平替工具:Jan AI
这个工具跟我们之前介绍过的Ollama有点类似,都可以在本地运行大模型,但它们有两个明显不同:
Jan AI 除了支持开源模型,同时也支持OpenAI和Google在线模型
Jan AI 界面非常好看,操作也方便,代码大部分是用Typescript编写的
Jan AI 由三部分组成,第一是桌面客户端;第二是 Nitro Server,这是一个封装了 llama.cpp 的推理服务,当你使用本地大模型的使用会用到;第三就是 API Server,API Server相当于在本地再启动一个服务,通过这个服务可以像调用OpenAI接口一样访问大模型。
废话不多说,接下来进入实战环节!
一、安装
Jan 跟 Ollama 一样是跨平台的,也支持多种硬件设备,如:
Nvidia GPUs (fast)
Apple M-series (fast)
Apple Intel
Linux Debian
Windows x64
下载链接的话在其官方页面有明确说明:
地址:https://github.com/janhq/jan
我这里以 Mac 和 Linux 为例进行一个补充:
Apple Intel:Mac的下载比较简单,只需下载一个 dmg 的安装包,然后一路下载即可
Ubuntu 20.04:Ubuntu的安装需要注意一下,gcc和g++的版本需要11以上,不然本地模型会起不来
命令行终端会提示:由于缺少libstdc++.so.6的特定版本GLIBCXX_3.4.29而导致的报错 (类似的错误)
如果遇到这类问题,需要升级 gcc 版本到11及以上
sudo add-apt-repository -y ppa:ubuntu-toolchain-r/test
sudo apt install gcc-11 g++-11
# 如果偷懒的话,就直接用软链,不想偷懒可以用 update-alternatives 工具
sudo ln -sf /usr/bin/gcc-11 /usr/bin/gcc
sudo ln -sf /usr/bin/g++-11 /usr/bin/g++
安装注意事项:
虽然Jan支持多种设备,但是对设备的系统也有一定要求,这里再强调下:
二、模型下载
前面说过,Jan 支持本地模型和远程模型两种方式,如果你有OpenAI或者Groq的API Key,就可以不用下载模型直接使用了。
如果没有OpenAI的API Key,可以通过下载开源模型的方式解决,点击这里就能跳到模型仓库,不过你大概率会遇到网络魔法问题。
如果你有HTTPS的代理,则可以使用其进行代理,如果没有的话,可以浏览器下载模型后再导入,以 TheBloke/Llama-2-7B-Chat-GGUF[1] 模型为例,有两种导入模式,一种就是维持模型的位置不变,然后Jan用软链;另一种就是将模型移动到Jan的数据目录,这个看个人喜好。
导入之后,需要激活我们的模型,启动模型其实就是启动一个 nitro ,这是Jan 依据 llama.cpp 封装的一个服务,端口号是:3928,如果启动模型失败,可以检查下这个端口是否被占用。
以上就是Jan的一个简单介绍,从使用体验上看,Jan的还是优于Ollama的,毕竟多了一个桌面客户端。
相关文章
推荐
中国首款3A游戏上线,《黑神话:悟空》出圈!
2024-08-21 13:46
盘点15款AI配音工具,短视频配音有救了!
2024-08-12 17:11
短视频文案没创意?10大AI写作工具来帮你!
2024-08-05 16:23
Midjourney发布V6.1版本,我已分不清AI和现实了!
2024-08-01 15:03
我发现了一款国产AI绘画神器,免费易上手!
2024-07-25 16:40
7位AI考生做今年高考题,能过一本线吗?
2024-07-19 17:17
世界上第一所AI学校来了,80亿人只需要1位老师?
2024-07-18 17:12
Sora首部AI广告片上线,广告从业者危险了!
2024-06-27 13:44
OpenAI与中国说拜拜,国产AI如何接棒?
2024-06-26 15:18
人与AI会产生爱情吗,专家发话了!
2024-06-17 17:28