基于 ollama 和 chatboxai的 AI 本地部署

· · 科技·工程

ollama 的本地部署 AI

下载 ollama

在我的同学的网站里有一个下载链接,方便快捷,强推!!!

网站:http://zxtcode.top

进去之后注册一个账号,然后打开如下链接:

https://zxtcode.top/OllamaSetup.exe

等待下载完毕,打开它

然后就是安装了。

安装 AI

这里我们以当下最火的 deepseek 为例。

首先打开 ollama 官网 https://ollama.com/search

然后这里面就是有的模型了

我们点击一个模型,然后就可以发现一个下载命令。

但是有 1.5b,7b,这是什么意思呢?

这代表参数的个数。

比如 1.5b 就代表有 1.5 亿个参数。

1.5b 适合机房电脑。

复制命令到 cmd 或者 powershell 里面运行

ollama run deepseek-r1:1.5b

这样就是安装了。

里面还有很多种模型,我们都可以进行安装,方法都是一模一样的。

使用 AI

最后就直接再里面使用了。

如果关掉了命令行只需要重新运行命令就可以了。

但是大家应该都发现了,这里面没有 markdown 渲染,也不能附加文件,每次运行也非常麻烦!!!

于是我们就有了第二种方法,基于 chatbox 的 AI 部署。

chatbox 的 AI 部署

下载 chatbox

访问 chatboxai 官网下载 chatbox。

运行安装包。

配置 AI

我们点击设置按钮。

在这里面我们看到的 AI 更多,但是很多都是要付钱的

我们就可以选择了。

使用 AI

这里面还有基于模型的角色扮演和更多功能,大家都可以探索。非常好用!

总结

这两种本地部署的方法的优点和缺点都是有的。

优点:

缺点