基于 ollama 和 chatboxai的 AI 本地部署
xf20280111 · · 科技·工程
ollama 的本地部署 AI
下载 ollama
在我的同学的网站里有一个下载链接,方便快捷,强推!!!
网站:http://zxtcode.top
进去之后注册一个账号,然后打开如下链接:
https://zxtcode.top/OllamaSetup.exe
等待下载完毕,打开它
然后就是安装了。
安装 AI
这里我们以当下最火的 deepseek 为例。
首先打开 ollama 官网 https://ollama.com/search
然后这里面就是有的模型了
我们点击一个模型,然后就可以发现一个下载命令。
但是有 1.5b,7b,这是什么意思呢?
这代表参数的个数。
比如 1.5b 就代表有 1.5 亿个参数。
1.5b 适合机房电脑。
复制命令到 cmd 或者 powershell 里面运行
ollama run deepseek-r1:1.5b
这样就是安装了。
里面还有很多种模型,我们都可以进行安装,方法都是一模一样的。
使用 AI
最后就直接再里面使用了。
如果关掉了命令行只需要重新运行命令就可以了。
但是大家应该都发现了,这里面没有 markdown 渲染,也不能附加文件,每次运行也非常麻烦!!!
于是我们就有了第二种方法,基于 chatbox 的 AI 部署。
chatbox 的 AI 部署
下载 chatbox
访问 chatboxai 官网下载 chatbox。
运行安装包。
配置 AI
我们点击设置按钮。
在这里面我们看到的 AI 更多,但是很多都是要付钱的。
我们就可以选择了。
使用 AI
这里面还有基于模型的角色扮演和更多功能,大家都可以探索。非常好用!
总结
这两种本地部署的方法的优点和缺点都是有的。
优点:
- 摆脱了网页版的束缚,尤其是针对 deepseek 的服务器问题
- 支持多种模型
缺点
- 比较耗费电脑内存
- 换台电脑重新搞会比较麻烦