本地大模型 | DreamEutopia 博客

status

type

date

slug

summary

📝本地大模型部署

本地大模型顾名思义就是跑在本地的AI，无需联网即可回答你的各种问题，lama3.2也支持离线识图等功能，关键是可以配和MaxKB部署专属于自己的知识库

举个例子，你可以上传你的知识清单，让他去识别这个文档并整理要点给你或以上面的内容回答，玩法很多，运行于本地，无需登录账号

大模型配置

这里用到的是ollama这个软件，官网右上角下载即可

win+R输入cmd打开命令提示符

输入ollama，显示如下即为安装成功（ollama自动配置到环境变量，如果显示未找到可能是配置失败）

在ollama正上方搜索你想要的大模型，推荐llama3 8b和qwen2.5 7b，llama3.2是适配我们的电脑最好的模型，但是由于是国外开源的，在中文能力可能不如阿里开源的qwen，这里的b指的是多少billion参数，如果是NVIDIA4060显卡差不多的配置，这个大小的参数运行起来很流畅知道的也多

这里以qwen2.5 7b举例，复制ollama run qwen2.5:7b这句话，回到刚才打开的命令提示符窗口，输入这段话

显示如下即为成功，如无需配置ui界面和知识库耐心等待即可，输入文字即可对话，后续使用仅需打开cmd输入ollama run qwen2.5:7b即可运行

补充：如果你觉得这样比较麻烦，我也写了一个脚本，桌面右键点击创建点击文本文档文件，名字随便写，复制一下代码上去保存即可

@echo off

cmd /k ollama run qwen2.5:7b

右键这个文件点击属性，修改后缀名为bat，点击确认更改

后续直接点击这个文件，即可直接打开对话窗口

知识库配置

等待时间我们来配置知识库和ui界面来摆脱这个丑陋的命令行（如果不需要可以跳至下一小节）我们选择的是MaxKB，与它相似功能的还有Dify，但是鉴于其利用docker-compose配置更为复杂，我们选择可以满足大家需要的MaxKB，后续配合内网穿透可以完成提供自己的本地大模型供他人使用

这里运用到的是docker容器，简单介绍一下docker，他是一个为各个应用程序提供完整的运行环境并打包的容器，使应用无需修改代码也可完美适配各种不同操作系统，我的作品中也有其他对docker容器的使用，在我学完docker以后我还会进行更详细的介绍，这里演示在windows系统下安装docker-desktop

浏览器搜索进入官网，点击适配自己操作系统下载即可

打开hyper-v功能，打开控制面板，右上角搜索启用，点击打开第一个，找到hyper-v打钩点击确定即可，若果没有找到，win+R输入cmd打开命令提示符，输入：DISM /Online /Enable-Feature /All /FeatureName:Microsoft-Hyper-V，重启后即可找到

安装后打开，进入即可，如果显示一面空白请参考此篇文章（Docker Desktop启动失败解决方案（亲侧出坑总结）_dockerdesktop无法启动-CSDN博客）

打开命令提示符，输入：

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb

按回车后docker会自动拉取镜像进行配置，docker显示如下即为成功

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb