
想玩玩大模型,但是又没有系统学习过大模型相关知识,如果等学完了再来部署运行调试大模型,很容易失去兴趣,这里就先做一个Hello World,先把大模型跑起来再说
下载一个Ollama,网站下载需要开VPN,不能开的从百度网盘链接下载也行
Download Ollama on Windows
百度网盘链接: https://pan.baidu.com/s/1PiU4krG_pksJgaF_t64Ivg 提取码: iw9k
安装的时候用命令行进入Ollama安装包执行安装命令,这里用DIR制定了安装的位置,如果不指定的话会默认安装在C盘
OllamaSetup.exe /DIR="D:\tool\Ollama"
安装启动后,修改大模型下载位置

我们下载一个7b的千问2.5试试水,打开一个命令提示符执行下面的命令
ollama run qwen2.5:7b
如果遇到下载速度慢可以ctrl+c先结束下载,然后执行ollama run qwen2.5:7b重新开始下载
结束后就可以和它对话了

Ollama常用的命令和Docker很像
下载Open WebUI
docker pull ghcr.io/open-webui/open-webui:main
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v D:\download\dockerdata\open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
运行起来后访问localhost:3000就可以了
