发布日期:2025-05-10 18:48 点击次数:176
💬
本教程所用到的软件包+deepseek使用手段资源包得回形态:
迷水商城迷水商城一、部署Ollama(多平台遴荐装置)
Ollama 辅助 Linux/macOS/Windows,需证据系统遴荐装置形态。
迷水商城1. Linux 系统部署适用系统:Ubuntu/Debian/CentOS 等
方法:
一键装置:
curl -fsSL https://ollama.com/install.sh | sh
权限树立(幸免 sudo 运行):
迷水商城sudo usermod -aG ollama $USER # 将现时用户加入ollama组newgrp ollama # 刷新用户组
启动办事:
systemctl start ollama # 启动办事systemctl enable ollama # 开机自启
考据装置:
ollama --version # 输出书本号即见效2. macOS 系统部署
方法:
一键装置:
curl -fsSL https://ollama.com/install.sh | sh
启动办事:
ollama serve # 前台运行(调试用)
或通过 Launchd 后台办事:
brew services start ollama # 通过Homebrew处置
3. Windows 系统部署
前置条款:
Windows 10/11 64位
已装置 WSL2(推选Ubuntu刊行版)
方法:
下载装置包:Ollama Windows Installer
迷水商城下载后进行双击装置
考据装置:
ollama list # 检察已装置模子迷水商城
图片
💬若何树立而已 Ollama 办事?
默许情况下,Ollama 办事仅在土产货运行,不合外提供办事。要使 Ollama 办事粗略对外提供办事,你需要诞生以下两个环境变量:
若是 Ollama 动作 systemd 办事运行,应使用 systemctl 诞生环境变量:
调用 systemctl edit ollama.service 剪辑 systemd 办事树立。这将掀开一个剪辑器。
在 [Service] 部分下为每个环境变量添加一瞥 Environment:
[Service]Environment="OLLAMA_HOST=0.0.0.0"Environment="OLLAMA_ORIGINS=*"
再行加载 systemd 并重启 Ollama:
威尼斯人 三挫伦催情液systemctl daemon-reloadsystemctl restart ollama二、拉取并运行DeepSeek模子
官方模子库参考:Ollama DeepSeek-R1 页面
图片
1. 拉取模子ollama pull deepseek-r1 # 官方推选模子称号
模子规格选项(按需遴荐):
ollama pull deepseek-r1:7b # 7B参数基础版ollama pull deepseek-r1:33b # 33B参数进阶版(需更高显存)
图片
2. 运行模子ollama run deepseek-r1
考据交互:
>>> 你好,请用华文恢复你好!我是DeepSeek-R1,很应允为您提供匡助!
三、不同硬件场景树立证明
证据硬件资源遴荐运行模式:
场景1:纯CPU运行适用情况:无独处显卡或显存不及
迷水商城树立优化:
为止线程数(幸免资源亏欠):
OLLAMA_NUM_THREADS=4 ollama run deepseek-r1 # 为止4线程
使用量化模子(减少内存占用):
ollama pull deepseek-r1:7b-q4_0 # 4-bit量化版
内存条款:
7B模子:至少8GB平稳内存
33B模子:至少32GB平稳内存
场景2:CPU+GPU混杂运行
适用情况:有NVIDIA显卡(需CUDA辅助)
树立方法:
装置驱动:
装置 NVIDIA驱动 和 CUDA Toolkit 12.x
启用GPU加快:
ollama run deepseek-r1 --gpu # 强制使用GPU
显存条款:
7B模子:至少6GB显存

33B模子:至少20GB显存
性能监控:
nvidia-smi # 检察GPU诈欺率
四、AI问迎接用接入土产货大模子形态1:部署MaxKB并接入Ollama
图片
1. 通过Docker部署MaxKBdocker run -d \ --name=maxkb \ -p 8080:8080 \ -v ~/maxkb_data:/var/lib/postgresql/data \ 1panel/maxkb:latest
看望 http://localhost:8080,默许账号密码 admin/MaxKB@123..
2. 树立Ollama模子接入
参加MaxKB畛域台:模子处置 > 添加模子
填写参数:
模子类型:Ollama
迷水商城模子称号:DeepSeek-r1
Base URL:http://ollama主机ip:11434(Docker内看望宿主机)
迷水商城模子称号:deepseek-r1(与Ollama拉取的模子名一致)
图片
3. 创建应用并测试问答功能图片
图片
形态2:土产货装置chatBox AI并接入土产货大模子1、下载装置包看望 GitHub Releases 页面:ChatBox Releases!ChatBox Releases页面
遴荐 Windows 版块:
迷水商城2、装置 ChatBox运行装置步调:
双击下载的 .exe 文献,性药商城按教导完成装置。
3、基础树立3.1. 聚首 土产货模子确保 Ollama 办事已运行。
在 ChatBox 诞生中遴荐 **ollama api**,填写:
API Endpoint: http://localhost:11434
API Key: 留空
Model Name: deepseek-r1(与 Ollama 模子称号一致)
图片
图片
3.2 不错自界说界面图片
迷水商城3.3 考据使用图片
五、常用的故障排查方法1. Ollama办事无法启动
日记检察:
迷水商城journalctl -u ollama -f # Linux
端口打破:修改Ollama端口:
OLLAMA_HOST=0.0.0.0:11435 ollama serve # 指定新端口
迷水商城迷水商城2. 模子加载失败
再行开动化:
ollama rm deepseek-r1 && ollama pull deepseek-r1
3. MaxKB聚首超时
检查网罗:
curl http://ollama-ip:11434 # 证实Ollama API可达
跨域问题:在Ollama启动时添加:
OLLAMA_ORIGINS="*" ollama serve
六、性能优化提出场景推选树立CPU模式使用GPU模式启用七、AI办事器性能监控
我使用zabbix+grafana对办事器作念了资源使用情况的监控,因为我的办事器莫得GPU,沿途使用CPU去跑,当我运行大模子的时代,不错看到办事器资源站哟比拟高(当今我测试用的的Deepseek-r1:7b)
图片
图片
图片
最近一年著述更新基本莫得什么收益,今天开拔点每篇著述背面会给公共挂几个小游戏,公共看完著述铭记玩两把再退出去,感谢!同期文中也有一些视频告白,公共也帮衬点开望望,望望即可,无用深度参与。 本站仅提供存储办事,统共本色均由用户发布,如发现存害或侵权本色,请点击举报。