Appearance
05 · 案例与项目:别人怎么搞的
动手前多看几个真实实践,少踩坑。本章是精选的实践文章 + 高星 GitHub 项目清单。
一、实践案例文章(看别人怎么搭)
强烈推荐:真实复盘类
| 文章 | 亮点 | 链接 |
|---|---|---|
| A 9-Layer AI System Built With Ollama on a Mac Mini M4 | 在 Mac mini / 16GB 上搭了 9 层本地 AI 系统(聊天+自主编码+Mac/浏览器自动化),有架构、失败教训、"什么真正有用"——最接近"私人助理"完整形态的复盘 | Towards AI |
| How to Build a Local AI Personal Assistant in 2026 | Ollama + DeepSeek + Open WebUI + Chroma 向量库,含 RAG 与系统提示词设计,第一个用例选"文档问答"验证全栈 | StackNova |
macOS 本地部署类
| 文章 | 亮点 | 链接 |
|---|---|---|
| Free Local AI Assistant on macOS (Ollama) | 10 分钟在 Mac 上跑通本地助理,含注册为 launch agent 后台常驻、API 调用 | Nick Launches |
| Open WebUI + Ollama on Mac: Local AI for Your Home Network | 怎么按硬件选模型、Open WebUI 局域网共享给家人,含内存占用对照 | famstack.dev |
| How to Connect OpenCode to Ollama | 本地代码 Agent:Ollama + OpenCode,强调 OpenAI 兼容端点要带 /v1 | CodeHelper |
自托管 / 服务器部署类
| 文章 | 亮点 | 链接 |
|---|---|---|
| Self-Hosted AI — Deploy Ollama and Open WebUI in Your Homelab | 完整 Docker Compose、GPU 加速、备份、Cloudflare Tunnel / Tailscale 远程访问 | GnTech Blog |
| Ollama + Open WebUI Self-Hosting Guide 2026 | 两条路径:Mac 本地 5 分钟版 + Hetzner VPS(~$5/月)24/7 版,含"何时该直接用 API"的诚实建议 | Effloow |
| Deploy Open WebUI + Ollama on VPS | VPS 部署 + Nginx 反代 + HTTPS + 集成云端模型 | SelfVPS |
选型对比类
| 文章 | 亮点 | 链接 |
|---|---|---|
| AnythingLLM vs Open WebUI vs LibreChat in 2026 | 三大自托管界面深度对比,含 star 数、上手难度、各自的"坑" | DEV Community |
| The Best Open Source AI Tools You Can Run on Your Own Hardware | Ollama / Open WebUI / Jan / AnythingLLM / Tabby / n8n 一览表 + 选型建议 | opensourcealternatives.to |
二、GitHub 项目清单(按角色分类)
模型运行引擎(底座,必装)
| 项目 | 星 | 说明 |
|---|---|---|
| ollama/ollama | ~139k | 本地模型运行的事实标准,一条命令拉模型,OpenAI 兼容 API。本次方案的本地底座 |
聊天界面 / 知识库(门面 · 轻量型)
| 项目 | 星 | 说明 |
|---|---|---|
| open-webui/open-webui | ~141k | 最流行的自托管 AI 界面,ChatGPT 式 UI + RAG + TTS/STT + 多用户 + 插件。本次起步首选 |
| Mintplex-Labs/anything-llm | ~60k | 文档 RAG 优先,桌面 App 零配置,适合"和我的文档对话" |
| menloresearch/jan | — | 纯本地桌面 App,零订阅、最易上手 |
| danny-avila/LibreChat | ~36k | 多 provider + 企业认证(LDAP/SSO),栈较重 |
全功能助理(门面 · 重型)
| 项目 | 说明 |
|---|---|
| ownpilot/OwnPilot | 140+ 模型供应商、MCP、语音、智能路由、Telegram/WhatsApp。混合路由场景最契合,本次进阶候选 |
| orbis-agent/orbis | 语音 + 6 渠道 + 知识图谱 + 安装向导,单租户。进阶备选 |
| OpenClaw(搜最新仓库) | 50+ 集成、能自写技能、7×24 自主。⚠️ 早期有安全事故,务必用新版 + 沙箱 |
路由 / 编排 / 自动化(底座 · 进阶)
| 项目 | 说明 |
|---|---|
| BerriAI/litellm | 统一各家 API + 智能路由 + 用量统计,想做成本控制时用 |
| langgenius/dify | 可视化搭 RAG / Agent 工作流,连本地和云端模型 |
| n8n-io/n8n | 通用自动化 + AI 节点,接一堆外部服务 |
| TabbyML/tabby | 自托管代码补全(Copilot 替代),但本次写代码仍用 Cursor |
三、本地模型选择参考
| 模型 | 拉取命令 | 大小 | 适合 |
|---|---|---|---|
| Qwen3 30B | ollama pull qwen3:30b | ~18-20GB | 中文强、综合好,本次首选 |
| Qwen3 Coder 30B | ollama pull qwen3-coder:30b | ~18GB | 偏代码任务 |
| GPT-OSS 20B | ollama pull gpt-oss:20b | ~12GB | 更快更省内存 |
| DeepSeek-V3(量化) | 看 Ollama 库 | 大 | 需 36GB+ 内存 |
| nomic-embed-text | ollama pull nomic-embed-text | ~300MB | 知识库嵌入(必拉) |
模型迭代快,拉之前到 ollama.com/search 看当下最新版本号。
四、阅读建议路径
没时间只看 1 篇 → Towards AI 那篇 9 层系统复盘(最完整)
想动手照着做 → Effloow 自托管指南(Mac + VPS 两条路)
纠结选哪个界面 → AnythingLLM vs Open WebUI vs LibreChat 对比
想了解 RAG 细节 → StackNova 本地助理那篇五、待回流(部署后补充)
自己实践后,把真实踩的坑、性能数据、最终配置记录到这里,让这份 playbook 持续进化。
- [ ] Qwen3 30B 在 M5 Pro 上的实际 token/s
- [ ] Open WebUI 接 Claude 的具体端点配置
- [ ] 知识库喂了哪些文档、检索效果如何
- [ ] OwnPilot 是否上了、语音/Telegram 体验如何
- [ ] 每月云端 API 实际花了多少钱
返回
回到 首页 · 上一章 04-deploy.md