常见本地大模型知识库工具

这里先盘点一下最近比较火爆的几个工具，将从知识库侧和大模型侧分别介绍。

带知识库的桌面客户端

知识库侧主要是指更加偏向于能够直接读取文档并处理大量信息资源，包括文档上传、自动抓取在线文档，然后进行文本的自动分割、向量化处理，以及实现本地检索增强生成（RAG）等功能的工具，近期较为热门的主要包括：AnythingLLM、Cherry Studio、MaxKB、FastGPT、 Open WebUI 这5个

我个人比较喜欢 Cherry Studio

AnythingLLM

AnythingLLM 是 Mintplex Labs Inc. 开发的一款可以与任何内容聊天的私人 ChatGPT，是高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型（LLM）在聊天中可以利用的相关上下文。

其采用MIT许可证的开源框架，支持快速在本地部署基于检索增强生成（RAG）的大模型应用。在不调用外部接口、不发送本地数据的情况下，确保用户数据的安全。

值得一提的是，AnythingLLM可以支持PDF，TXT，DOCX等文档，可以提取文档中的文本信息，经过嵌入模型（Embedding Models），保存在向量数据库中，并通过一个简单的UI界面管理这些文档。
为管理这些文档，AnythingLLM引入工作区（workspace）的概念，作为文档的容器，可以在一个工作区内共享文档，但是工作区之间隔离。
同时，它独特的多用户模式，配合工作区使用起来效果更佳：
管理员（Admin）账号：拥有全部的管理权限。
Manager账号：可管理所有工作区和文档，但是不能管理大模型、嵌入模型和向量数据库。
普通用户账号：基于已授权的工作区与大模型对话，不能对工作区和系统配置做任何更改。

Cherry Studio

CherryStudio 是一款集多模型对话、知识库管理、AI 绘画、翻译等功能于一体的全能 AI 助手平台。 CherryStudio的高度自定义的设计、强大的扩展能力和友好的用户体验，使其成为专业用户和 AI 爱好者的理想选择。无论是零基础用户还是开发者，都能在 CherryStudio 中找到适合自己的AI功能，提升工作效率和创造力。

项目优势

小白友好：CherryStudio 致力于降低技术门槛，零基础用户也能快速上手，让用户专注于工作、学习或者创作。
文档完善：提供详细的使用文档和常见问题处理手册，帮助用户快速解决问题。
持续迭代：项目团队积极响应用户反馈，持续优化功能，确保项目健康发展。
开源与扩展性：支持用户通过开源代码进行定制和扩展，满足个性化需求。

适用场景

知识管理与查询：通过本地知识库功能，快速构建和查询专属知识库，适用于研究、教育等领域。
多模型对话与创作：支持多模型同时对话，帮助用户快速获取信息或生成内容。
翻译与办公自动化：内置翻译助手和文件处理功能，适合需要跨语言交流或文档处理的用户。
AI 绘画与设计：通过自然语言描述生成图像，满足创意设计需求。

MaxKB

MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base，旨在成为企业的最强大脑。

与同类基于LLM的知识库问答提供系统相比，MaxKB的核心优势包括：
■ 开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好；
■ 无缝嵌入：支持零编码快速嵌入到第三方业务系统；
■ 多模型支持：支持对接主流的大模型，包括本地私有大模型（如Llama 2）、OpenAI、Azure OpenAI和百度千帆大模型等。

FastGPT

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！

该项目主要提供了以下几个核心特点和功能：
开箱即用的数据处理与模型调用：FastGPT允许用户轻松地导入文档、文本文档、PDF文件、电子邮件等非结构化数据，并自动处理这些数据以便于模型理解和使用。它内置了对多种大型语言模型的支持，如GPT-2、GPT-3及其变体，用户可以快速调用这些模型进行问答或对话任务。
可视化工作流编排：FastGPT支持使用Flow可视化工具进行工作流的编排，使得构建复杂问答场景变得更加直观和简单，用户可以拖拽组件来设计数据处理流程、模型调用逻辑等，而不需要编写大量代码。
高效向量检索：项目利用PostgreSQL的PG Vector插件作为向量检索器，优化了对大规模数据的检索效率，这在处理复杂知识库查询时尤为关键。
易于部署与定制：FastGPT设计有较低的学习成本，便于用户快速上手和部署。同时，它支持模型的微调和扩展，用户可以根据特定需求调整模型，使其更好地服务于特定领域或业务场景。

FastGPT

Open WebUI（前身为Ollama WebUI）是一个可扩展的、功能丰富的、用户友好的自托管Web界面，设计用于完全离线运行。它支持各种LLM（大型语言模型）运行器，包括Ollama和兼容OpenAI的API。
特性包括：
直观界面：聊天界面灵感源自 ChatGPT，确保用户友好体验。
响应式设计：在桌面和移动设备上都能获得无缝体验。
本地RAG集成：通过开创性的检索增强生成（RAG）支持，深入聊天互动的未来。这项功能将文档交互无缝集成到你的聊天体验中。你可以直接将文档加载到聊天中，或者毫不费力地将文件添加到你的文档库中，使用提示中的#命令轻松访问它们。在其alpha阶段，可能会出现偶尔的问题，因为我们正在积极改进和增强这项功能，以确保最佳性能和可靠性。
无缝设置：使用 Docker 或 Kubernetes（kubectl、kustomize 或 helm）轻松安装，无烦恼体验。
主题定制、代码语法高亮、完整支持 Markdown 和 LaTeX、本地 RAG 整合、RAG 嵌入支持、网页浏览功能。