【最佳方案】RAG 技术深度剖析及 MaxKB 在企业 AI 落地中的应用策略

O6rUMeslmNv

RAG 已经成为 LLM 大语言模型在企业落地的最佳方案，其中主要是因为 RAG 能够解决幻觉问题、时效性问题以及数据安全问题。

• 解决幻觉问题：
  LLM 文本生成的底层原理是基于概率的 token by token 的形式，因此会不可避免地
  产生“一本正经的胡说八道"的情况。比如：你说，”博物馆下周一开门吗？“，很有可能给你回复：”开门”，到时候就是白跑一趟了。
  
• 解决时效性问题：
  LLM 的规模越大，大模型训练的成本越高，周期也就越长。那么具有时效性的数据也就无法参与训练，所以也就无法直接回答时效性相关的问题，例如“帮我推荐几部热映的电影？”
  
• 解决数据安全问题：
  通用 LLM 没有企业内部数据和用户数据，那么企业想要在保证安全的前提下使用 LLM，最好的方式就是把数据全部放在本地，企业数据的业务计算全部在本地完成。而在线的大模型仅仅完成一个归纳的功能。
  

一、RAG 检索增强生成技术

“Retrieval-Augmented Generation” 的缩写，中文可以翻译为“检索增强生成”。这是一种结合了检索（Retrieval）和生成（Generation）的自然语言处理技术，用于提高语言模型在特定任务上的性能和准确性。在加上一个数据向量和索引的工作，我们对RAG就可以总概方式地理解为“ 索引、检索和生成 ”。

• 索引（Indexing）：
  将外部知识源（如文档、文章或数据库）转换为一种便于快速检索的结构化形式,并通过向量化（embedding）来实现。
  
• 检索（Retrieval）：
  在这个阶段，模型会从预先构建的大规模数据集中检索出与当前任务最相关的信息。这些数据集可以是文档、网页、知识库等。
  
• 生成（Generation）：
  在检索到相关信息后，模型会使用这些信息来生成答案或完成特定的语言任务。这个阶段通常涉及到序列生成技术，如基于Transformer的模型。
  

二、RAG的优势以及适用场景

• 知识增强：通过检索外部知识源，生成模型可以访问更多信息，从而生成更准确的回答。
  
• 可解释性：检索到的文档片段可以作为生成回答的依据，提高模型的可解释性。
  
• 动态更新：外部知识源可以随时更新，而无需重新训练生成模型。
  

三、RAG 检索增强生成技术实现流程及最佳落地方案 MaxKB 的 RAG 原理解析


基于 RAG 的检索增强生成技术详细实现流程，我们可以逐一看下基于MaxKB ，一款基于大语言模型和RAG技术的开源知识库问答系统，是如何在企业落地大语言模型的外挂 RAG 技术，以下分为九点一一详细介绍：
3.1 基于 RAG 的 MaxKB 设计一：MaxKB 知识库文档管理

• 支持本地文档、Web 网站知识库文档。
  
• 支持 TXT、Markdown、PDF、DOCX、HTML、XLS、XLSX、CSV、ZIP等文档，同时支持表格数据以及 QA 问答等文档数据直接导入。
  
  

3.2 基于 RAG 的 MaxKB 设计二：MaxKB 文档智能化处理

• 支持智能文档分段：不了解如何设置分段规则时可使用智能分段；
  
• 支持高级分段：用户可根据文档规范自行设置分段标识符、分段长度及清洗规则；
  
• 支持导入时添加分段标题为关联问题：适用于标题为问题的问答对。
  
  

2.3 基于 RAG 的 MaxKB 设计三：MaxKB 支持自定义向量模型

• MaxKB 内置向量模型模型为 Text2vec-base-Chinese
  
• 支持自定义添加本地和公有向量模型；
  
• 目前支持公有模型包含阿里云百炼、Amazon Bedrock、Azure OpenAI、Gemini、OpenAI、SILICONFLOW、腾讯混元、千帆大模型、讯飞星火等，本地向量模型包含Ollama、Xorbits Inference等。
  
  

3.4 基于 RAG 的 MaxKB 设计四：用户提问问题优化完善

• 支持工作流编排增加问题优化节点；
  
• 支持语音提问以及表单搜集、文件上传等补充完善提问；
  
• 支持设置提问角色以及提示词并能够基于大语言模型进行问题优化；
  
• 支持将优化后的问题输出到知识库检索；
  
• 支持通过函数获取更多信息补充完善问题。
  
  

3.5 基于 RAG 的 MaxKB 设计五：支持向量数据库检索参数自定义

1、支持向量数据库检索自定义设置检索模式：向量检索、全文检索、混合检索；
2、支持设置检索相似度、引用分段数 TOP以及最多应用字符数；
3、支持设置知识库检索不到时是否咨询大模型等参数设置。

3.6 基于 RAG 的 MaxKB 设计六：支持自定义工作流基于重排模型进行多路召回

• 支持添加本地和公有重排模型；
  
• 支持公有模型包含阿里云百炼、SILICONFLOW等，本地向量模型包含Xorbits Inference等；
  
• 支持基于工作流编排添加多路召回节点，通过设置重排内容以及重排模型重新输出重排结果。
  
  

3.7 基于 RAG 的 MaxKB 设计七：知识库检索结果输出为AI对话提示词

• 支持将知识库搜索结果的分段列表输出作为 AI 对话提示词；
  
• 支持将用户提问问题作为 AI 对话提示词；
  
• 支持将定义 AI 节点扮演角色。
  
  

3.8 基于 RAG 的 MaxKB 设计八：模型中立，支持主流的公有和本地大语言模型

• 支持添加本地和公有大语言、语言识别、语音生成、视觉模型以及图片生成模型；
  
• 模型管理用于对接供应商的大语言模型，支持对接主流的大模型，包括本地私有大模型（Llama 3 / Qwen 2 等）、国内公共大模型（ DeepSeek / SILICONFLOW / Kimi / 通义千问 / 智谱 AI / 百度千帆 等）和国外公共大模型（OpenAI / Azure OpenAI / Anthropic / Gemini 等），支持的类型包括文本生成、向量模型、重排、语音识别、语音合成、视觉模型、图片生成等。
  
  

3.9 基于 RAG 的 MaxKB 设计九：支持 AI 智能回答以及指定答复

• 支持大语言模型智能回答；
  
• 支持通过判断器让回答更加准确；
  
• 支持通过语音合成模型实现语言答复；
  
• 支持通过函数、内置标签等方式展示为不同格式的答复：图片、表格、图标、网页标签、文档等。
  
  

基于以上，MaxKB 基于大语言模型和检索增强生成 RAG 技术，为企业和个人提供了高效的知识管理和智能问答功能。MaxKB 支持多种文件格式的知识库导入，并配备了直观的 UI 界面进行模型配置和知识库管理。其内置的强大工作流引擎和函数库，能够支持复杂业务场景下的 AI 工作过程编排。此外，MaxKB 还支持将知识库问答系统无缝嵌入到第三方业务系统中，满足了企业多样化的需求。通过 MaxKB，用户可以轻松创建和管理知识库，实现快速且准确的知识检索和问答，是 RAG技 术的一个实用且高效的落地方案。
关于 MaxKB 更多资料及案例参见如下：

• MaxKB官网：https://maxkb.cn/index.html
  
• GitHub地址：https://github.com/1Panel-dev/MaxKB
  
• BBS论坛：https://bbs.fit2cloud.com/c/mk/11
  
• 培训认证中心：https://edu.fit2cloud.com/