使用 DeepSeek-R1 等推理模型将 RAG 转换为 RAT，以实现更智能的 AI

# 使用 DeepSeek-R1 等推理模型将 RAG 转换为 RAT，以实现更智能的 AI 传统的检索增强生成（RAG）系统在生成具备上下文感知的答案方面表现出色。然而，它们往往存在以下不足： - **精确性不足**：单次推理可能会忽略复杂查询中的细微差别。 - **理解不够深入**：若没有迭代过程，输出结果可能无法全面解决多方面的问题。 ## RAG简介 检索增强思考（RAT）通过引入模仿人类思维过程的推理循环，弥补了这些差距。这使得它在以下应用场景中具有极高价值： - 复杂问题解答 - 特定领域的AI助手 - 研究密集型工作流程 ![](https://upload-images.jianshu.io/upload_images/17294212-1baee2cfe2d14699.png) ## RAT详解 如下图所示，RAT的工作步骤如下： 1. **用户输入**：与RAG一样，用户提出问题。例如：“我如何提高我的生产力？” 2. **知识检索**：系统从知识库（如文档、文章）中检索与问题相关的信息片段。例如：检索到的内容可能包括关于时间管理、生产力技巧的文章，或者像任务优先级排序这样的工具介绍。 ![](https://upload-images.jianshu.io/upload_images/17294212-b7430c84c7955130.png) 3. **推理循环（迭代优化）** - **初始思考**：推理大语言模型（LLM）基于检索到的信息片段和用户问题开始工作，生成初始思考或推理内容。例如：“专注于有效进行任务优先级排序”。 - **迭代**：系统将这个思考结果反馈回检索和推理过程中。每次迭代都会优化检索到的上下文，并生成更细致入微的推理。 - 迭代2：“将任务分解成更小的部分，并根据紧急程度和重要性对它们进行优先级排序”。 - 迭代3：“实施时间块管理，并消除干扰以进行深度工作”。 4. **最终思考**：在完成指定的迭代次数后（或者当推理趋于稳定时停止），系统会产生一个最终思考结果，这是对问题经过深入思考后得出的详细理解。最终思考：“要提高生产力，可以使用艾森豪威尔矩阵对任务进行优先级排序，将它们分解成更小的部分，并利用时间块管理来专注工作”。 5. **增强生成**：经过优化的推理（最终思考结果）会被传递给负责生成答案的LLM。这个LLM将推理结果与原始问题相结合，生成最终便于用户理解的答案。最终答案：“要提高你的生产力，可以先使用艾森豪威尔矩阵对任务进行优先级排序。将它们分解成易于管理的步骤，并利用时间块管理来保持专注”。 ## 为何使用RAGLight来实现RAT？ RAGLight是一个功能多样的框架，它通过为检索、推理和生成工作流程提供模块化组件，简化了RAG和RAT管道的实现过程。凭借预构建的集成功能和可扩展的设计，你可以专注于提升AI的能力，而无需从头开始开发。 以下是如何使用RAGLight设置RAT和RAG管道，以及关键参数和定制选项的详细解释。 ## 设置RAT管道 ```python from raglight.rat.simple_rat_api import RATPipeline from raglight.models.data_source_model import FolderSource, GitHubSource from raglight.config.settings import Settings Settings.setup_logging() pipeline = RATPipeline(knowledge_base=[ FolderSource(path="/knowledge_base"), GitHubSource(url="https://github.com/Bessouat40/RAGLight") ], model_name="llama3", reasoning_model_name="deepseek-r1:1.5b", reflection=1) pipeline.build() response = pipeline.generate("How can I create an easy RAGPipeline using raglight framework? Give me the the easier python implementation") print(response) ``` ## 理解RAGLight参数 - **knowledge_base**：定义知识来源的列表。RAGLight支持： - FolderSource：指向包含文档（如PDF、文本文件）的本地文件夹路径。 - GitHubSource：要包含在知识库中的GitHub仓库的URL。你可以组合多个文件夹和仓库，以创建一个全面的知识库。 - **model_name**：用于最终生成的LLM的名称。RAGLight目前支持从Ollama拉取到本地的模型。你可以将“llama3”替换为其他模型，如“deepseek-r1:1.5b”，或者任何与Ollama兼容且已拉取到本地的模型。也可以使用推理模型。 - **reasoning_model_name（RAT特定）**：指定在RAT管道中用于迭代推理的模型。你必须选择推理模型。实际上，RAGLight目前只支持像deepseek-r1:1.5b这样的deepseek模型。 - **reflection（RAT特定）**：定义要执行的推理迭代次数。每次迭代都会优化检索到的上下文和推理逻辑。增加迭代次数可以进行更深入的推理，减少迭代次数则可以加快处理速度。 - **pipeline.build** ：此函数用于处理知识库、生成嵌入向量，并初始化向量存储。 - 工作原理：解析知识库来源（如文件夹、GitHub仓库）；使用指定模型为所有文档创建嵌入向量；将嵌入向量存储在向量存储中以供检索。 - **pipeline.generate**：根据用户的查询和从知识库中检索到的上下文生成响应。 - 工作原理：将用户查询转换为嵌入向量；从向量存储中检索相关文档或片段；（对于RAT管道）使用推理模型迭代优化响应；生成最终具有上下文感知的响应。 本文由[mdnice](https://mdnice.com/?platform=6)多平台发布
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 229,001评论 6赞 537
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 98,786评论 3赞 423
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 176,986评论 0赞 381
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 63,204评论 1赞 315
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 71,964评论 6赞 410
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 55,354评论 1赞 324
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 43,410评论 3赞 444
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 42,554评论 0赞 289
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 49,106评论 1赞 335
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 40,918评论 3赞 356
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 43,093评论 1赞 371
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 38,648评论 5赞 362
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 44,342评论 3赞 347
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 34,755评论 0赞 28
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 36,009评论 1赞 289
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 51,839评论 3赞 395
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 48,107评论 2赞 375

推荐阅读更多精彩内容