RAG / 检索增强生成

Fine Tuning LLM for Enterprise: Practical Guidelines and Recommendations

Mathav Raj J, Kushala VM, Harikrishna Warrier, Yogesh Gupta

专题命中 长文档RAG ：retrieval augmented generation(abstract)；RAG(abstract)

Comments 17 pages, 12 tables, 3 figures

HMARS: A Hierarchical Multi-Agent Memory System for Long-Context Reasoning

HMARS：用于长上下文推理的分层多智能体记忆系统

Zeju Li, Ziyang Zheng, Yizhou Zhou, Qiang Xu

机构 * The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；分类 cs.IR、cs.AI

AI总结 提出HMARS分层多智能体记忆系统，通过子智能体、中层智能体和前沿模型的分层结构管理长上下文，在长文档和多轮记忆任务中优于检索、重排序、全上下文、基于图和智能体基线。

From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors

从相似性到结构：基于混合图先验的训练自由LLM上下文压缩

Yitian Zhou, Chaoning Zhang, Jiaquan Zhang, Zhenzhen Huang, Jinyu Guo, Sung-Ho Bae, Lik-Hang Lee, Caiyan Qin, Yang Yang

机构 * School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） ； Department of Computer Science and Engineering, Kyung Hee University（Kyung Hee大学计算机科学与工程系） ； Department of Industrial and Systems Engineering, The Hong Kong Polytechnic University（香港理工大学工业与系统工程系） ； School of Robotics and Advanced Manufacture, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区机器人与先进制造学院） 纠错

专题命中 长文档RAG ：dense retrieval(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种无需训练的上下文压缩框架，利用混合图先验选择句子，通过构建稀疏句子图、提取主题骨架并结合可解释评分进行冗余抑制，实验证明在长文档基准上表现更优。

TSUBASA: Improving Long-Horizon Personalization via Evolving Memory and Self-Learning with Context Distillation

TSUBASA：通过动态记忆演化和基于上下文蒸馏的自我学习提升长周期个性化

Xinliang Frederick Zhang, Lu Wang

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

AI总结 TSUBASA通过动态记忆演化和基于上下文蒸馏的自我学习，提升个性化大语言模型的长周期任务能力，在Qwen-3模型家族上验证了其有效性，超越了依赖记忆写入的Mem0和Memory-R1系统。

Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration

Search-R2: 通过演员-细化协作提升搜索集成推理

Bowei He, Minda Hu, Zenan Xu, Hongru Wang, Licheng Zong, Yankai Chen, Chen Ma, Xue Liu, Pluto Zhou, Irwin King

机构 * The Chinese University of Hong Kong（香港中文大学） ； LLM Department, Tencent（腾讯语言模型部门） ； Mohamed bin Zayed University of Artificial Intelligence（马尔代夫人工智能大学） ； McGill University（麦吉尔大学） ； City University of Hong Kong（香港城市大学） ； The University of Edinburgh（爱丁堡大学） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

AI总结 Search-R2通过演员-细化协作框架提升搜索集成推理，通过针对性干预和混合奖励设计，在多种QA数据集上超越强基线，实现更优的推理准确性。

LLM-C3MOD: A Human-LLM Collaborative System for Cross-Cultural Hate Speech Moderation

Junyeong Park, Seogyeong Jeong, Seyoung Song, Yohan Lee, Alice Oh

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Comments Accepted to NAACL 2025 Workshop - C3NLP (Workshop on Cross-Cultural Considerations in NLP)

Benchmarking Chinese Commonsense Reasoning with a Multi-hop Reasoning Perspective

Wangjie You, Xusheng Wang, Xing Wang, Wenxiang Jiao, Chao Feng, Juntao Li, Min Zhang

机构 * Douyin Content Group, ByteDance（字节跳动内容部） ； School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

Medchain: Bridging the Gap Between LLM Agents and Clinical Practice with Interactive Sequence

Jie Liu, Wenxuan Wang, Zizhan Ma, Guolin Huang, Yihang SU, Kao-Jung Chang, Wenting Chen, Haoliang Li, Linlin Shen, Michael Lyu

机构 * The City University of Hong Kong（香港城市大学） ； Renmin University of China（中国人民大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shenzhen University（深圳大学） ； National Yang Ming Chiao Tung University（阳明交通大学） ； Taipei Veterans General Hospital（台北荣民总医院） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Comments Accepted by NeurIPS25 Spotlight

PL-CA: A Parametric Legal Case Augmentation Framework

Ao Chang, Yubo Chen, Jun Zhao

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Maestro: Joint Graph & Config Optimization for Reliable AI Agents

Wenxiao Wang, Priyatham Kattakinda, Soheil Feizi

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Comments Technical Report by RELAI.ai

MIRIX: Multi-Agent Memory System for LLM-Based Agents

Yu Wang, Xi Chen

机构 * MIRIX AI 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

HERMES: temporal-coHERent long-forM understanding with Episodes and Semantics

Gueter Josmy Faure, Jia-Fong Yeh, Min-Hung Chen, Hung-Ting Su, Shang-Hong Lai, Winston H. Hsu

机构 * National Taiwan University（国立台湾大学） ； NVIDIA（NVIDIA公司） ； National Tsing Hua University（国立清华大学） 纠错

专题命中 长文档RAG ：retriever(abstract)；分类 cs.CL、cs.AI

Comments Accepted for ICCV 2025. Project page: https://joslefaure.github.io/assets/html/hermes.html

Gumbel Reranking: Differentiable End-to-End Reranker Optimization

Siyuan Huang, Zhiyuan Ma, Jintao Du, Changhua Meng, Weiqiang Wang, Jingwen Leng, Minyi Guo, Zhouhan Lin

机构 * LUMIA Lab, Shanghai Jiao Tong University（上海交通大学LUMIA实验室） ； Tiansuan Lab, Ant Group Co., Ltd.（蚂蚁集团天算实验室） ； SJTU Paris Elite Institute of Technology（上海交通大学巴黎精英理工学院） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.IR、cs.CL

Comments ACL 2025 Main

SwiftKV: Fast Prefill-Optimized Inference with Knowledge-Preserving Model Transformation

Aurick Qiao, Zhewei Yao, Samyam Rajbhandari, Yuxiong He

机构 * Snowflake AI Research（Snowflake人工智能研究院） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

What External Knowledge is Preferred by LLMs? Characterizing and Exploring Chain of Evidence in Imperfect Context for Multi-Hop QA

Zhiyuan Chang, Mingyang Li, Xiaojun Jia, Junjie Wang, Yuekai Huang, Qing Wang, Yihao Huang, Yang Liu

机构 * State Key Laboratory of Intelligent Game（智能游戏国家重点实验室） ； Science and Technology on Integrated Information System Laboratory（集成信息系统技术实验室） ； Institute of Software Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Comments 15 pages, 4 figures

BARE: Leveraging Base Language Models for Few-Shot Synthetic Data Generation

Alan Zhu, Parth Asawa, Jared Quincy Davis, Lingjiao Chen, Boris Hanin, Ion Stoica, Joseph E. Gonzalez, Matei Zaharia

机构 * UC Berkeley（伯克利大学） ； Stanford University（斯坦福大学） ； Foundry ； Princeton University（普林斯顿大学） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Synthesizing Public Opinions with LLMs: Role Creation, Impacts, and the Future to eDemorcacy

Rabimba Karanjai, Boris Shor, Amanda Austin, Ryan Kennedy, Yang Lu, Lei Xu, Weidong Shi

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Cross-Lingual Multi-Hop Knowledge Editing

Aditi Khandelwal, Harman Singh, Hengrui Gu, Tianlong Chen, Kaixiong Zhou

专题命中 长文档RAG ：retriever(abstract)；分类 cs.CL、cs.AI

LawLuo: A Multi-Agent Collaborative Framework for Multi-Round Chinese Legal Consultation

Jingyun Sun, Chengxiao Dai, Zhongze Luo, Yangbo Chang, Yang Li

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Comments 13 pages

BABILong: Testing the Limits of LLMs with Long Context Reasoning-in-a-Haystack

Yuri Kuratov, Aydar Bulatov, Petr Anokhin, Ivan Rodkin, Dmitry Sorokin, Artyom Sorokin, Mikhail Burtsev

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

Comments NeurIPS 2024 Datasets and Benchmarks Track

RAM: Towards an Ever-Improving Memory System by Learning from Communications

Jiaqi Li, Xiaobo Wang, Wentao Ding, Zihao Wang, Yipeng Kang, Zixia Jia, Zilong Zheng

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Jina Embeddings 2: 8192-Token General-Purpose Text Embeddings for Long Documents

Michael Günther, Jackmin Ong, Isabelle Mohr, Alaeddine Abdessalem, Tanguy Abel, Mohammad Kalim Akram, Susana Guzman, Georgios Mastrapas, Saba Sturua, Bo Wang, Maximilian Werk, Nan Wang, Han Xiao

专题命中 长文档RAG ：vector search(abstract)；分类 cs.CL、cs.AI

Comments 14 pages

Attention Sorting Combats Recency Bias In Long Context Language Models

Alexander Peysakhovich, Adam Lerer

专题命中 长文档RAG ：retrieval augmented generation(abstract)；分类 cs.CL、cs.AI

Memory and Knowledge Augmented Language Models for Inferring Salience in Long-Form Stories

David Wilmot, Frank Keller

专题命中 长文档RAG ：retrieval augmented generation(abstract)；分类 cs.CL、cs.AI

Comments Accepted to the EMNLP 2021 Conference as a long-paper, 9 pages, 15 pages with appendices and references, 2 figures, 4 tables

Sheet As Token: A Graph-Enhanced Representation for Multi-Sheet Spreadsheet Understanding

表格作为标记：一种增强图的多表表格理解表示

Yiming Lei, Yuhang Yao, Yujia Zhang, Yiqi Wang, Bo Guan, Depei Zhu, Chunhui Wang, Zhuonan Hao, Tianyu Shi

机构 * Effyic Technology Co., Ltd（Effyic技术有限公司） ； McGill University（麦吉尔大学） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.AI

AI总结 本文提出Sheet as Token框架，通过图增强方法将每个工作表视为统一语义单元，提升多表表格检索能力，实验表明图增强的跨表推理在有限计算下优于浅层图基线。

Octopus v2: On-device language model for super agent

章鱼v2：用于超级代理的设备端语言模型

Wei Chen, Zhiyuan Li

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL

AI总结 章鱼v2通过设备端20亿参数模型，在准确性和延迟上超越GPT-4，同时将上下文长度减少95%，提升边缘设备应用性能。

Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation

迷失在单一向量中：通过分块证据聚合改进长文档检索

Shanshan Lyu, Yiwei Wang, Yujun Cai, Jiafeng Guo, Shenghua Liu

机构 * Chongqing University（重庆大学） ； State Key Laboratory of AI Safety（人工智能安全国家重点实验室） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of California, Merced（加州大学默塞德分校） ； University of Queensland（昆士兰大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 长文档RAG ：dense retrieval(abstract)；分类 cs.CL

AI总结 针对长文档检索中单向量编码削弱关键片段证据的问题，提出无训练的分块证据聚合策略DICE，通过独立编码分块并聚合为单一向量，在保持标准接口的同时显著提升检索性能。

Comments Code is available at https://github.com/PunchlineAAAA/DICE

Beyond Chunk-Local Extraction: Cross-Chunk Graph Augmentation for GraphRAG

超越块级抽取：面向GraphRAG的跨块图增强

Jiaming Zhang, Yibo Zhao, Jing Yu, Jianxiang Yu, Xiang Li

机构 * School of Data Science and Engineering, East China Normal University（数据科学与工程学院，东华大学） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 提出CrossAug方法，利用GNN引导的跨块图增强，在查询前离线补充GraphRAG索引中缺失的跨块关系，提升多跳和长文档问答性能。

Comments 15 pages, 5 figures, 8 tables

Knowledge Packs: Zero-Token Knowledge Delivery via KV Cache Injection

知识包：通过KV缓存注入实现零token知识传递

Andrey Pustovit

机构 * Independent Researcher（独立研究员） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL

AI总结 本文提出知识包，通过预计算的KV缓存实现零token成本的知识传递，实验显示在正确格式下，知识包在700个问题上无差异，比RAG节省95%token，同时支持RAG无法实现的行为引导。

Comments 12 pages, 3 figures, 8 tables. Code: https://github.com/cnails/kv-knowledge-packs

Predicting Human Mobility during Extreme Events via LLM-Enhanced Cross-City Learning

通过LLM增强的跨城市学习预测极端事件中的人类移动

Yinzhou Tang, Huandong Wang, Xiaochen Fan, Yong Li

机构 * Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua University（清华大学电子工程系、北京信息科学与技术国家研究中心） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.AI

AI总结 本文提出X-MLM框架，利用LLM建模移动意图，跨城市转移极端事件对移动意图的影响知识，提升极端事件中的人类移动预测性能。