TailLoR: Protecting Principal Components in Parameter-Efficient Continual Learning
TailLoR:在参数高效持续学习中保护主成分
发表机构 * Bitdefender
AI总结 提出TailLoR方法,利用预训练权重的奇异基作为固定参考系,对奇异值矩阵进行低秩更新,并通过软谱惩罚抑制与主导奇异方向对齐的更新,从而减少干扰并实现细粒度适应。
TailLoR:在参数高效持续学习中保护主成分
发表机构 * Bitdefender
AI总结 提出TailLoR方法,利用预训练权重的奇异基作为固定参考系,对奇异值矩阵进行低秩更新,并通过软谱惩罚抑制与主导奇异方向对齐的更新,从而减少干扰并实现细粒度适应。
TempoVLA: 学习速度可控的视觉-语言-动作策略
发表机构 * RUC(中国人民大学) ; FDU(福建大学) ; UNC(北卡罗来纳大学教堂山分校)
AI总结 提出TempoVLA,通过可变速度轨迹增强和速度条件机制,实现机器人操作中速度的双向灵活控制,并支持动态速度调节。
重复博弈中与自适应对手的遗憾最小化
发表机构 * Massachusetts Institute of Technology(麻省理工学院) ; OpenAI ; University of Maryland, College Park(马里兰大学学院公园分校)
AI总结 针对重复博弈中自适应对手的遗憾最小化问题,提出重复策略遗憾(RP-Regret)指标,并设计三种算法实现次线性遗憾,同时证明所有玩家最小化该遗憾可学习子博弈完美均衡。
PAR3D: 一种用于场景理解的统一部件感知3D多模态大语言模型
发表机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(教育部多媒体可信感知与高效计算重点实验室,厦门大学)
AI总结 提出PAR3D框架,通过部件感知3D表示学习和层次化分割查询生成,解决现有3D-MLLM在细粒度部件理解上的不足,在部件级问答和指代分割任务上取得显著提升。
操作引导的渐进式人机文本转换基准:面向多粒度AI文本检测
发表机构 * Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·泽亚德人工智能大学) ; University College London(伦敦大学学院)
AI总结 提出OpAI-Bench基准,通过九种渐进修订版本和五种AI编辑操作,模拟人机协作编辑过程,支持文档、句子、词元和跨度多粒度检测,揭示AI文本可检测性受编辑操作、领域和累积修订历史影响,并发现混合作者中间版本比纯人类或纯AI端点更难检测。
无递归预训练循环网络
发表机构 * MIT(麻省理工学院)
AI总结 提出监督记忆训练(SMT)方法,通过将循环神经网络训练转化为一步记忆转换标签上的监督学习,实现时间并行训练和稳定梯度路径,优于反向传播通过时间(BPTT)方法。
复杂度平衡的扩散分裂
发表机构 * The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
AI总结 提出复杂度平衡分裂(CBS)框架,通过将扩散时间线划分为等近似负担的段并分配更多容量给困难区域,在多个架构和数据集上提升生成质量而不增加推理成本。
思考与想象:基于世界模拟器的智能视觉空间推理
发表机构 * The University of Hong Kong(香港大学) ; Shanghai AI Laboratory(上海人工智能实验室) ; Shanghai Jiao Tong University(上海交通大学) ; Fudan University(复旦大学) ; Beihang University(北航大学)
AI总结 提出Astra框架,通过强化学习训练VLM策略与Bagel世界模拟器交互,在推理中生成想象视觉证据,解决空间推理中的未观察布局、跨视角一致性和替代视角推理问题。
RREDCoT: 推理模型的片段级奖励再分配
发表机构 * ELLIS Unit Linz and LIT AI Lab, Institute for Machine Learning, Johannes Kepler University Linz, Austria(林茨ELLIS单元和LIT人工智能实验室,机器学习研究所,林茨约瑟夫·冯·拉格纳大学,奥地利) ; Cognizant AI Lab, San Francisco, USA(认知人工智能实验室,美国旧金山) ; NXAI GmbH, Linz, Austria(NXAI公司,奥地利林茨)
AI总结 针对推理语言模型强化学习微调中的延迟奖励问题,提出RREDCoT方法,利用模型自身近似最优奖励再分配,无需额外生成,降低方差并提升信用分配效率。
扩散语言模型的自增强检索
发表机构 * University of California, Berkeley(加州大学伯克利分校) ; Google Research(谷歌研究院)
AI总结 提出SARDI框架,利用扩散语言模型去噪过程中丢弃的低置信度标记作为前瞻信号指导检索,无需训练且与检索器无关,在多跳问答基准上以高达8倍吞吐量超越现有方法。
MLEvolve:一种用于自动化机器学习算法发现的自我进化框架
发表机构 * Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) ; East China Normal University(东华大学)
AI总结 提出MLEvolve框架,通过渐进式MCGS、回溯记忆和分层控制解决LLM智能体在长期任务中的信息隔离、无记忆搜索和缺乏分层控制问题,在MLE-Bench和数学算法优化任务上取得最先进性能。
PC层:通过多项式权重预处理改进大语言模型预训练
发表机构 * The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) ; Google LLC(谷歌公司) ; Shenzhen International Center for Industrial and Applied Mathematics(深圳国际工业与应用数学中心) ; Shenzhen Research Institute of Big Data(深圳大数据研究院) ; University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 提出一种多项式预条件子权重参数化方法(PC层),通过低阶多项式预条件重塑权重矩阵奇异值谱,确保LLM训练中权重条件稳定,且训练后无推理开销,在Llama-1B预训练中优于标准Transformer。
Goedel-Architect: 通过蓝图生成与精炼简化形式定理证明
发表机构 * University of California, Berkeley(加州大学伯克利分校) ; Stanford University(斯坦福大学) ; University of Science and Technology of China(中国科学技术大学) ; University of Toronto(多伦多大学) ; National University of Singapore(新加坡国立大学) ; University of Tokyo(东京大学) ; University of Washington(华盛顿大学)
AI总结 提出Goedel-Architect框架,通过生成和精炼依赖图蓝图,结合Lean 4证明器并行证明引理,在多个基准测试上达到开源最优性能。
仅索引一次:具有共享路由的跨层稀疏注意力
发表机构 * Microsoft Research(微软研究院) ; Tsinghua University(清华大学)
AI总结 提出跨层稀疏注意力(CLSA),通过共享KV缓存和路由索引,在保持token稀疏注意力精度的同时减少路由开销,显著提升长上下文LLM的解码效率。
无处不在的基准测试
发表机构 * MMLab, The Chinese University of Hong Kong(中大香港实验室) ; CPII under InnoHK(创新香港 CPII) ; The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) ; Shenzhen Loop Area Institute(深圳环城研究院) ; Shandong University(山东大学) ; Huawei Technologies(华为技术)
AI总结 提出Benchmark Agent,一个全自主智能体系统,自动化基准构建流程,以解决现有基准构建劳动密集、难以复用和性能饱和的问题。
基于流的策略适应无需策略更新
发表机构 * Toyota Technological Institute at Chicago(芝加哥丰田技术研究所) ; Stony Brook University(石溪大学)
AI总结 提出GLOVES方法,通过流模型将非专家动作向专家动作分布传输,实现选择性动作级适应,提升任务成功率并保持智能体意图。
面向AI-RAN的参数到KPI依赖学习的事件检测
发表机构 * arXiv.org
AI总结 针对AI-RAN中多AI控制函数相互干扰问题,提出基于事件检测的依赖学习方法,通过将噪声连续遥测转换为二元事件指示器,并利用合成数据评估机器学习管道恢复潜在依赖结构的能力。
上下文多实例学习
发表机构 * Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所) ; Machine Learning Group, Technische Universität Berlin(柏林技术大学机器学习小组) ; Aignostics ; Institute of Pathology, Charité – Universitätsmedizin Berlin(柏林查理医院病理研究所) ; Max-Planck Institute for Informatics(马克斯·普朗克信息研究所) ; Department of Artificial Intelligence, Korea University(韩国大学人工智能系)
AI总结 本文提出一种基于感知器架构的上下文学习器,通过合成数据预训练,无需梯度更新即可从少量标记包中解决新的多实例学习任务,在12个基准上超越需任务特定训练的监督基线。
Vortex: 面向AI Agent的高效可编程稀疏注意力服务
发表机构 * Carnegie Mellon University(卡内基梅隆大学) ; Rice University(Rice大学) ; National University of Singapore(新加坡国立大学)
AI总结 提出Vortex系统,通过Python嵌入式前端语言和面向页面的张量抽象,结合高效后端,实现稀疏注意力算法的快速原型设计、部署和评估,显著提升吞吐量。
Agent记忆:有状态长时任务工作负载的表征与系统影响
发表机构 * Massachusetts Institute of Technology(麻省理工学院) ; Stanford University(斯坦福大学) ; University of California, Berkeley(加州大学伯克利分校) ; MIT Media Lab(麻省理工学院媒体实验室)
AI总结 本文首次对LLM agent记忆系统进行系统级表征,提出四轴分类法,通过阶段感知分析框架评估10种代表性系统,并给出10条系统设计建议。
基于归一化流的潜在推理
发表机构 * University of Pennsylvania(宾夕法尼亚大学) ; UC San Diego(圣地亚哥大学) ; Meta(Meta公司)
AI总结 提出NF-CoT框架,通过归一化流在LLM内部建模连续潜在思维,保留自回归生成、概率采样、KV缓存解码和似然估计等优势,在代码生成任务中提升通过率并降低推理成本。
来自熵推理的因果图谱:超越最优DAG的贝叶斯网络
发表机构 * Department of Physics , Engineering Physics and Astronomy(物理系、工程物理与天文学系)
AI总结 针对数据驱动因果识别中多因果链问题,提出基于熵推理的因果图谱方法,通过最大熵系综采样量化因果结构歧义性。
强化学习引发对未见语言的上下文翻译学习
发表机构 * University of Zurich(苏黎世大学) ; ETH Zurich(苏黎世联邦理工学院) ; Queen’s University Belfast(贝尔法斯特女王大学)
AI总结 提出使用强化学习(RL)方法,以chrF为奖励,使大语言模型从丰富的语言上下文中提取并应用语言学知识,实现对完全未见语言的有效翻译。
RiskFlow: 快速且保真的安全关键交通场景生成
发表机构 * National University of Singapore(新加坡国立大学)
AI总结 提出RiskFlow框架,通过动作空间中的单次前向传输替代迭代去噪,实现快速、保真的安全关键多智能体交通场景生成。
科米-亚兹瓦语-俄语平行语料库及零样本和少样本LLM翻译评估协议
发表机构 * HSE University, Perm, Russia(俄罗斯彼尔姆国立经济大学) ; School of Management SKOLKOVO, Moscow, Russia(莫斯科SKOLKOVO管理学院)
AI总结 构建首个科米-亚兹瓦语-俄语平行语料库,并提出显式评估协议,研究大语言模型在极度低资源濒危语言翻译中的零样本和检索增强少样本性能。
双重预处理 (DoPr):针对测试时性能而非验证损失的优化
发表机构 * University of California, Berkeley(加州大学伯克利分校) ; Stanford University(斯坦福大学) ; University of Cambridge(剑桥大学) ; DeepMind(深度Mind) ; Google Research(谷歌研究)
AI总结 提出双重预处理优化范式,通过结合梯度级和激活级预处理,缓解自回归语言建模等场景中训练/验证损失与下游指标不匹配的测试时反馈问题,提升测试时性能而不一定改善验证损失。
面向智能体数据分析的无监督技能发现
发表机构 * University of Science and Technology of China(中国科学技术大学)
AI总结 提出DataCOPE框架,通过无监督验证器引导从探索轨迹中发现可复用的数据分析技能,在报告式和推理式分析任务上分别提升平均得分9.71%和32.30%。
HomeWorld:一个统一的从平面图到家具的框架,用于生成可控、密集交互的全屋场景
发表机构 * Ace Robotics(Ace机器人公司) ; CUHK MMLab(香港大学多模态实验室) ; Shenzhen Loop Area Institute(深圳环城区域研究院)
AI总结 提出一个统一的分层框架,通过大规模真实平面图数据集训练大语言模型生成全屋平面图,结合图像生成模型和VLM优化器生成家具及小物体布局,并附加物理属性和纹理光照,实现可控、高真实感的全屋场景生成。
用于 HEC-RAS 2D 水面高程预测的学习型响应场惯性算子
发表机构 * Canizaro Livingston Gulf States Center for Environmental Informatics, Department of Computer Science, The University of New Orleans(坎西罗利文斯顿湾州环境信息中心,计算机科学系,新奥尔良大学) ; Center for Geospatial Sciences, Naval Research Laboratory(地理空间科学中心,海军研究实验室) ; Ocean Sciences Division, Naval Research Laboratory(海洋科学 division,海军研究实验室)
AI总结 提出学习型响应场惯性算子(LRFIO),一种基于增量、无外力项的学习代理模型,通过从已求解的 HEC-RAS 轨迹中校准惯性响应算子并在原生非均匀网格上进行封闭形式滚动预测,实现了跨数据集的水面高程预测,并展示了自适应复杂度控制。
涌现语言作为有意识AI的一种方法
发表机构 * University of Osaka(大阪大学)
AI总结 提出一种生成式方法,通过多智能体强化学习中的涌现语言,在最小先验下研究意识相关结构,并证明智能体可发展出自我指涉通信(如回声-不匹配检测电路)。