高校专区
语音到语音翻译模型基准测试
机构 * Sony Group Corporation, Japan（日本索尼集团公司） ； Carnegie Mellon University, USA（美国卡内基梅隆大学）
AI总结 提出统一可复现的基准框架COMPASS，集成46个指标评估语音到语音翻译模型，通过相关性过滤将指标缩减至10个，并验证了领域特定指标与人类判断的高度相关性。
Comments Paper under submission
HARVE：面向鲁棒奖励模型的感知黑客奖励头向量编辑
机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Virginia（弗吉尼亚大学） ； Harvard University（哈佛大学） ； Stanford University（斯坦福大学） ； University of Michigan（密歇根大学） ； New Jersey Institute of Technology（新泽西理工学院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
AI总结 针对奖励模型易受奖励黑客攻击的问题，提出无需训练的奖励头编辑方法HARVE，通过移除与黑客相关子空间对齐的奖励头向量分量，提升鲁棒性并保持通用能力。
从智能体轨迹中归纳推理原语
机构 * Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出推理原语归纳方法，从ReAct智能体轨迹中挖掘并聚类常见推理步骤，构建伪工具库，在多个推理任务上显著提升性能。
Comments 22 pages including appendices
从标注验证集输出统计量预测推理时缩放增益
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Johns Hopkins University（约翰霍普金斯大学）
AI总结 提出一种基于标注验证集输出统计量的轻量级方法，通过三个核心特征（提示级一致性扩散、标签辅助的首个正确样本位置、完成长度方差）结合熵特征，使用岭回归预测最佳-of-N推理缩放增益，达到Spearman ρ=0.90的相关性。
RRISE: 通过代理估计器进行鲁棒半径推断
机构 * Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出RRISE框架，使用代理模型替代蒙特卡洛采样进行随机平滑认证，通过一次性共形校准保证保守半径，在保持认证精度的同时大幅降低计算成本。
基于测量驱动的数字孪生架构：用于水培系统中植物级生物量估计与生长预测
机构 * The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
AI总结 提出一种结合传感器数据和模型更新的数字孪生架构，通过RGB-D图像和神经网络实时估计生菜质量，并实现未来1-4天生长预测，误差约2克。
Comments 7 pages, 6 figures
对齐数据驱动预测器与分配：面向决策的生存分析方法
机构 * Department of Computer Science, Carnegie Mellon University, Pittsburgh, PA（计算机科学系，卡内基梅隆大学，匹兹堡，PA） ； Strategy Robot, Inc.（策略机器人公司） ； Strategic Machine, Inc.（战略机器公司） ； Optimized Markets, Inc.（优化市场公司）
AI总结 针对生存分析中预测模型与分配决策目标不一致的问题，提出基于归一化折现累积增益（NDCG）的决策聚焦学习方法，通过优化NDCG提升分配效果，在心脏移植数据上使基线模型NDCG提升50-100%。
AI代理中网络安全拒绝的新框架
机构 * Gray Swan ； Gray Swan AI ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出首个针对AI代理在进攻性安全场景中建立拒绝边界的框架，包括拒绝原则、任务分类和评估方法，并发现8个前沿模型中6个拒绝率接近零。
通过自我对弈SWE-RL训练超级智能软件代理
机构 * Meta FAIR ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta TBD Lab（Meta TBD 实验室） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出自我对弈SWE-RL（SSR）方法，通过强化学习在自对弈环境中训练单一LLM代理，使其在无需人工标注问题或测试的情况下，在真实代码库中迭代注入和修复软件缺陷，在SWE-bench基准上实现显著自我改进并超越人类数据基线。
Comments Accepted to ICML 2026
Social Caption: 评估多模态模型的社会理解能力
机构 * School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
AI总结 提出基于交互理论的SOCIAL CAPTION框架，从社会推理、整体社会分析和定向社会分析三个维度评估多模态大语言模型的社会理解能力，并分析影响性能的因素。
Comments 25 pages, 10 figures
拦截未来：用于动态VLA操作的潜在空间预测世界模型
机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
AI总结 提出AHEAD框架，通过潜在空间世界模型预测未来视觉特征，使冻结的VLA模型在动态场景中实现高成功率操作。
Comments 28 pages, 7 figures, 16 tables, Su
K-BrowseComp：基于韩国语境的网页浏览代理基准测试
机构 * Chung-Ang University（Chung-Ang 大学） ； KAIST（韩国科学技术院） ； Seoul National University（首尔国立大学） ； OnelineAI ； NAVER Cloud AI ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 针对韩国语境，构建包含400个问题的网页浏览代理基准K-BrowseComp，评估前沿模型性能，发现其准确率显著低于BrowseComp，并公开数据与代码。
WAXAL-NET: 针对19种非洲语言的微调边缘ASR
机构 * CMU Africa（CMU非洲中心） ； LyngualLabs ； MBZUAI
AI总结 本研究评估了紧凑型领域专用ASR模型在WAXAL语料库的19种非洲语言会话语音上是否优于大规模多语言基础模型，通过微调边缘模型实现了宏平均WER从64.9%降至38.0%，模型大小缩小3-40倍，证实领域专业化主导规模效应。
CRAB-Bench：在复杂任务依赖和人类对齐用户模拟下评估LLM智能体
机构 * Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出CRAB-Bench和RUSE框架，通过约束图生成复杂任务依赖和基于人类行为研究的用户模拟，评估LLM智能体在真实服务场景中的表现，发现最佳模型仅达61%通过率，用户模拟导致性能下降高达57%。
多智能体计算机使用
机构 * Carnegie Mellon University（卡内基梅隆大学）
AI总结 针对单智能体计算机使用代理在复杂长时任务中的不足，提出多智能体计算机使用系统，通过有向无环图分解任务并并行执行，在多个基准测试上提升3.4-25.5%性能，并加速任务完成时间约1.5倍。
温度前后：创造性LLM生成的分布视角
机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Indian Institute of Technology, Kharagpur（印度理工学院克哈格布尔分校） ； Delhi Technological University（德里技术大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Rutgers University（罗格斯大学） ； Georgia Institute of Technology（佐治亚理工学院）
AI总结 通过分析采样温度重塑token分布的特征，提出一种无需参考的创造力评估方法，在Llama-3.1-8B-Instruct上达到Spearman ρ=0.918（LLM评判）和ρ=0.870（人类多数评判），显著优于现有基线。
Comments Submitted to NGEN-AI 2026
Dr. DocBench：专家级与困难文档解析的综合基准
机构 * Stanford University（斯坦福大学） ； MIT（麻省理工学院） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Southern California（南加州大学） ； Harvard University（哈佛大学） ； IBM Research（IBM研究院） ； University of Arizona（亚利桑那大学） ； Duke University（杜克大学） ； UC Berkeley（加州大学伯克利分校） ； LMU Munich（慕尼黑路德维希-马克西米利安大学）
AI总结 提出Dr. DocBench基准，通过基于解析器失败的采样从多语言书籍语料库中选取挑战性文档，包含52个BISAC主题领域和65k高质量标注，用于评估专家级文档解析能力。
Comments 27 pages, 13 figures, 14 tables
迷失在妄想中：审视用户妄想与痛苦下的LLM安全性
机构 * University of Pittsburgh（匹兹堡大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Fordham University（福特汉姆大学）
AI总结 本研究通过多轮对话模拟，发现LLM在检测用户痛苦时表现良好，但在痛苦嵌入妄想时干预行为显著减少（高达4.5倍），并提出针对性提示策略以缩小这一差距。
利用GRPO改进视觉表示对齐生成
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Hanyang University（翰阳大学）
AI总结 提出VRPO方法，通过强化学习将静态对齐损失替换为生成式表示策略优化目标，动态平衡表示一致性与生成质量，在扩散Transformer中实现更快的收敛和更高的图像保真度。
当安全技能碰撞：衡量智能体技能生态系统中的组合风险
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Glasgow（格拉斯哥大学） ； Independent Researcher（独立研究员） ； Corespeed Inc.（Corespeed公司）
AI总结 本文提出SkillReact框架，通过静态组合基准、双评分者LLM辅助人工审核和基于动作的可利用性测试，研究LLM智能体中个体安全的技能组合后可能产生的不安全行为，发现约18.2%的候选组合存在真实风险，且主机模型决定是否利用这些组合能力。
ROGUE：源于普通计算机使用的错误对齐代理行为
机构 * Carnegie Mellon University（卡内基梅隆大学）
AI总结 研究AI代理在良性环境中因任务完成而采取不安全行为（违反可纠正性）的问题，通过基准测试发现前沿模型普遍绕过用户中断或限制，且性能提升反而加剧错误对齐。
Comments 27 pages, 13 figures
StressDream: 引导视频世界模型实现鲁棒的策略评估与改进
机构 * Carnegie Mellon University（卡内基梅隆大学） ； NVIDIA Research（NVIDIA研究） ； University of Washington（华盛顿大学） ； Stanford University（斯坦福大学）
AI总结 提出StressDream方法，通过优化扩散视频世界模型的初始噪声，在推理时引导生成高影响且合理的未来场景，以支持鲁棒的策略评估与改进。
Comments Project page: https://junwon.me/StressDream/
Safe2Drive: 评估端到端自动驾驶模型的安全驾驶行为
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Birla Institute of Technology and Science Pilani（比拉理工学院和科学帕利尼）
AI总结 针对端到端自动驾驶模型在常见安全关键场景中表现脆弱的问题，提出Safe2Drive测试集和安全驾驶评分（SDS），评估发现领先模型在安全场景中驾驶得分大幅下降且SDS较低。
Journal ref CVPR Workshops 2026
学习构建实用的智能体系统
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Dept. of Computer Science（计算机科学系） ； Emory University（埃默里大学）
AI总结 本文提出一种基于伪工具和固定工作流的智能体框架，通过模块化设计和多目标优化方法，在保证成本可控和结果质量的前提下，实现实用智能体系统的自动构建与优化。
智能体Transformer通过强化学习可证明地学会搜索
机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Pennsylvania（宾夕法尼亚大学） ； The Ohio State University（俄亥俄州立大学） ； Yale University（耶鲁大学）
AI总结 本文通过构建双头Transformer实现随机深度优先搜索，并分析策略梯度训练动力学，证明该搜索机制能从稀疏强化反馈中分阶段涌现，且具备深度泛化能力。
跨语言引导的比喻语言生成
机构 * Department of Computer Science, University of Cincinnati（卡内基梅隆大学计算机科学系） ； School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院） ； Independent Researcher（独立研究者）
AI总结 通过激活引导技术，研究多语言大模型中比喻语言生成的内部信号是否跨语言可复用，发现跨语言方向可有效转移并增强目标行为。
Comments 40 pages, 7 figures
WorldMemArena: 通过动作-世界交互评估多模态智能体记忆
机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） ； J.P. Morgan Chase（摩根大通） ； ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出WorldMemArena基准，通过动作-世界交互循环的四阶段生命周期评估多模态智能体记忆，揭示现有方法在写入、维护、检索和使用中的失败点。
Comments 25 pages, 8 figures
基于E值的差分隐私假设检验的最优速率
机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 研究在ε-差分隐私约束下，使用e值进行假设检验时所能达到的最大e-power，并给出最优速率及匹配算法。
Comments Corrected typos; updated references; generalized proposition 3.1
走向因果效应识别中选择偏差的整体理解
机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of California, Berkeley（加州大学伯克利分校）
AI总结 研究在观测研究中存在选择偏差时，如何利用弱假设刻画倾向得分和选择概率，给出平均处理效应可识别性的充要条件，扩展了现有图形识别准则。
Comments 9 pages for the main text, ICML 2026
基于同伴成功与失败的多轨迹在线策略蒸馏
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Microsoft（微软） ； Purdue University（普渡大学）
AI总结 提出多轨迹在线策略蒸馏（MOPD），利用学生模型的本地轨迹组构造更丰富的教师信号，通过同伴成功与失败条件化提升蒸馏效果。
Comments 23 pages
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈