Stanford University（斯坦福大学）

The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context

稳健性的错觉：聚合准确率掩盖了与任务无关的上下文下的预测翻转

Yanzhe Zhang, Sanmi Koyejo, Diyi Yang

机构 * Georgia Tech（佐治亚理工学院） ； Stanford University（斯坦福大学） 纠错

AI总结 研究大语言模型在含无关上下文环境中的表现，发现聚合准确率掩盖了单个示例预测的不稳定性，如随机伪词会改变部分预测，且此不稳定性受多种因素调节，揭示了尾部风险，推动对模型进行单个示例可靠性评估。

Comments Preprint

Benefits and Limitations of Communication in Multi-Agent Reasoning

多智能体推理中通信的益处与局限性

Michael Rizvi-Martel, Satwik Bhattamishra, Neil Rathi, Guillaume Rabusseau, Michael Hahn

机构 * Mila & Université de Montréal（Mila与蒙特利尔大学） ； University of Oxford（牛津大学） ； Stanford University（斯坦福大学） ； Saarland University（萨尔兰大学） 纠错

AI总结 研究多智能体推理中通信的益处与局限，提出理论框架分析其表达能力，应用于三个算法族，得出相关界限，通过实验验证关键量权衡，为设计可扩展多智能体推理系统提供指导。

Comments 34 pages, 14 figures

NeMo: Needle in a Montage for Video-Language Understanding

NeMo：视频语言理解中的蒙太奇之针

Zi-Yuan Hu, Shuo Liang, Duo Zheng, Yanyang Li, Yeyao Tao, Shijia Huang, Wei Feng, Jia Qin, Jianguang Yu, Jing Huang, Meng Fang, Yin Li, Liwei Wang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Phoenix TV（凤凰电视台） ； Stanford University（斯坦福大学） ； University of Liverpool（利物浦大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

AI总结 为评估视频大语言模型时间理解能力，提出蒙太奇之针（NeMo）任务，开发自动数据生成管道并构建NeMoBench基准，能生成高质量数据，评估了20个模型，展现其能力与局限。