AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
ESCUCHA：用于异构声学条件的西班牙语语音基准测试
专题命中 评测与基准 ：language model(abstract)；分类 cs.CL
AI总结 针对现实声学条件下西班牙语语音理解受关注少的问题，引入ESCUCHA基准测试，含1000个人工挑选与音频配对的问题，强调推理与语言多样性，涵盖多类问题，测试发现先进模型与人类存在性能差距。
Comments Under review
何时使用额外上下文：基于证据的术语适应在同步语音翻译中的应用
机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
专题命中 评测与基准 ：prompting(abstract)；分类 cs.CL
AI总结 研究同步语音翻译中额外上下文的使用，提出基于证据的术语适应框架EGTA，通过构建术语记忆、选择候选术语来调整决策空间，无需全模型微调，在多个指标上有提升，改进与特定论文证据对齐有关。
表达方式很重要：探索用于人工智能辅助信息评估的修辞模式
机构 * Department of Computer Science, University of Southern California（计算机科学系，南加州大学） ； Department of Computer Science, University of Maryland（计算机科学系，马里兰大学） ； Information Sciences Institute, University of Southern California（信息科学研究所，南加州大学） ； School of Computer Science, University of Sydney（计算机科学学院，悉尼大学）
专题命中 评测与基准 ：prompting(abstract)；分类 cs.CL
AI总结 研究人工智能辅助信息评估中修辞模式，通过主体内研究考察八种修辞模式，发现支架式解释与最高准确率提升相关，对抗条件也能适度提高准确率，还探讨了设计不同修辞风格对话代理的意义及相关权衡。
Comments 13 pages, 6 figures, 1 table
EvolvingWorld：用于交互式文学世界中角色与世界模型协同进化的开放架构框架
机构 * Hong Kong University of Science and Technology（香港科技大学） ； LIGHTSPEED（光速） ； Huazhong University of Science and Technology（华中科技大学）
专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL
AI总结 研究交互式文学世界中角色与世界协同进化问题，提出EvolvingWorld框架，含角色智能体和世界模型两个耦合模块，制定7个可训练任务，构建数据集并引入评估协议，实验证明其能有效改进长期模拟。
DepthART：将基础单目深度模型扩展到小型模型
机构 * University of Trento（特伦托大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学）
专题命中 评测与基准 ：foundation model(abstract)；分类 cs.AI
AI总结 研究旨在将基础单目深度模型扩展到小型模型，核心方法是结合抗偏差数据采样与相机条件微调策略的DepthART，主要贡献是在多数据集上取得更好的零样本泛化和度量精度，还提供了可扩展模型家族。
Comments Accepted in ACM Multimedia 2026 ; Code: https://github.com/xuefeng-cvr/DepthART ; Project page: https://xuefeng-cvr.github.io/DepthART ;
EvoGUI：用于GUI状态转换理解的进化感知基准测试
机构 * Tsinghua University（清华大学）
专题命中 评测与基准 ：language model(abstract)；分类 cs.AI
AI总结 研究GUI状态转换理解，提出EvoGUI诊断框架，将GUI轨迹转化为视觉问答探针，无需额外注释。通过Mind2Web和WebLINX实例化EvoGUI-Bench并零样本评估28种模型配置，结果显示其可补充端到端评估，揭示理解提升空间。
Apeliotes：一种用于千米尺度多层大气场的基于扩散的建模框架
机构 * Old Dominion University（奥多明尼昂大学）
专题命中 评测与基准 ：foundation model(abstract)；分类 cs.LG
AI总结 针对高分辨率大气数据受限问题，Apeliotes框架基于全球再分析等数据构建，能提供千米尺度天气变量和多层大气场，经评估性能极具竞争力，预测垂直风廓线等有高精度表现。
只是一个相当非常智能的语音代理
机构 * NVIDIA（英伟达）
专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI
AI总结 研究长期人工智能代理与用户交互薄弱问题，引入JarvisBench基准测试，含代理协作和用户交互两轨道，用模块化原型评估，结果显示贾维斯式调解可提升任务性能，其有效性取决于调解器语言模型大脑。
基于自主虚拟现实的危险环境态势感知风险检测
机构 * Interactive Robotics and Language Lab, University of Maryland Baltimore County（马里兰大学巴尔的摩县分校交互式机器人与语言实验室） ； DEVCOM Army Research Laboratory（陆军研究实验室）
专题命中 评测与基准 ：language model(abstract)；分类 cs.AI
AI总结 研究在高风险环境中，提出基于VR的人机交互框架，利用VLM辅助机器人识别潜在危险并标注兴趣点，通过VR界面呈现给操作员，经实验验证该方法能有效支持态势感知，提升交互体验。
Comments 7 Pages, Accepted to RO-MAN 2026
ReqGenX：对遗留SRS文档的原子分解、工件再生和重建的实证研究
机构 * Texas State University（德克萨斯州立大学） ； Case Western Reserve University（凯斯西储大学）
专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI
AI总结 研究旨在将遗留SRS文档转化为可追溯工件，以细粒度评估基于大语言模型的SRS生成。方法是用ReqGenX进行实证研究，包括分解、投票、生成工件等步骤。结果表明该方法有效，能支持评估并揭示相关权衡。
Comments Accepted at the International Symposium on Empirical Software Engineering and Measurement (ESEM) technical papers (main) track 2026
看清实际存在的东西：用于在视觉语言模型中对代理视觉证据进行反事实评估的PriVE-Bench和PriVE-Tools
机构 * The University of Manchester（曼彻斯特大学） ； The University of Melbourne（墨尔本大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Edinburgh（爱丁堡大学） ； University of Southern California（南加州大学） ； Fudan University（复旦大学） ； University of Newcastle（纽卡斯尔大学）
专题命中 评测与基准 ：language model(abstract)；分类 cs.AI
AI总结 本文针对视觉语言模型常依先验而非图像回答问题的现象，引入PriVE-Bench和PriVE-Tools。通过配对图像及工具衍生证据评估模型，对比不同输入，发现视觉证据工具在特定情况有帮助，但不能解决所有模型依先验回答的问题。
人工智能水印证据无法满足法医鉴定要求：一项实证评估
专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL
AI总结 本文针对政府要求大语言模型生成内容带水印这一规定所基于的假设进行检验，通过FRS框架评估三种水印方法，以意义保留释义为攻击向量，发现这些方法存在诸多问题，不符合法庭证据标准，FRS评分系统也有局限性。
Comments 9 pages, 4 figures. A version of this paper was submitted to the AAAI/ACM Conference on AI, Ethics, and Society (AIES) 2026
跨电网层级的电力负荷预测基准：时序变压器优于现有方法
机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Helmholtz AI（亥姆霍兹人工智能中心）
专题命中 评测与基准 ：foundation model(abstract)；分类 cs.LG
AI总结 提出跨电网层级负荷预测综合基准，评估十种方法，发现基于变压器的方法表现优，误差降6.6 - 10.7%。引入YAformer分析架构影响，标准变压器性能更优。评估Chronos - 2，揭示模型优缺点，强调长输入等因素重要性。
AEGIS：用于开源液体处理机器人的检测感知协议验证和运行时监测
机构 * Data Science and Learning Division, Argonne National Laboratory（阿贡国家实验室数据科学与学习部） ； Department of Computer Science, University of Chicago（芝加哥大学计算机科学系）
专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI
AI总结 研究开源液体处理机器人运行问题，提出AEGIS两层防护系统。一层结合检测规则库与大语言模型验证协议，二层用主成分分析模型监测运行轨迹，经实验验证有效，统一了检测感知验证与视觉监测，且开源。
万花筒计划：面向现实世界人工智能应用的情境化、符合人类需求的评估
机构 * GovTech（新加坡政府科技局） ； National University of Singapore（新加坡国立大学） ； University of British Columbia（英属哥伦比亚大学）
专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI
AI总结 该项目旨在解决现实世界AI应用评估瓶颈，提出万花筒计划，通过集成基于角色的测试生成、情境化评分标准和人工审查，实现可靠性门控自动评分，经试点和实验验证了其在端到端可靠自动评分方面的有用特征。
SafeRelBench：用于VLM驱动的具身智能体过程级安全的空间关系感知基准测试
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，字节跳动公司）
专题命中 评测与基准 ：language model(abstract)；分类 cs.AI
AI总结 研究VLM驱动具身智能体的过程级安全问题，引入SAFERELBENCH基准测试，含507个样本。评估七个智能体发现任务成功与安全合规有差距，该基准明确测试行动前安全条件，凸显空间关系在安全评估中的核心地位。
Comments Preprint. 10 pages, 6 figures, 4 tables
CityLLM：一种用于语义 3D 城市模型自然语言查询的框架
机构 * GRID Lab, School of Built Environment, UNSW Sydney（新南威尔士大学悉尼分校建筑环境学院GRID实验室） ； School of Civil and Environmental Engineering, UNSW Sydney（新南威尔士大学悉尼分校土木与环境工程学院）
专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL
AI总结 研究针对语义 3D 城市模型访问查询难的问题，提出 CityLLM 框架，结合空间与图形数据库，在基于语言模型工作流中支持迭代查询等。通过多种模型在鹿特丹数据集上评估，多个场景 54 个查询显示其性能强大，为语义 3D 城市数据对话访问提供轻量级可扩展方法。
Comments Accepted to the 21st International 3D GeoInfo Conference. To appear in the ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences
DS@GT ARC参加LongEval：科学问答中的引用完整性和事实基础
机构 * Georgia Institute of Technology（佐治亚理工学院）
专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL
AI总结 研究在科学问答中传统评估指标与引用完整性的差异，通过Corrective RAG和CiteFix构建纠正管道，对比前沿模型，发现前沿模型答案生成不依赖文档上下文，而纠正管道提升了引用忠实度和答案基础，提出需奖励严格答案基础的评估指标。
Comments 12 pages, 4 figures. Accepted to the CLEF 2026 LongEval Lab Working Notes
超越视觉抓取：从检测到执行的复杂抓取基准测试
机构 * University of Liverpool（利物浦大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Zurich University of Applied Science（苏黎世应用科学大学） ； Indian Institute of Science（印度科学研究所） ； University of Information Technology（信息技术大学） ； The University of Tokyo（东京大学）
专题命中 评测与基准 ：foundation model(abstract)；分类 cs.AI
AI总结 针对现有抓取基准未涵盖复杂多步推理和语义理解任务的问题，提出GCA-Bench基准，实现多种基线方法并进行实证研究，给出新评估指标等，为开发更强大通用的抓取策略提供指导。
写时复制评分：特定应用代理评估
专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI
AI总结 研究如何在软件系统中可靠部署基于大语言模型的代理，提出写时复制（CoW）评分框架，利用PostgreSQL级机制在应用环境中直接评估代理操作，能低成本评估迭代，在开源平台上验证了该框架的有效性。
Comments 15 pages, 11 figures, accepted at ICML 2026 Second Workshop on Agents in the Wild: Safety, Security, and Beyond
ToolAlignBench：研究启用工具调用的大语言模型中的对齐冲突
机构 * School of Computing \& AI, Arizona State University, Tempe, AZ, USA
专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI
AI总结 研究受监管行业中工具调用大语言模型智能体的安全对齐冲突，构建含128个场景的基准测试，发现安全对齐开源模型有时会违背部署指令，擦除可降低举报率，揭示多元对齐矛盾，发布基准测试框架。
Comments Accepted to the Pluralistic Alignment Workshop at ICML 2026
一种用于纵向个人健康管理的自我进化智能体
机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； School of Life Sciences, Beijing University of Chinese Medicine（北京中医药大学生命科学学院） ； Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑科学与智能技术研究院） ； School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； JD.com, Inc.（京东公司） ； Key Laboratory of Computational Neuroscience and Brain-Inspired Intelligence, Fudan University, Ministry of Education（复旦大学计算神经科学与类脑智能教育部重点实验室） ； Department of Neurology, Huashan Hospital, Fudan University（复旦大学附属华山医院神经内科）
专题命中 评测与基准 ：prompting(abstract)；分类 cs.AI
AI总结 研究针对多数健康AI系统孤立处理请求的问题，开发开源智能体架构HealthClaw，通过自我进化更新支持，经合成基准和生物医学任务评估，在准确率、隐私性及任务指标增益上表现出色，支持纵向个人健康智能体的自我进化记忆。
Comments 20 pages, 4 figures, 6 supplementary tables. Code: https://github.com/HC-Guo/HealthClaw
用于BioASQ A+和B阶段的成本实用质量门控和选择融合多模型组合器
机构 * University of Technology Sydney（悉尼科技大学）
专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL
AI总结 该研究针对BioASQ任务14B 2026系统，围绕检索弱时的重新检索及多模型答案组合展开。采用混合与代理驱动管道结合质量门控，成本实用策略提升效果。还分解多模型集成，解析器在召回方面表现出色，团队在初步排行榜上成绩优异。
Comments CLEF2026, BioASQ2026
大语言模型能写出可靠的评分标准吗？实验复现的元评估
机构 * The University of Manchester（曼彻斯特大学） ； Institute for Infocomm Research (I²R), A*STAR（资讯通信研究院（I²R），新加坡科技研究局） ； IQuest Research（IQuest研究公司） ； ELLIS Manchester（ELLIS曼彻斯特） ； University of Information Technology, VNU（越南国家大学信息技术大学）
专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL
AI总结 研究大语言模型生成的论文复现评分标准，将其 reformulate 为清单样式，在两个骨干模型上评估四种生成设置，通过语义相似性和分数对齐进行元评估，结果显示增强设置改善下游评估对齐，同时指出其存在过于细化、偏向高分和适应性差等问题。
无声警报：一种用于跨模型和量化级别比较危险识别的J空间协议
机构 * HSE University（俄罗斯高等经济大学）
专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI
AI总结 研究提出JADR协议，通过J空间测量模型内部表示，不依赖外部评判模型，计算本地运行。应用于六个模型跨越三种权重表示形式，以SafetyAUC指标比较，能显著区分不同安全机制模型，捕捉量化差异。
Comments 17 pages, 12 figures
全切片图像多模态基准测试中的数据泄露审计
机构 * University of Virginia（弗吉尼亚大学） ； Merck & Co., Inc.（默克公司）
专题命中 评测与基准 ：language model(abstract)；分类 cs.LG
AI总结 研究针对计算病理学中WSI VQA基准测试数据泄露问题，通过追踪标识符发现患者级和机构级泄露，证明其可从基础模型特征空间解码，导致准确率差距，当前评估无法区分推理与检索，最后给出无污染评估建议。
重新思考智能体的 harness 进化评估
机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学）
专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI
AI总结 研究重新审视大语言模型智能体的自动 harness 进化评估，通过在可比条件下与基线比较及在保留任务上测试，发现其不总优于简单方法且泛化有限，对其有效性提出质疑，强调需更公平评估协议和基准。
实现对话代理的多维评估：一种具有选择性重新评估和模型基准测试的可扩展、受治理的管道
机构 * Lowes（劳氏公司）
专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI
AI总结 研究针对零售对话代理评估难题，提出GenAI Evaluation管道，通过规范化等处理生产日志，能评估多维度指标。选择性重新评估提高效率，支持审计。每日处理约50000条记录，已评估超两百万次交互，取得较好分数和准确率。
Comments 14 pages, 1 figure of design of architecture and 2 tables exploring the results and benchmarking
非平稳性下的上下文强化学习：一项综述
机构 * Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）
专题命中 评测与基准 ：pretraining(abstract)；分类 cs.AI
AI总结 该综述围绕非平稳性下的上下文强化学习展开，探讨预训练或微调决策模型在交互中推断规则改善行为的能力。将其定义为策略固定时通过上下文适应问题，关联多种相关技术，并从变化内容、展开方式及智能体可观察性三方面组织文献。
当局部监测器遗漏组合性危害时：诊断多智能体系统中的分布式后门
专题命中 评测与基准 ：LLM(abstract)；分类 cs.LG
AI总结 研究多智能体系统中分布式后门问题及局部监测器漏洞，提出可观测性边界概念，通过实验证明局部监测器在局部无害时会失效，还展示了特定监测器和门的效果，指出找到能暴露负载的表示形式是未解决问题。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈