The Hong Kong University of Science and Technology（香港科技大学）

Policy and World Modeling Co-Training for Language Agents

语言智能体的策略与世界模型协同训练

Ning Lu, Baijiong Lin, Shengcai Liu, Jiahao Wu, Haoze Lv, Yanbin Wei, Lingting Zhu, Shengju Qian, Xin Wang, Ying-Cong Chen, Qi Wang, Ke Tang

机构 * Southern University of Science and Technology（南方科技大学） ； Hong Kong University of Science and Technology（香港科学大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学大学（广州）） ； Hong Kong Polytechnic University（香港理工大学） ； LIGHTSPEED 纠错

AI总结 提出PaW框架，通过在强化学习过程中添加辅助世界模型监督，无需改变推理范式，提升语言智能体在多个任务上的性能。

Comments 9 pages, 6 figures

SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents

SeClaw: 面向自主代理评估的规范驱动安全任务合成

Hao Cheng, Changtao Miao, Tianle Song, Yin Wu, He Liu, Erjia Xiao, Junchi Chen, Xiaoyu Shi, Yichi Wang, Jing Yang, Taowen Wang, Jinhao Duan, Mengshu Sun, Peiyan Dong, Xuan Shen, Yang Cao, Renjing Xu, Kaidi Xu, Jindong Gu, Bo Zhang, Jize Zhang, Chenhao Lin, Philip Torr, Chao Shen

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Ant Digital Technologies, Ant Group（蚂蚁集团数字技术部） ； Xi’an Jiaotong University（西安交通大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Oxford（牛津大学） ； City University of Hong Kong（香港城市大学） ； Institute of Science Tokyo（东京科学研究所） ； Zhejiang University（浙江大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Beijing University of Technology（北京理工大学） 纠错

AI总结 提出SeClaw框架，通过规范驱动的安全任务合成与基于执行的安全评估，实现对自主LLM代理在状态化环境中的安全风险的可扩展、可复现评估。

RoboSemanticBench: Diagnosing Semantic Grounding in Action Prediction for VLA Models

RoboSemanticBench: 诊断 VLA 模型在动作预测中的语义基础

Bin Yu, Yao Zhang, Haishan Liu, Shijie Lian, Yuliang Wei, Xiaopeng Lin, Zhaolong Shen, Changti Wu, Ruina Hu, Bailing Wang, Cong Huang, Kai Chen

机构 * HIT（哈尔滨工业大学） ； ZGCA（中钢集团人工智能研究院） ； ZGCI（中钢集团智能计算研究所） ； WHU（武汉大学） ； HUST（华中科技大学） ； HKUST(GZ)（香港科技大学（广州）） ； BUAA（北京航空航天大学） ； ECNU（华东师范大学） ； DeepCybo 纠错

AI总结 提出 RoboSemanticBench 基准，通过多选问答任务评估 VLA 模型是否利用指令语义选择正确物体，发现模型在语义正确选择上接近随机，揭示语义理解与动作预测之间的差距。

Comments GitHub: https://github.com/ZGC-EmbodyAI/RoboSemanticBench

STaR-KV: Spatio-Temporal Adaptive Re-weighting for KV Cache Compression in GUI Vision-Language Models

STaR-KV: 面向GUI视觉语言模型的时空自适应KV缓存压缩重加权方法

Yuhang Han, Wenzheng Yang, Yujie Chen, Xiangqi Jin, Yaojie Zhang, Siteng Huang, Linfeng Zhang

机构 * EPIC Lab, SJTU（上海交通大学EPIC实验室） ； HKUST (GZ)（香港科技大学（广州）） ； The University of Sydney（悉尼大学） ； UESTC（电子科技大学） ； ZJU（浙江大学） 纠错

AI总结 提出STaR-KV，一种无需训练的KV缓存压缩框架，通过子空间感知评分、时间稳定性折扣和熵驱动温度三个维度自适应校准令牌重要性，在GUI任务中实现高精度和近40%的峰值GPU内存节省。

Learning Label-Efficient Interpretable Medical Image Diagnosis via Semi-supervised Hypergraph Concept Bottleneck Model

通过半监督超图概念瓶颈模型实现标签高效的医学图像可解释诊断

Yijun Yang, Ruiqiang Xiao, Lijie Hu, Angelica I Aviles-Rivero, Yunzhu Wu, Jing Qin, Lei Zhu

机构 * HKUST(GZ)（香港科技大学（广州）） ； Joy Future Academy（京东探索研究院） ； MBZUAI（穆罕默德·本·拉希德智能研究院） ； Tsinghua University（清华大学） ； Sichuan University（四川大学） ； PolyU 纠错

AI总结 提出一种半监督超图概念瓶颈模型，利用双层超图学习建模高阶概念依赖并生成领域自适应伪标签，在胎盘植入谱系等医学图像诊断中实现高可解释性和性能。

AdaKernel: Learning Adaptive Kernel Parameters for Spatiotemporal Graph Neural Networks

AdaKernel: 为时空图神经网络学习自适应核参数

Zhongyue Zhang, Guangyin Jin, Yuxuan Liang, Suwan Yin, Yuankai Wu

机构 * Sichuan University（四川大学） ； PLA Academy of Military Science（中国人民解放军军事科学院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

AI总结 针对图神经网络中固定核参数导致模型容量受限的问题，提出AdaKernel方法，通过结构保持策略学习自适应核参数，在数据稀疏场景下优于固定先验和全隐式图结构方法。

Comments 17 pages, 15 figures, including appendix

Thinking Economically: A Hierarchical Framework for Adaptive-Complexity Reasoning in LLMs

经济思维：面向LLM自适应复杂度推理的分层框架

Yubo Gao, Haotian Wu, Hong Chen, Junquan Huang, Yibo Yan, Jungang Li, Zihao Dongfang, Sicheng Tao, Puay Siew Tan, Jie Zhang, Xuming Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Nanyang Technological University（南洋理工大学） ； Singapore Institute of Manufacturing Technology, A*STAR（新加坡制造技术研究所，A*STAR） 纠错

AI总结 针对LLM推理中的“过度思考”问题，提出分层自适应预算器（HAB）框架，通过粗粒度到细粒度的预算分配实现计算资源的高效利用，在GSM8K和MATH500上同时提升准确率和降低token使用量。

Comments 11 pages, 4 figures, 3 tables

TravelEval: A Comprehensive Benchmarking Framework for Evaluating LLM-Powered Travel Planning Agents

TravelEval：评估基于LLM的旅行规划代理的综合基准框架

Weiyi Chen, Shuaixiong Wang, Ziyun Gao, Kaichun Hu, Wangze Ni, Shimin Di, Chen Jason Zhang, Lei Chen

机构 * Zhejiang University（浙江大学） ； Hong Kong Polytechnic University（香港理工大学） ； Southeast University（东南大学） ； HKUST (GZ) & HKUST Guangzhou（香港科技大学（广州）& 香港科技大学（广州）） 纠错

AI总结 针对现有基准过度关注约束合规、缺乏真实性和多维评估的问题，提出TravelEval，通过六维评估框架、真实数据沙盒和模拟全局评估方法，全面评估LLM在旅行规划中的表现。

Comments 31pages, 8 figures, accepted by KDD 2026

The Right Inference Strategy Is All You Need: Nearly Training-Free Domain-Wise Inference for EgoCross Challenge

正确的推理策略即是一切：面向EgoCross挑战的近乎无需训练的领域感知推理

Leyi Wu, Yifan Zhao, Jinjie Zhang, Yinchuan Li, Ying-Cong Chen

机构 * HKUST(GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； Knowin 纠错

AI总结 针对EgoCross挑战中源受限场景下多模态大模型在领域偏移严重的自我中心视频问答任务上表现不佳的问题，提出一种领域感知推理策略，通过为四个目标领域分别设计不同的输入、提示和答案映射流程，在不进行额外训练的情况下显著提升基线模型性能。

RoboStressBench: Benchmarking VLM Robustness to Physical Visual Stress in Embodied Scenes

RoboStressBench: 在具身场景中基准测试VLM对物理视觉压力的鲁棒性

Leyi Wu, Yifan Zhao, Jinjie Zhang, Suzeyu Chen, Wosong Chen, Zhifei Chen, Tianshuo Xu, Qingchun He, Hongxin Hu, Haojian Huang, Yangkai Wei, Wenqian Li, Yinchuan Li, Ying-Cong Chen

机构 * HKUST(GZ)（香港科技大学(广州)） 纠错

AI总结 本文提出RoboStressBench，从逆图形学角度将视觉压力分解为材质、视角、光照和几何四个物理维度，系统评估VLM在真实物理压力下的鲁棒性，并引入压力感知求解器提升高压力场景下的性能。

TAPS: Target-Aware Prefix Tree Selection for Diffusion-Drafted Speculative Decoding

TAPS: 面向扩散草稿推测解码的目标感知前缀树选择

Zhuoyu Wang, Junnan Huang, Xinyu Chen

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

AI总结 提出TAPS方法，通过目标感知的前缀树选择优化扩散模型草稿的验证效率，实现最高7.9倍无损加速。

From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data

从人类视频到机器人操作：基于人类中心数据的可扩展视觉-语言-动作学习综述

Zhiyuan Feng, Qixiu Li, Huizhi Liang, Rushuai Yang, Yichao Shen, Zhiying Du, Zhaowei Zhang, Yu Deng, Li Zhao, Hao Zhao, Zongqing Lu, Oier Mees, Marc Pollefeys, Jiaolong Yang, Baining Guo

机构 * Tsinghua University（清华大学） ； HKUST（香港科技大学） ； Xi’an Jiaotong University（西安交通大学） ； Fudan University（复旦大学） ； Microsoft Research Asia（微软亚洲研究院） ； Peking University（北京大学） ； Microsoft Zurich Project（微软苏黎世实验室） 纠错

AI总结 本文综述了如何将丰富的人类视频转化为视觉-语言-动作（VLA）模型的有效知识，分类了四种方法（潜在动作表示、预测世界模型、显式2D监督、显式3D重建），并指出了结构化非结构化视频、跨具身和视角的动作映射、以及评估协议设计三大挑战。

Comments Accepted to IJCAI 2026 Survey Track. Project page: https://aaronfengzy.github.io/HumanCentricToVLA-Survey/

BatteryMFormer: Multi-level Learning for Battery Degradation Trajectory Forecasting

BatteryMFormer：电池退化轨迹预测的多级学习

Ruifeng Tan, Jintao Dong, Weixiang Hong, Jia Li, Jiaqiang Huang, Tong-Yi Zhang

机构 * Sustainable Energy and Environment Thrust, The Hong Kong University of Science and Technology (Guangzhou)（可持续能源与环境方向，香港科学与技术大学（广州）） ； School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院） ； Data Science and Analytics Thrust, The Hong Kong University of Science and Technology (Guangzhou)（数据科学与分析方向，香港科学与技术大学（广州）） ； Material Genome Institute, Shanghai University（材料基因组研究所，上海大学） 纠错

AI总结 提出BatteryMFormer，一种多级Transformer模型，通过老化条件感知解码器、元退化模式记忆和双视角编码器，从早期数据预测电池全生命周期健康状态轨迹，在四个电池域上超越现有方法。

Comments Accepted by KDD 2026

AttenA+: Rectifying Action Inequality in Robotic Foundation Models

AttenA+: 纠正机器人基础模型中的动作不平等性

Daojie Peng, Fulong Ma, Jiahang Cao, Qiang Zhang, Xupeng Xie, Jian Guo, Ping Luo, Andrew F. Luo, Boyu Zhou, Jun Ma

机构 * HKUST(GZ)（香港科技大学（广州）） ； HKU（香港大学） ； USTC（中国科学技术大学） ； IDEA Research（IDEA研究院） ； SUSTech（南方科技大学） ； X-Humaniod 纠错

AI总结 针对机器人基础模型忽视动作物理重要性的问题，提出AttenA+框架，通过速度驱动的动作注意力重加权训练目标，提升复杂长程任务性能。

Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning

Prune-OPD：面向长程推理的高效可靠在线策略蒸馏

Zhicheng Yang, Zhijiang Guo, Yifan Song, Minrui Xu, Yongxin Wang, Yiwei Wang, Xiaodan Liang, Jing Tang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； MBZUAI ； University of California, Merced（加州大学默塞德分校） ； Sun Yat-sen University（中山大学） 纠错

AI总结 提出Prune-OPD框架，通过实时检测学生与教师之间的前缀漂移并动态截断不可靠的轨迹，在减少计算浪费的同时保持或提升长程推理任务的性能。

Comments 17 pages, 8 figures

Fast Image Super-Resolution via Consistency Rectified Flow

通过一致性修正流实现快速图像超分辨率

Jiaqi Xu, Wenbo Li, Haoze Sun, Fan Li, Zhixin Wang, Long Peng, Jingjing Ren, Haoran Yang, Xiaowei Hu, Renjing Pei, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； HKUST (GZ)（香港科技大学（广州）） ； South China University of Technology（华南理工大学） 纠错

AI总结 提出FlowSR方法，将超分辨率问题重构为从低分辨率到高分辨率图像的修正流，利用改进的一致性学习策略实现单步高质量超分辨率。

Comments Accepted by ICCV 2025; Code: https://github.com/jiaqixuac/FlowSR

AtomEval: Validity-Aware Atomic Evaluation of Adversarial Claim Rewriting in Fact Verification

AtomEval: 事实核查中对抗性声明重写的有效性感知原子评估

Hongyi Cen, Mingxin Wang, Yule Liu, Jingyi Zheng, Hanze Jia, Tan Tang

机构 * Zhejiang University（浙江大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

AI总结 提出AtomEval协议，通过原子分解和保留门控，区分有效规避验证与改变命题的重写，并引入VASR指标，解决传统ASR膨胀问题。

TrafficClaw: A Generalizable LLM Agent in the Unified Physical Environment for Urban Traffic Control

TrafficClaw：面向城市交通控制的统一物理环境中的可泛化LLM智能体

Siqi Lai, Pan Zhang, Yuping Zhou, Jindong Han, Yansong Ning, Hao Liu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Shandong University（山东大学） 纠错

AI总结 提出TrafficClaw，一种基于大语言模型的可泛化交通控制智能体，通过统一物理环境、可执行时空推理与多阶段智能体强化学习，实现跨子系统的协调优化。

Escaping the BLEU Trap: A Signal-Grounded Framework with Decoupled Semantic Guidance for EEG-to-Text Decoding

逃离BLEU陷阱：一种基于信号锚定与解耦语义引导的脑电解码文本框架

Yuchen Wang, Haonan Wang, Yu Guo, Honglong Yang, Xiaomeng Li

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

AI总结 针对脑电解码文本中语义偏差、信号忽略和BLEU陷阱问题，提出SemKey多阶段框架，通过解耦语义目标（情感、主题、长度、意外性）和主动检索解码机制，强制生成基于信号而非语言先验，并采用检索和分布度量（如Fréchet距离）建立评估协议，有效缓解幻觉并达到最优性能。

LookWise: Knowing When and Where to Look for Fine-Grained Visual Reasoning in Multimodal Large Language Models

LookWise: 知道何时何地关注多模态大语言模型中的细粒度视觉推理

Yuxiang Shen, Hailong Huang, Zhenkun Gao, Xueheng Li, Man Zhou, Chengjun Xie, Haoxuan Che, Xuanhua He, Jie Zhang

机构 * Institute of Intelligent Machines, Hefei Institutes of Physical Science, Chinese Academy of Sciences（智能机器研究所，合肥物理科学研究院，中国科学院） ； University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

AI总结 提出LookWise框架，通过置信度模块和语义引导定位模块实现自适应视觉推理，无需额外训练即可提升细粒度推理精度并加速推理。

Code2Math: Can Your Code Agent Effectively Evolve Math Problems Through Exploration?

Code2Math：你的代码智能体能否通过探索有效演化数学问题？

Dadi Guo, Yuejin Xie, Qingyu Liu, Weixian Huang, Jiayu Liu, Zhiyuan Fan, Qihan Ren, Shuai Shao, Tianyi Zhou, Jianjie Feng, Wenze Su, Yujiu Yang, Dongrui Liu, Yi R. Fung

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Nanjing Tech University（南京工业大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Michigan（密歇根大学） ； Independent Researcher（独立研究者） 纠错

AI总结 本文提出一个多智能体框架，利用代码智能体通过探索将现有数学问题自主演化为更复杂、更困难的变体，并验证其可解性和难度提升。

Comments 38 pages

DenseMLLM: Standard Multimodal LLMs for Dense Prediction

DenseMLLM：用于密集预测的标准多模态大语言模型

Yi Li, Hongze Shen, Lexiang Tang, Xin Li, Xinpeng Ding, Yinsong Liu, Deqiang Jiang, Xing Sun, Xiaomeng Li

机构 * Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology, Hong Kong, China（香港科技大学电子与计算机工程系） ； Tencent, Youtu-Lab, China（腾讯优图实验室） 纠错

AI总结 提出DenseMLLM，通过标准多模态大语言模型架构和视觉令牌监督策略，无需任务特定解码器即可实现语义分割、深度估计等密集预测任务，在多个基准上取得竞争性能。

Comments ICML 2026

BranPO: Scalable Contrastive Branch Sampling for Long-Horizon Agentic Reinforcement Learning

BranPO：面向长程智能体强化学习的可扩展对比分支采样

Yubao Zhao, Weiquan Huang, Sudong Wang, Ruochen Zhao, Chen Chen, Yao Shu, Chengwei Qin

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Nanyang Technological University（南洋理工大学） 纠错

AI总结 针对长程智能体强化学习中轨迹级奖励稀疏且信用分配困难的问题，提出一种无值函数方法BranPO，通过截断轨迹并重采样延续构建对比分支，实现局部对比监督，无需密集奖励。

Comments 26 pages, 5 figures

Boosting RL-Based Visual Reasoning with Selective Adversarial Entropy Intervention

基于选择性对抗熵干预提升强化学习视觉推理能力

Yang Yu, Zhuangzhuang Chen, Lanqing Li, Xiaomeng Li

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

AI总结 提出选择性对抗熵干预（SaEI）方法，通过在强化学习采样阶段利用熵引导的对抗攻击扭曲视觉输入，增强策略探索，提升视觉语言模型的推理能力。

ClinTutor-R1: Advancing Scalable and Robust One-to-Many Alignment in Clinical Socratic Education

ClinTutor-R1：在临床苏格拉底式教育中推进可扩展且稳健的一对多对齐

Zhitao He, Haolin Yang, Zeyu Qin, Yi R Fung

机构 * Hong Kong University of Science and Technology（香港理工大学） 纠错

AI总结 针对临床查房等一对多教学场景中上下文稀释与目标错位问题，提出基于多智能体模拟器ClinEdu构建的苏格拉底式教学数据集ClinTeach，并开发首个显式内部思维机制的一对多对齐视觉语言智能体ClinTutor-R1，通过建模个体信念状态与群体共识，在静态基准、交互评估、专家评审及200人真实用户研究中超越基线模型20%以上，达到与专有模型相当的性能，并展现出随学生规模扩展的教学质量可扩展性。

Comments Accepted by ICML 2026 (Spotlight)

Make a Video Call with LLM: A Measurement Campaign over Six Mainstream Apps

用LLM进行视频通话：对六个主流应用的测量活动

Jiayang Xu, Xiangjie Huang, Zijie Li, Antariksh Verma, Zili Meng

机构 * Hong Kong University of Science and Technology（香港科技大学） 纠错

AI总结 本文通过自定义测试平台和在线平台，从质量、延迟、内部机制和系统开销四个维度对六个主流AI视频聊天应用进行基准测试，发现AI视频通话的网络延迟影响小于人类视频通话，AI代理能力对用户体验影响最大。

T-POP: Test-Time Personalization with Online Preference Feedback

T-POP：基于在线偏好反馈的测试时个性化

Zikun Qu, Min Zhang, Mingze Kong, Xiang Li, Zhiwei Shang, Zhiyong Wang, Yikun Ban, Shuang Qiu, Yao Shu, Zhongxiang Dai

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； East China Normal University（华东师范大学） ； Shenzhen Loop Area Institute（深圳河套学院） ； Tianjin University（天津大学） ； The Chinese University of Hong Kong（香港中文大学） ； Beihang University（北京航空航天大学） ； City University of Hong Kong（香港城市大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） 纠错

AI总结 针对新用户冷启动问题，提出T-POP算法，通过在线成对偏好反馈和决斗式强盗机制，在不更新模型参数的情况下实时学习用户偏好并引导解码过程，实现快速数据高效的个性化。

Comments Accepted to ICML 2026

Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement

Seg-Zero: 通过认知强化学习的推理链引导分割

Yuqi Liu, Bohao Peng, Zhisheng Zhong, Zihao Yue, Fanbin Lu, Bei Yu, Jiaya Jia

机构 * The Chinese University of Hong Kong（香港中文大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Renmin University of China（中国人民大学） 纠错

AI总结 提出Seg-Zero框架，通过解耦的推理模型和分割模型，结合GRPO强化学习与格式-精度奖励机制，实现零样本推理分割，在ReasonSeg基准上超越LISA-7B 18%。

Lessons from the Trenches on Reproducible Evaluation of Language Models

关于语言模型可重复评估的前线经验教训

Stella Biderman, Hailey Schoelkopf, Lintang Sutawika, Leo Gao, Jonathan Tow, Baber Abbasi, Alham Fikri Aji, Pawan Sasanka Ammanamanchi, Sidney Black, Jordan Clive, Anthony DiPofi, Julen Etxaniz, Benjamin Fattori, Jessica Zosa Forde, Charles Foster, Jeffrey Hsu, Mimansa Jaiswal, Wilson Y. Lee, Haonan Li, Charles Lovering, Niklas Muennighoff, Ellie Pavlick, Jason Phang, Aviya Skowron, Samson Tan, Xiangru Tang, Kevin A. Wang, Genta Indra Winata, François Yvon, Andy Zou

机构 * MBZUAI ； IIIT Hyderabad ； EleutherAI ； HiTZ Center - Ixa, UPV/EHU ； Ivy Natal ； University of Michigan ； HubSpot ； LibrAI ； Kensho ； Contextual AI ； Brown University ； New York University ； Amazon ； Yale University ； HKUST ； Sorbonne University ； CMU 纠错

AI总结 本文基于开发Language Model Evaluation Harness框架的三年经验，总结了语言模型评估中面临的方法论挑战、缺乏可重复性和透明度等问题，并提供了改进评估严谨性和信心的建议。