Shanghai Jiao Tong University（上海交通大学）

Faithful, Enriched, and Precise: Benchmarking Natural-Science Illustration Generation by T2I models

忠实、丰富且精确：T2I模型在自然科学插图生成中的基准测试

Yifan Chang, Jiaxin Ai, Jianwen Sun, Yuandong Pu, Siqi Luo, Liangliang Zhao, Yuchen Ren, Minghao Liu, Yunfei Yu, Yu Qiao, Kaipeng Zhang, Yihao Liu

机构 * Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） ； Wuhan University（武汉大学） ； Nankai University（南开大学） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； ZODA ； Alaya Studio（Alaya工作室） 纠错

AI总结 提出FEPBench基准，通过细粒度原子集标注和三维评估（指令忠实性、推理丰富性、语义精确性）系统评估T2I模型在自然科学插图生成中的表现，发现即使最先进的闭源模型仍存在文本渲染瓶颈、推理丰富性有限以及生成丰富性与精确性难以平衡的问题。

SubtleMemory: A Benchmark for Fine-Grained Relational Memory Discrimination in Long-Horizon AI Agents

SubtleMemory: 面向长时程AI智能体的细粒度关系记忆辨别基准

Wenxuan Wang, Haoyu Sun, Fukuan Hou, Mingyang Song, Weinan Zhang, Yu Cheng, Yang Yang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Tongji University（同济大学） ； Xiamen University（厦门大学） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

AI总结 提出SubtleMemory基准，通过构建关系控制的潜在语义伪影并嵌入用户-智能体交互历史，评估长时程AI智能体在后续查询中恢复分布式关系结构的能力。

Comments 48 pages

Agent Planning Benchmark: A Diagnostic Framework for Planning Capabilities in LLM Agents

Agent规划基准：LLM Agent规划能力的诊断框架

Haoyu Sun, Wenxuan Wang, Mingyang Song, Jujie He, Weinan Zhang, Yang Liu, Yang Yang, Yu Cheng

机构 * Tongji University（同济大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学） ； Skywork AI ； University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

AI总结 提出Agent规划基准(APB)，通过4209个多模态案例和五个设置，诊断LLM Agent在长程规划、工具噪声鲁棒性、校准拒绝和推理时改进方面的系统弱点。

InvEvolve: Evolving White-Box Inventory Policies via Large Language Models with Performance Guarantees

InvEvolve：通过具有性能保证的大语言模型进化白盒库存策略

Chenyu Huang, Jianghao Lin, Zhengyang Tang, Bo Jiang, Ruoqing Jiang, Benyou Wang, Lai Wei

机构 * Shanghai University of Finance and Economics（上海财经大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学） ； Boston College（波士顿大学） 纠错

AI总结 提出InvEvolve框架，利用强化学习训练的大语言模型，结合置信区间认证，在线生成具有统计安全保证的白盒库存策略，在合成和真实零售数据上优于经典和深度学习方法。

Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models

模态间隙驱动的子空间对齐训练范式用于多模态大语言模型

Xiaomin Yu, Yi Xin, Yuhui Zhang, Wenjie Zhang, Chonghan Liu, Hanzhen Zhao, Chen Liu, Xiaoxing Hu, Ziyue Qiao, Hao Tang, Xiaobin Hu, Chengwei Qin, Hui Xiong, Yu Qiao, Shuicheng Yan

机构 * HKUST(GZ)（香港科技大学（广州）） ； NUS（新加坡国立大学） ； sh AILab ； SII ； Stanford（斯坦福大学） ； UCLA（加州大学洛杉矶分校） ； Yale（耶鲁大学） ； SJTU（上海交通大学） ； GBU（国防大学） ； PKU（北京大学） 纠错

AI总结 针对多模态对比学习中的模态间隙问题，提出固定帧模态间隙理论，并基于该理论设计无训练的对齐策略ReAlign和可扩展训练范式ReVision，利用无配对数据实现视觉与语言表示的高效对齐。

OmniSch: A Multimodal PCB Schematic Benchmark For Structured Diagram Visual Reasoning

OmniSch：面向结构化图表视觉推理的多模态PCB原理图基准

Taiting Lu, Kaiyuan Lin, Yuxin Tian, Mingjia Wang, Yubo Wang, Muchuan Wang, Sharique Khatri, Akshit Kartik, Yixi Wang, Amey Santosh Rane, Yida Wang, Sung-Liang Chen, Yifan Yang, Yi-Chao Chen, Yincheng Jin, Mahanth Gowda

机构 * Pennsylvania State University, USA（宾夕法尼亚州立大学） ； Independent Researcher（独立研究者） ； Binghamton University, USA（布ingham顿大学） ； Shanghai Jiao Tong University, China（上海交通大学） ； Microsoft Research（微软研究院） 纠错

AI总结 提出首个多模态PCB原理图理解基准OmniSch，包含四项任务评估大模型在视觉定位、图推理和几何推理上的能力，揭示现有模型在工程图表理解上的显著差距。

Rein3D: Reinforced 3D Indoor Scene Generation with Panoramic Video Diffusion Models

Rein3D: 基于全景视频扩散模型的强化3D室内场景生成

Dehui Wang, Rong Wei, Yue Shi, Congsheng Xu, Shoufa Chen, Dingxiang Luo, Tianshuo Yang, Xiaokang Yang, Wei Sui, Yusen Qin, Rui Tang, Yao Mu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Manycore Tech Inc.（Manycore科技公司） ； D-Robotics ； The University of Hong Kong（香港大学） 纠错

AI总结 提出Rein3D框架，结合3D高斯泼溅与视频扩散模型，通过“恢复-细化”范式从稀疏输入生成全局一致的360度室内场景，并构建PanoV2V-15K数据集，显著提升长距离相机探索效果。

SW-$A^2$-Bench: Benchmarking Autonomous Software Agent Generation for Agentic Web

SW-$A^2$-Bench: 面向智能体网络的自主软件智能体生成基准测试

Linyao Chen, Bo Huang, Qinlao Zhao, Shuai Shao, Zhi Han, Zicai Cui, Ziheng Zhang, Guangtao Zeng, Wenzheng Tang, Yikun Wang, Yuanjian Zhou, Zimian Peng, Yong Yu, Weiwen Liu, Hiroki Kobayashi, Weinan Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； The University of Tokyo（东京大学） ； Huazhong University of Science and Technology（华中科技大学） ； Shanghai Innovation Institute（上海创新研究院） ； Nankai University（南开大学） ； Singapore University of Technology and Design（新加坡科技设计大学） ； Queen’s University（女王大学） ； Fudan University（复旦大学） ； Zhejiang University（浙江大学） 纠错

AI总结 提出首个软件智能体生成基准SW-$A^2$-Bench，通过编码智能体自动将代码仓库转化为自主软件智能体，评估生成智能体的忠实性与互操作性，以扩展智能体网络规模。

CoQuIR: A Comprehensive Benchmark for Code Quality-Aware Information Retrieval

CoQuIR：面向代码质量感知信息检索的综合基准

Jiahui Geng, Fengyu Cai, Shaobo Cui, Qing Li, Liangwei Chen, Chenyang Lyu, Haonan Li, Derui Zhu, Walter Pretschner, Heinz Koeppl, Fakhri Karray

机构 * Linköping University（林波伊大学） ； MBZUAI（麦肯锡人工智能研究院） ； TU Darmstadt（德累斯顿技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； EPFL（苏黎世联邦理工学院） ； University of Groningen（Groningen大学） ； Google Tokyo（东京Google） ； Alibaba Group（阿里巴巴集团） ； TU Munich（慕尼黑技术大学） 纠错

AI总结 提出首个大规模多语言代码质量感知检索基准CoQuIR，涵盖正确性、效率、安全性和可维护性四维度，通过细粒度标注和两个质量中心指标评估23个模型，发现顶尖模型常无法区分有缺陷代码，并探索了训练方法以提升质量感知能力。

EVA: Evolving Semantic Adversaries for Red-Teaming GUI Agents Against Environmental Injection Attacks

EVA: 针对环境注入攻击的红队GUI智能体的演化语义对抗方法

Yijie Lu, Manman Zhao, Tianjie Ju, Zihe Yan, Xinbei Ma, Yuan Guo, Daizong Ding, Gongshen Liu, Zhuosheng Zhang

机构 * School of Cyber Science and Engineering, Wuhan University（武汉大学计算机科学与工程学院） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Independent Researcher（独立研究者） 纠错

AI总结 提出EVA框架，通过演化语义对抗载荷攻击多模态大语言模型驱动的GUI智能体，揭示语义欺骗是攻击成功的关键，实现85%攻击成功率且快速收敛。

Comments Accepted by