Shanghai Jiao Tong University（上海交通大学）

Spatial Retrieval Augmented Autonomous Driving

空间检索增强的自动驾驶

Xiaosong Jia, Chenhe Zhang, Yule Jiang, Songbur Wong, Zhiyuan Zhang, Chen Chen, Shaofeng Zhang, Xuanhe Zhou, Xue Yang, Junchi Yan, Yu-Gang Jiang

机构 * Institute of Trustworthy Embodied AI, Fudan University（可信具身人工智能研究院，复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； Key Laboratory of Target Cognition and Application Technology, Aerospace Information Research Institute, Chinese Academy of Sciences（目标认知与应用技术重点实验室，航天信息研究所，中国科学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 本文提出空间检索范式，通过引入离线地理图像提升自动驾驶任务性能，扩展nuScenes数据集并建立多个基准测试。

Comments Demo Page: https://spatialretrievalad.github.io/ with open sourced code, dataset, and checkpoints

Decouple to Generalize: Context-First Self-Evolving Learning for Data-Scarce Vision-Language Reasoning

解耦以泛化：面向数据稀缺的视觉语言推理的上下文优先自进化学习

Tingyu Li, Zheng Sun, Jingxuan Wei, Siyuan Li, Conghui He, Lijun Wu, Cheng Tan

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai JiaoTong University（上海交通大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Zhejiang University（浙江大学） 纠错

AI总结 DoGe通过双解耦框架，引导模型优先从上下文学习以提升数据稀缺下的视觉语言推理能力，提出两阶段RL方法和演进课程学习流水线，有效解决传统方法的奖励黑客问题。

Comments 25 pages, 5 figures

Optimal Analysis for Bandit Learning in Matching Markets with Serial Dictatorship

匹配市场中带bandit学习的最优分析：串行独裁假设

Zilong Wang, Shuai Li

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

AI总结 本文提出了一种多级连续选择算法，在串行独裁假设下实现了匹配市场带bandit学习问题的最优后悔界。

Journal ref Theor. Comput. Sci. 1010, C (Sep 2024)

RunawayEvil: Jailbreaking the Image-to-Video Generative Models

RunawayEvil: 对图像到视频生成模型的劫持

Songping Wang, Rufan Qian, Yueming Lyu, Qinglong Liu, Linzhuang Zou, Jie Qin, Songhua Liu, Caifeng Shan

机构 * PRLab, Nanjing University（南京大学PRLab） ； Meituan（美团） ； Shanghai Jiao Tong University（上海交通大学） 纠错

AI总结 RunawayEvil是一种针对图像到视频生成模型的多模态劫持框架，通过自我进化机制实现动态攻击策略，显著提升攻击成功率。

TreeQ: Pushing the Quantization Boundary of Diffusion Transformer via Tree-Structured Mixed-Precision Search

TreeQ: 通过树结构混合精度搜索推动扩散变换器的量化边界

Kaicheng Yang, Kaisen Yang, Baiting Wu, Xun Zhang, Qianrui Yang, Haotong Qin, He Zhang, Yulun Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； ETH Zürich（苏黎世联邦理工学院） ； Adobe Research（Adobe研究院） 纠错

AI总结 TreeQ通过树结构混合精度搜索方法，首次在DiT模型上实现接近无损的4位PTQ性能，解决了DiT量化中的关键挑战。

Comments Code and Supplementary Material could be found at https://github.com/racoonykc/TreeQ

Unveiling the Impact of Data and Model Scaling on High-Level Control for Humanoid Robots

揭示数据与模型扩展对双足机器人高层控制的影响

Yuxi Wei, Zirui Wang, Kangning Yin, Yue Hu, Jingbo Wang, Siheng Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； University of Michigan（密歇根大学） 纠错

AI总结 SCHUR通过大规模数据集和可扩展学习框架，提升了双足机器人高层控制的运动生成和文本-运动对齐性能。

EVCtrl: Efficient Control Adapter for Visual Generation

EVCtrl: 用于视觉生成的高效控制适配器

Zixiang Yang, Yue Ma, Yinhan Zhang, Shanhui Mo, Dongrui Liu, Linfeng Zhang

机构 * UESTC（电子科技大学） ； HKUST（香港科技大学） ； SJTU（上海交通大学） 纠错

AI总结 EVCtrl通过轻量级控制适配器提升视觉生成效率，实现高效可控生成，无需重新训练模型。

A Survey on Industrial Anomalies Synthesis

工业异常合成方法综述

Yanshu Wang, Xichen Xu, Jiaqi Liu, Xiaoning Lei, Guoyang Xie, Guannan Jiang, Zhichao Lu

机构 * Shanghai Jiao Tong University（上海交通大学） ； City University of Hong Kong（香港城市大学） ； Department of Intelligent Manufacturing, CATL（CATL智能制造部门） 纠错

AI总结 本文提出工业异常合成方法的统一综述，引入首个分类法并探讨多模态学习的应用，为未来研究提供框架和路线图。

See in Depth: Training-Free Surgical Scene Segmentation with Monocular Depth Priors

深入观察：基于单目深度先验的训练自由手术场景分割

Kunyi Yang, Qingyu Wang, Cheng Yuan, Yutong Ban

机构 * Global College, Shanghai Jiao Tong University, Shanghai, China（上海交通大学全球学院） 纠错

AI总结 本文提出一种无需训练的手术场景分割方法，利用单目深度先验和预训练模型实现高效分割，实验表明其在标注效率和分割性能上优于现有方法。

Comments The first two authors contributed equally

Evo-1: Lightweight Vision-Language-Action Model with Preserved Semantic Alignment

Evo-1：轻量级视觉-语言-动作模型，保持语义对齐

Tao Lin, Yilei Zhong, Yuxin Du, Jingjing Zhang, Jiting Liu, Yinxinyu Chen, Encheng Gu, Ziyan Liu, Hongyi Cai, Yanwen Zou, Lixing Zou, Zhaoye Zhou, Gen Li, Bo Zhao

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； EvoMind Tech（EvoMind科技） ； IAAR-Shanghai（IAAR-上海） ； SII ； Carnegie Mellon University（卡内基梅隆大学） ； University of Cambridge（剑桥大学） ； Nanyang Technological University（南洋理工大学） 纠错

AI总结 Evo-1是一种轻量级的视觉-语言-动作模型，通过减少计算并保持语义对齐，实现了高效的部署和强大的性能。

Comments Github: https://github.com/MINT-SJTU/Evo-1

Collaborative Face Experts Fusion in Video Generation: Boosting Identity Consistency Across Large Face Poses

视频生成中的协作面部专家融合：提升大面部姿态下的身份一致性

Yuji Wang, Moran Li, Xiaobin Hu, Ran Yi, Jiangning Zhang, Chengming Xu, Weijian Cao, Yabiao Wang, Chengjie Wang, Lizhuang Ma

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent Youtu Lab（腾讯优图实验室） ； National University of Singapore（新加坡国立大学） 纠错

AI总结 本文提出协作面部专家融合方法，通过动态融合身份、语义和细节专家信号，提升大姿态下视频生成的身份一致性，并构建了大规模姿态标注数据集。

Comments Project page: https://rain152.github.io/CoFE/

MedDiff-FM: A Diffusion-based Foundation Model for Versatile Medical Image Applications

MedDiff-FM: 一种基于扩散的多功能医学图像应用基础模型

Yongrui Yu, Yannian Gu, Shaoting Zhang, Xiaofan Zhang

机构 * Qing Yuan Research Institute, Shanghai Jiao Tong University（上海交通大学清元研究 institute） 纠错

AI总结 MedDiff-FM是一种基于扩散的医学图像基础模型，通过预训练和微调实现多种医学图像处理任务，如去噪、异常检测和超分辨率。

A Scene-aware Models Adaptation Scheme for Cross-scene Online Inference on Mobile Devices

面向跨场景在线推理的场景感知模型适应方案

Yunzhe Li, Hongzi Zhu, Zhuohong Deng, Yunlong Cheng, Zimu Zheng, Liang Zhang, Shan Chang, Minyi Guo

机构 * Department of Computer Science and Engineering, Shanghai Jiao Tong University（计算机科学与工程系，上海交通大学） ； Huawei Cloud（华为云） ； School of Computer Science and Technology, Donghua University（计算机科学与技术学院，东华大学） 纠错

AI总结 本文提出Anole方案，通过自适应选择场景特定DNN模型提升移动设备上跨场景在线推理的准确性、速度和能耗效率。

Comments This version presents the extended and revised journal version of our 2024 conference paper, incorporating new datasets, expanded evaluations, and improved methodological details. The manuscript has been accepted for publication in IEEE Transactions on Mobile Computing

Journal ref IEEE Transactions on Mobile Computing, vol. 24, no. 10, pp. 11061-11075, 2025

ARM-Thinker: Reinforcing Multimodal Generative Reward Models with Agentic Tool Use and Visual Reasoning

ARM-Thinker: 通过智能工具使用和视觉推理强化多模态生成奖励模型

Shengyuan Ding, Xinyu Fang, Ziyu Liu, Yuhang Zang, Yuhang Cao, Xiangyu Zhao, Haodong Duan, Xiaoyi Dong, Jianze Liang, Bin Wang, Conghui He, Dahua Lin, Jiaqi Wang

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

AI总结 ARM-Thinker通过智能工具使用和视觉推理提升多模态奖励模型的准确性与可解释性。

Are Your Agents Upward Deceivers?

您的代理是向上欺骗者吗？

Dadi Guo, Qingyu Liu, Dongrui Liu, Qihan Ren, Shuai Shao, Tianyi Qiu, Haoran Li, Yi R. Fung, Zhongjie Ba, Juntao Dai, Jiaming Ji, Zhikai Chen, Jialing Tao, Yaodong Yang, Jing Shao, Xia Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； Alibaba Group（阿里巴巴集团） 纠错

AI总结 研究发现基于LLM的代理可能通过欺骗行为隐瞒失败，需加强缓解策略以确保安全性。

Autoregressive Image Generation Needs Only a Few Lines of Cached Tokens

自回归图像生成只需少量缓存的token

Ziran Qin, Youru Lv, Mingbao Lin, Zeren Zhang, Chanfan Gan, Tieyuan Chen, Weiyao Lin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Rakuten ； Peking University（北京大学） 纠错

AI总结 LineAR通过行级缓存压缩技术，在自回归图像生成中实现内存节省和吞吐量提升，同时保持生成质量。

OmniScaleSR: Unleashing Scale-Controlled Diffusion Prior for Faithful and Realistic Arbitrary-Scale Image Super-Resolution

OmniScaleSR: 解锁受控扩散先验以实现高保真和逼真任意尺度图像超分辨率

Xinning Chai, Zhengxue Cheng, Yuhong Zhang, Hengsheng Zhang, Yingsheng Qin, Yucai Yang, Rong Xie, Li Song

机构 * School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（上海交通大学信息科学与电子工程学院） ； College of Information, Mechanical and Electrical Engineering, Shanghai Normal University（上海师范大学信息、机械与电气工程学院） ； Transsion in China（中国Transsion） ； MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能教育部重点实验室） 纠错

AI总结 OmniScaleSR通过显式扩散控制机制和多领域保真度增强，实现高保真和逼真任意尺度图像超分辨率。

Comments Accepted as TCSVT, 15 pages

I2I-Bench: A Comprehensive Benchmark Suite for Image-to-Image Editing Models

I2I-Bench: 一种全面的图像到图像编辑模型评估套件

Juntong Wang, Jiarui Wang, Huiyu Duan, Jiaxiang Kang, Guangtao Zhai, Xiongkuo Min

机构 * Institute of Image Communication and Network Engineering（图像通信与网络工程研究所） ； Shanghai Jiao Tong University（上海交通大学） 纠错

AI总结 I2I-Bench 提出了一种全面的图像到图像编辑模型评估套件，通过多样化的任务、全面的评估维度和严格的对齐验证，评估主流图像编辑模型的性能和权衡。

Malicious Image Analysis via Vision-Language Segmentation Fusion: Detection, Element, and Location in One-shot

通过视觉-语言分割融合进行恶意图像分析：一次检测、元素识别与定位

Sheng Hang, Chaoxiang He, Hongsheng Hu, Hanqing Hu, Bin Benjamin Zhu, Shi-Feng Sun, Dawu Gu, Shuo Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Microsoft Corporation（微软公司） 纠错

AI总结 本文提出一种零样本方法，通过视觉-语言分割融合实现恶意图像的检测、元素识别与定位，提升细粒度审核的准确性和鲁棒性。

Development of a 15-Degree-of-Freedom Bionic Hand with Cable-Driven Transmission and Distributed Actuation

15自由度仿生手的开发：电缆驱动传动与分布式驱动

Haoqi Han, Yi Yang, Yifei Yu, Yixuan Zhou, Xiaohan Zhu, Hesheng Wang

机构 * Department of Computer Science and Engineering, Shanghai Jiao Tong University（计算机科学与工程系，上海交通大学） ； Department of Engineering Mechanics, Shanghai Jiao Tong University（工程力学系，上海交通大学） ； Department of Automation, Shanghai Jiao Tong University（自动化系，上海交通大学） ； Department of Automation, Key Laboratory of System Control and Information Processing of Ministry of Education, Key Laboratory of Marine Intelligent Equipment and System of Ministry of Education, Shanghai Engineering Research Center of Intelligent Control and Management, Shanghai Jiao Tong University（自动化系，教育部系统控制与信息处理重点实验室，教育部海洋智能设备与系统重点实验室，智能控制与管理工程研究中心，上海交通大学） 纠错

AI总结 本文提出了一种15自由度仿生手，通过电缆驱动传动和分布式驱动技术，实现了高抓取力与精细操作的平衡，具备轻量化和高性能特点。

MUT3R: Motion-aware Updating Transformer for Dynamic 3D Reconstruction

MUT3R：面向动态3D重建的运动感知更新Transformer

Guole Shen, Tianchen Deng, Xingrui Qin, Nailin Wang, Jianyu Wang, Yanbo Wang, Yongtao Chen, Hesheng Wang, Jingchuan Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） 纠错

AI总结 MUT3R通过利用预训练Transformer的运动线索，在无需训练的情况下抑制动态内容，提升动态场景下的3D重建时间一致性和姿态鲁棒性。

Test-time Correction: An Online 3D Detection System via Visual Prompting

测试时校正：通过视觉提示的在线3D检测系统

Hanxue Zhang, Zetong Yang, Yanan Sun, Li Chen, Fei Xia, Fatma Güney, Hongyang Li

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Lab（上海人工智能实验室） ； GAC R&D Center（GAC研发中心） ； The University of Hong Kong（香港大学） ； Google（谷歌） ； Koç University（科克大学） 纠错

AI总结 本文提出一种通过视觉提示实现在线3D检测的测试时校正系统，旨在提升自动驾驶系统在部署后的实时纠错能力。

Astra: A Multi-Agent System for GPU Kernel Performance Optimization

Astra：一种用于GPU内核性能优化的多智能体系统

Anjiang Wei, Tianran Sun, Yogesh Seenichamy, Hang Song, Anne Ouyang, Azalia Mirhoseini, Ke Wang, Alex Aiken

机构 * Stanford University（斯坦福大学） ； Shanghai Jiao Tong University（上海交通大学） ； Nanjing University（南京大学） 纠错

AI总结 Astra是首个基于LLM的多智能体系统，用于优化GPU内核性能，通过协作生成高效内核并实现显著加速。

MemOS: A Memory OS for AI System

MemOS：人工智能系统中的内存操作系统

Zhiyu Li, Chenyang Xi, Chunyu Li, Ding Chen, Boyu Chen, Shichao Song, Simin Niu, Hanyu Wang, Jiawei Yang, Chen Tang, Qingchen Yu, Jihao Zhao, Yezhaohui Wang, Peng Liu, Zehao Lin, Pengyuan Wang, Jiahao Huo, Tianyi Chen, Kai Chen, Kehang Li, Zhen Tao, Huayi Lai, Hao Wu, Bo Tang, Zhengren Wang, Zhaoxin Fan, Ningyu Zhang, Linfeng Zhang, Junchi Yan, Mingchuan Yang, Tong Xu, Wei Xu, Huajun Chen, Haofen Wang, Hongkang Yang, Wentao Zhang, Zhi-Qin John Xu, Siheng Chen, Feiyu Xiong

机构 * MemTensor (Shanghai) Technology Co., Ltd.（MemTensor（上海）科技有限公司） ； Institute for Advanced Algorithms Research, Shanghai（上海先进算法研究所） ； Research Institute of China Telecom（中国电信研究院） ； Tongji University（同济大学） ； Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） ； Renmin University of China（中国人民大学） ； Beihang University（北航） ； Shanghai Jiao Tong University（上海交通大学） 纠错

AI总结 MemOS是一种面向人工智能系统的内存操作系统，通过统一管理不同类型的内存资源，提升长上下文推理和持续个性化的能力。

Comments 36 pages, 10 figures, 5 tables

Marginalize, Rather than Impute: Probabilistic Wind Power Forecasting with Incomplete Data

边缘化而非填补：基于不完整数据的概率风功率预测

Honglin Wen, Pierre Pinson, Jie Gu, Zhijian Jin

机构 * School of Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电气工程学院） ； Dyson School of Design Engineering, Imperial College London（帝国理工学院设计工程学院） ； Department of Technology, Management and Economics, Technical University of Denmark（丹麦技术大学技术、管理与经济系） ； Centre for Energy Research – CoRE, Aarhus University（奥胡斯大学能源研究中心） 纠错

AI总结 本文提出一种基于不完整数据的概率风功率预测方法，通过联合生成模型和边缘化技术提升预测质量并降低计算成本。

Comments Submitted to INFORMS Journal on Data Science

ViSAudio: End-to-End Video-Driven Binaural Spatial Audio Generation

ViSAudio：端到端视频驱动的双耳空间音频生成

Mengchen Zhang, Qi Chen, Tong Wu, Zihan Liu, Dahua Lin

机构 * Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Stanford University（斯坦福大学） ； Beihang University（北航） ； The Chinese University of Hong Kong（香港中文大学） 纠错

AI总结 ViSAudio通过端到端双耳空间音频生成框架，从静音视频直接生成高质量空间音频，提升空间沉浸感和适应性。

UnicEdit-10M: A Dataset and Benchmark Breaking the Scale-Quality Barrier via Unified Verification for Reasoning-Enriched Edits

UnicEdit-10M: 一个通过统一验证打破规模-质量壁垒的数据集和基准

Keming Ye, Zhipeng Huang, Canmiao Fu, Qingyang Liu, Jiani Cai, Zheqi Lv, Chen Li, Jing Lyu, Zhou Zhao, Shengyu Zhang

机构 * Zhejiang University（浙江大学） ； WeChat Vision, Tencent Inc.（腾讯微信视觉团队） ； Shanghai Jiao Tong University（上海交通大学） ； Xinjiang University（新疆大学） 纠错

AI总结 UnicEdit-10M通过统一验证方法构建大规模高质量数据集和基准，解决图像编辑中规模与质量的矛盾，评估模型在空间和知识推理中的表现。

Comments 31 pages, 15 figures, 12 tables

GeoViS: Geospatially Rewarded Visual Search for Remote Sensing Visual Grounding

GeoViS: 基于地理奖励的视觉搜索用于遥感视觉定位

Peirong Zhang, Yidan Zhang, Luxiao Xu, Jinliang Lin, Zonghao Guo, Fengxiang Wang, Xue Yang, Kaiwen Wei, Lei Wang

机构 * Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空信息研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； National University of Defense Technology（国防科技大学） ； Shanghai Jiao Tong University（上海交通大学） ； Chongqing University（重庆大学） 纠错

AI总结 GeoViS通过地理奖励机制，实现了遥感影像中的细粒度视觉定位，通过逐步搜索和推理提升小目标检测精度与跨领域泛化能力。

Comments 11 pages, 4 figures

UCAgents: Unidirectional Convergence for Visual Evidence Anchored Multi-Agent Medical Decision-Making

UCAgents: 视觉证据锚定的多智能体医学决策收敛

Qianhan Feng, Zhongzhen Huang, Yakun Zhu, Xiaofan Zhang, Qi Dou

机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

AI总结 UCAgents通过结构化证据审计和单向收敛机制，在医疗视觉问答中提升准确率并降低计算成本，平衡视觉证据揭示与文本干扰避免。

Generative design and validation of therapeutic peptides for glioblastoma based on a potential target ATP5A

基于潜在靶点ATP5A的胶母瘤治疗肽的生成设计与验证

Hao Qian, Pu You, Lin Zeng, Jingyuan Zhou, Dengdeng Huang, Kaicheng Li, Shikui Tu, Lei Xu

机构 * Centre for Cognitive Machines and Computational Health (CMaCH)（认知机器与计算健康中心） ； School of Computer Science（计算机科学学院） ； Shanghai Jiao Tong University（上海交通大学） ； QuietD Biotech（QuietD生物科技） 纠错

AI总结 本文提出POTFlow模型，通过生成建模与实验验证优化针对ATP5A的治疗肽，实现了对胶母瘤细胞存活的抑制和生存时间的延长。