arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

Tsinghua University(清华大学)

共收录 4547
2605.08693 2026-05-13 cs.AI

SkillMaster: Toward Autonomous Skill Mastery in LLM Agents

SkillMaster:迈向LLM代理自主技能掌握

Min Yang, Jinghua Piao, Xu Xia, Xiaochong Lan, Jiaju Chen, Yongshun Gong, Yong Li

机构 * Shandong University(山东大学) Zhongguancun Academy(中关村学院) Tsinghua University(清华大学) Southeast University(东南大学) University of Science and Technology of China(中国科学技术大学)

AI总结 SkillMaster通过轨迹引导技能复习、反事实效用评估和DualAdv-GRPO算法,使LLM代理能自主创建、优化和选择技能,提升任务成功率8.8%和9.3%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.07892 2026-05-13 cs.LG cs.CL

Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection

安全对齐作为持续学习:通过正交梯度投影缓解对齐税

Guanglong Sun, Siyuan Zhang, Liyuan Wang, Jun Zhu, Hang Su, Yi Zhong

机构 * School of Life Sciences, IDG/McGovern Institute for Brain Research(生命科学学院,IDG/麦戈文脑科学研究所) Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center(计算机科学与技术系,人工智能研究所,清华大学-博世联合机器学习中心,THBI实验室,BNRist中心) Tsinghua University, Beijing, China(清华大学,北京,中国)

AI总结 本文通过持续学习视角研究安全对齐与通用能力退化之间的权衡,提出OGPSA方法通过正交梯度投影提升安全性和实用性,实验显示在不同训练流程中显著改善安全-效用权衡。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10937 2026-05-12 cs.CV

Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping

文本到图像模型的强化后训练与超线性优势塑造

Haoyuan Sun, Jing Wang, Yuxin Song, Yu Lu, Bo Fang, Yifu Luo, Jun Yin, Pengyu Zeng, Miao Zhang, Tiantian Zhang, Xueqian Wang, Shijian Lu

机构 * Nanyang Technological University(南洋理工大学) Baidu Inc.(百度公司) Zhejiang University(浙江大学) City University of Hong Kong(香港城市大学) Tsinghua University(清华大学) Jimei University(集美大学)

AI总结 本文提出超线性优势塑造方法,通过信息几何视角优化文本到图像模型的后训练过程,提升训练效率和生成质量,减少奖励黑客问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10922 2026-05-12 cs.CV

Pixal3D: Pixel-Aligned 3D Generation from Images

Pixal3D: 从图像生成像素对齐的3D内容

Dong-Yang Li, Wang Zhao, Yuxin Chen, Wenbo Hu, Meng-Hao Guo, Fang-Lue Zhang, Ying Shan, Shi-Min Hu

机构 * BNRist, Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系BNRist) Tencent ARC Lab(腾讯ARC实验室) Victoria University of Wellington(惠灵顿维多利亚大学)

AI总结 Pixal3D通过像素对齐方法提升3D生成的保真度,解决2D-3D对应问题,实现高保真3D资产生成。

Comments SIGGRAPH 2026. Project page: https://ldyang694.github.io/projects/pixal3d/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10921 2026-05-12 cs.RO

RoboMemArena: A Comprehensive and Challenging Robotic Memory Benchmark

RoboMemArena:一个全面且具有挑战性的机器人记忆基准

Huashuo Lei, Wenxuan Song, Huarui Zhang, Jieyuan Pei, Jiayi Chen, Haodong Yan, Han Zhao, Pengxiang Ding, Zhipeng Zhang, Lida Huang, Donglin Wang, Yan Wang, Haoang Li

机构 * The Hong Kong University of Science and Technology(香港科学与技术大学) Zhejiang University(浙江大学) Westlake University(西湖大学) Tsinghua University(清华大学) Zhejiang University of Technology(浙江工业大学) Shanghai Jiao Tong University(上海交通大学)

AI总结 本文提出RoboMemArena,一个包含26个任务的大型基准,通过多模态注释和真实世界评估,改进了现有机器人记忆基准的不足。PrediMem在基准测试中表现优异,为复杂记忆系统提供了新的见解。

Comments Project website: https://robomemarena.github.io

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10912 2026-05-12 cs.CL

WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation

WildClawBench: 一个用于真实世界、长周期代理评估的基准测试

Shuangrui Ding, Xuanlang Dai, Long Xing, Shengyuan Ding, Ziyu Liu, Yang JingYi, Penghui Yang, Zhixiong Zhang, Xilin Wei, Xinyu Fang, Yubo Ma, Haodong Duan, Jing Shao, Jiaqi Wang, Dahua Lin, Kai Chen, Yuhang Zang

机构 * Shanghai AI Laboratory(上海人工智能实验室) The Chinese University of Hong Kong(香港中文大学) Fudan University(复旦大学) University of Science and Technology of China(中国科学技术大学) Shanghai Jiao Tong University(上海交通大学) Tsinghua University(清华大学) Shanghai Innovation Institute(上海创新研究院) Zhejiang University(浙江大学) Nanyang Technological University(南洋理工大学)

AI总结 本文提出WildClawBench,一个包含60个双语多模态任务的原生运行时基准测试,评估代理在真实工具环境中的长周期任务能力,结果显示当前前沿模型在真实运行时表现仍不理想。

Comments Github link: https://github.com/internlm/WildClawBench

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10903 2026-05-12 cs.CV cs.RO

CapVector: Learning Transferable Capability Vectors in Parametric Space for Vision-Language-Action Models

CapVector:在参数空间中学习可转移的能力向量用于视觉-语言-动作模型

Wenxuan Song, Han Zhao, Fuhao Li, Ziyang Zhou, Xi Wang, Jing Lyu, Pengxiang Ding, Yan Wang, Donglin Wang, Haoang Li

机构 * Zhejiang University(浙江大学) Westlake University(西湖大学) Tsinghua University(清华大学) Beijing Academy of Artificial Intelligence(北京人工智能研究院)

AI总结 本文提出一种方法,通过在参数空间中解耦辅助目标SFT的两个目标,提升通用能力与任务特定动作分布拟合,从而在减少计算开销的同时提高性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10833 2026-05-12 cs.CV cs.AI

MMVIAD: Multi-view Multi-task Video Understanding for Industrial Anomaly Detection

MMVIAD:多视角多任务视频理解用于工业异常检测

Xiran Zhao, Jing Jin, Yan Bai, Zhongan Wang, Yifeng Sun, Yihang Lou, Xuanyu Zhu, Tao Feng, Yingna Wu

机构 * ShanghaiTech University(上海科技大学) Tsinghua University(清华大学) Meituan Inc.(美团公司) Peking University(北京大学)

AI总结 本文提出MMVIAD,首个工业异常检测连续多视角视频数据集及多任务评估基准,通过两阶段训练流程提升模型泛化能力,在四个任务中取得优于GPT-5.4的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10744 2026-05-12 cs.CV cs.RO

C-CoT: Counterfactual Chain-of-Thought with Vision-Language Models for Safe Autonomous Driving

C-CoT:基于视觉-语言模型的反事实链式推理用于安全自动驾驶

Kefei Tian, Yuansheng Lian, Kai Yang, Xiangdong Chen, Shen Li

机构 * College of Transportation, Tongji University(同济大学交通运输学院) Department of Civil Engineering, Tsinghua University(清华大学土木工程系) School of Vehicle and Mobility, Tsinghua University(清华大学车辆与移动系统学院) Department of Civil and Environmental Engineering, National University of Singapore(新加坡国立大学土木与环境工程系)

AI总结 本文提出C-CoT框架,利用视觉-语言模型将驾驶决策分解为五个阶段,通过反事实推理提升自动驾驶在复杂环境中的安全性和鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10564 2026-05-12 cs.CV cs.RO

DeepSight: Long-Horizon World Modeling via Latent States Prediction for End-to-End Autonomous Driving

DeepSight: 通过潜在状态预测实现长视距世界建模的端到端自动驾驶

Lingjun Zhang, Changjie Wu, Linzhe Shi, Jiangyang Li, Jiaxin Liu, Lei Yang, Hang Zhang, Mu Xu, Hong Wang

机构 * Tsinghua University(清华大学) Amap, Alibaba Group(阿里巴巴集团Amap) Nanyang Technological University(南洋理工大学)

AI总结 本文提出通过鸟瞰图空间预测连续未来帧的潜在语义特征,实现长视距世界建模,并引入高效适应性文本推理机制提升复杂场景下的驾驶性能。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10500 2026-05-12 cs.AI

SkillEvolver: Skill Learning as a Meta-Skill

SkillEvolver: 技能学习作为元技能

Genrui Zhang, Erle Zhu, Jinfeng Zhou, Caiyan Jia, Hongning Wang

机构 * Tsinghua University(清华大学) Beijing Jiaotong University(北京交通大学)

AI总结 SkillEvolver通过元技能迭代生成、部署和优化领域特定技能,无需重新训练即可直接应用于任何智能体,其学习目标是技能的文本和代码而非模型权重,通过元技能自身作为技能加载,提升技能表现。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10451 2026-05-12 cs.LG cs.NA math.FA math.NA

Don't Fix the Basis -- Learn It: Spectral Representation with Adaptive Basis Learning for PDEs

不要固定基底——学习它:用于PDEs的自适应基底学习的谱表示

Xuxiang Zhao, Angelica I. Aviles-Rivero

机构 * Qiuzhen College, Tsinghua University(清华大学求真学院) YMSC, Tsinghua University(清华大学数学科学中心)

AI总结 本文提出ABLE框架,通过学习数据依赖的谱表示替代固定基底,提升PDE学习中对空间异质性和多尺度动态的表达能力,实现O(N log N)复杂度的高效运算。

Comments 26 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10434 2026-05-12 cs.CV

WorldReasonBench: Human-Aligned Stress Testing of Video Generators as Future World-State Predictors

WorldReasonBench: 视频生成器作为未来世界状态预测器的人类对齐压力测试

Keming Wu, Yijing Cui, Wenhan Xue, Qijie Wang, Xuan Luo, Zhiyuan Feng, Zuhao Yang, Sudong Wang, Sicong Jiang, Haowei Zhu, Zihan Wang, Ping Nie, Wenhu Chen, Bin Wang

机构 * Tsinghua University(清华大学) Nanyang Technological University(南洋理工大学) University of Waterloo(滑铁卢大学) Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))

AI总结 WorldReasonBench通过结构化地面真实QA注释,测试视频生成器能否在物理、社会、逻辑和信息层面保持一致性。该基准包含436个测试案例和22个子类别,结合人类对齐的两阶段方法评估生成视频的质量。

Comments Project Page: https://unix-ai-lab.github.io/WorldReasonBench/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10404 2026-05-12 cs.CV

Position: Life-Logging Video Streams Make the Privacy-Utility Trade-off Inevitable

位置:生命记录视频流使隐私与效用的权衡不可避免

Tianyuan Zou, Liang Yue, Yang Liu, Ya-Qin Zhang, Sijie Cheng

机构 * Institute for AI Industry Research, Tsinghua University, Beijing, China(清华大学人工智能产业研究院) RayNeo.AI, Shenzhen, China(深圳RayNeo.AI) Department of Computer Science and Technology, Tsinghua University, Beijing, China(清华大学计算机科学与技术系)

AI总结 生命记录视频流虽提升AI系统效用,但暴露敏感信息引发隐私风险,现有保护措施无法兼顾效用与隐私,需进一步研究权衡设计与标准化评估。

Comments 19 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10401 2026-05-12 cs.AI math.OC

LLM4Branch: Large Language Model for Discovering Efficient Branching Policies of Integer Programs

LLM4Branch:用于发现整数规划高效分支策略的大语言模型

Zhinan Hou, Xingchen Li, Yankai Zhang, Tianxun Li, Keyou You

机构 * Department of Automation, BNRist, Tsinghua University, Beijing, China.(自动化系,BNRist,清华大学,北京,中国)

AI总结 本文提出LLM4Branch,利用大语言模型自动发现整数规划的高效分支策略,通过程序骨架生成和参数优化,实现CPU基方法的新状态-of-the-art性能。

Comments ICML2026 preprint, camera ready in progress

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10345 2026-05-12 cs.CV

BGG: Bridging the Geometric Gap between Cross-View images by Vision Foundation Model Adaptation for Geo-Localization

BGG: 通过基于视觉基础模型的适应方法弥合跨视角图像间的几何差距以实现地理定位

Wei Wang, Dou Quan, Ning Huyan, Shuang Wang, Yi Li, Pei He, Licheng Jiao

机构 * Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education of China, Xidian University(中国教育部智能感知与图像理解重点实验室,西安电子科技大学) School of Telecommunications, Xidian University(西安电子科技大学电信学院) Department of Automation, Tsinghua University(清华大学自动化系)

AI总结 本文提出BGG框架,通过多粒度特征增强适配器和频率感知结构聚合模块,有效提升跨视角地理定位性能,实验表明其在低训练成本下达到最先进的定位效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10343 2026-05-12 cs.CV cs.AI

EvoStreaming: Your Offline Video Model Is a Natively Streaming Assistant

EvoStreaming: 你的离线视频模型本质上是一个原生流式助手

Zichen Wen, Boxue Yang, Junlong Ke, Jiajie Huang, Chenfei Liao, Junxi Wang, Xuyang Liu, Linfeng Zhang

机构 * EPIC Lab, Shanghai Jiao Tong University(上海交通大学EPIC实验室) Tsinghua University(清华大学) The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州)) Fudan University(复旦大学)

AI总结 本文提出EvoStreaming框架,通过自演化方法使离线视频模型适应流式助手任务,仅需1000个自生成样本即可提升RealStreamEval评分,并保持离线性能。

Comments 33 pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10253 2026-05-12 cs.CR cs.AI

Knowledge Poisoning Attacks on Medical Multi-Modal Retrieval-Augmented Generation

针对医疗多模态检索增强生成的知识污染攻击

Peiru Yang, Haoran Zheng, Tong Ju, Shiting Wang, Wanchun Ni, Jiajun Liu, Shangguang Wang, Yongfeng Huang, Tao Qi

机构 * Tsinghua University(清华大学) Beijing University of Posts and Telecommunications(北京邮电大学) Northwestern Polytechnical University(西北工业大学) ETH Zurich(苏黎世联邦理工学院)

AI总结 本文提出M³Att框架,针对医疗多模态RAG系统,通过在文本数据中注入隐蔽虚假信息并利用配对视觉数据作为查询无关触发器,提升检索概率,从而在不依赖用户查询先验知识的情况下实现知识污染攻击。

Comments Accepted by ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10199 2026-05-12 cs.CL eess.AS

How Should LLMs Listen While Speaking? A Study of User-Stream Routing in Full-Duplex Spoken Dialogue

LLMs在说话时应该如何倾听?对全双工语音对话中用户流路由的探讨

Hui Lu, Xueyuan Chen, Huimeng Wang, Shuhai Peng, Shiyin Kang, Xixin Wu, Zhiyong Wu

机构 * The Chinese University of Hong Kong(香港中文大学) SenseTime Research(商汤科技研究院) Tsinghua University(清华大学)

AI总结 研究探讨了全双工语音对话中用户流路由对LLM的影响,通过对比通道融合与交叉注意力路由策略,发现通道融合在语义接地和问答性能上更优,但易受上下文干扰;交叉注意力路由更稳健,但问答表现较差。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10194 2026-05-12 cs.AI cs.LG

TRACE: Distilling Where It Matters via Token-Routed Self On-Policy Alignment

TRACE:通过令牌路由自我对策略对齐来聚焦关键位置

Jiaxuan Wang, Xuan Ouyang, Zhiyu Chen, Yulan Hu, Zheng Pan, Xin Li, Lan-Zhe Guo

机构 * State Key Laboratory of Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室) School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院) AMAP, Alibaba Group(阿里集团AMAP) University of Wisconsin–Madison(威斯康星大学麦迪逊分校) Tsinghua University(清华大学)

AI总结 TRACE通过令牌路由自我对齐方法,在关键位置进行知识蒸馏,减少冗余梯度影响,提升长周期数学任务表现,优于GRPO并保持外部基准性能。

Comments work in progress

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10189 2026-05-12 cs.LG cs.AI

ProteinOPD: Towards Effective and Efficient Preference Alignment for Protein Design

ProteinOPD:迈向蛋白质设计的有效和高效偏好对齐

Yulin Zhang, He Cao, Zihao Jiang, Chenyi Zi, Zhipeng Zhou, Zijing Liu, Yu Li, Jia Li, Ziqi Gao

机构 * Tsinghua University(清华大学) International Digital Economy Academy(国际数字经济学院) Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州)) Nanyang Technological University(南洋理工大学)

AI总结 本文提出ProteinOPD框架,通过结合On-Policy Distillation方法,有效平衡多目标偏好,提升蛋白质设计效率与稳定性,实验显示在目标偏好上表现优异且训练速度更快。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10178 2026-05-12 q-bio.NC cs.LG cs.NE

Joint sparse coding and temporal dynamics support context reconfiguration

联合稀疏编码与时间动态支持情境重构

Qianqian Shi, Yue Che, Faqiang Liu, Hongyi Li, Mingkun Xu, Sandra Reinert, Pieter M. Goltstein, Rong Zhao, Luping Shi

机构 * Center for Brain-Inspired Computing Research (CBICR), Department of Precision Instrument, Tsinghua University, Beijing, China(脑启发计算研究中心(CBICR)、精密仪器系、清华大学、北京、中国) Optical Memory National Engineering Research Center, Tsinghua University, Beijing, China(光学存储国家级工程研究中心、清华大学、北京、中国) IDG/McGovern Institute for Brain Research, Tsinghua University, Beijing, China(IDG/麦戈文脑研究 institute、清华大学、北京、中国) Guangdong Institute of Intelligence Science and Technology, Hengqin, China(广东智能科学与技术研究院、横琴、中国) Sainsbury Wellcome Centre, University College London, London, UK(桑斯伯里·惠康中心、伦敦大学学院、伦敦、英国) Max Planck Institute for Biological Intelligence, Martinsried, Germany(马克斯·普朗克生物智能研究所、马尔特里德、德国)

AI总结 研究通过联合稀疏编码与时间动态机制,在小鼠 medial prefrontal cortex 和计算网络中实现情境转换时的先前表征保留,揭示了动态环境中学习的关键机制。

Comments 37 pages, 6 figures, 6 extended data figures. Preprint version

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.07575 2026-05-12 cs.CV cs.AI

Response-G1: Explicit Scene Graph Modeling for Proactive Streaming Video Understanding

响应-G1:面向前瞻性流视频理解的显式场景图建模

Ke Ma, Jiaqi Tang, Bin Guo, Xueting Han, Ruonan Xu, Qingfeng He, Ziheng Wang, Xu Wang, Qifeng Chen, Zhiwen Yu, Yunhao Liu

机构 * Northwestern Polytechnical University(北华大学) Tsinghua University(清华大学) The Hong Kong University of Science and Technology(香港科技大学) Harbin Engineering University(哈尔滨工程大学)

AI总结 响应-G1通过显式场景图建模提升前瞻性流视频理解,通过三阶段流程实现视频证据与查询条件的结构化对齐,提高响应时机的可解释性和准确性。

Comments Accepted to ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.08065 2026-05-12 cs.LG cs.CL

Deterministic Differentiable Structured Pruning for Large Language Models

确定性可微结构剪枝用于大语言模型

Weiyu Huang, Pengle Zhang, Xiaolu Zhang, Jun Zhou, Jun Zhu, Jianfei Chen

机构 * Department of Computer Science and Technology, Tsinghua University, Beijing, China(清华大学计算机科学与技术系)

AI总结 本文提出确定性可微剪枝方法,通过优化离散l0目标的确定性软替代,减少训练-测试不匹配并提升收敛速度,实验证明在大语言模型中实现高效剪枝。

Comments Published at ICML26;

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09789 2026-05-12 cs.LG

When Less is More: The LLM Scaling Paradox in Context Compression

当少即多:在上下文压缩中的LLM扩展悖论

Ruishan Guo, Yibing Liu, Guoxin Ma, Yan Wang, Yueyang Zhang, Long Xia, Kecheng Chen, Zhiyuan Sun, Daiting Shi

机构 * Baidu Inc.(百度公司) Tsinghua University(清华大学) Xi’an Jiaotong University(西安交通大学) City University of Hong Kong(香港城市大学)

AI总结 研究揭示在上下文压缩中,增大压缩器规模反而降低重建上下文的忠实度,发现知识覆盖和语义漂移是主要因素,中等规模压缩器在忠实恢复上表现更优。

Comments 22 pages, 7 figures, conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.07940 2026-05-12 cs.AI

MePo: Meta Post-Refinement for Rehearsal-Free General Continual Learning

MePo:无回放的通用持续学习的元后细化

Guanglong Sun, Hongwei Yan, Liyuan Wang, Zhiqi Kang, Shuang Cui, Hang Su, Jun Zhu, Yi Zhong

机构 * School of Life Sciences, IDG/McGovern Institute for Brain Research, Tsinghua University, Beijing, China(生命科学学院,IDG/麦克戈维脑研究 institute,清华大学,北京,中国) Tsinghua-Peking Center for Life Sciences(清华-北京大学生命科学中心) Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center, Tsinghua University, Beijing, China(计算机科学与技术系,人工智能研究所,清华-博世联合机器学习中心,THBI实验室,BNRist中心,清华大学,北京,中国) Department of Psychological and Cognitive Sciences, Tsinghua University, Beijing, China(心理学与认知科学系,清华大学,北京,中国) Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK, Grenoble, France(格勒诺布尔阿尔卑斯大学,Inria,CNRS,格勒诺布尔INP,LJK,格勒诺布尔,法国) Institute of Software Chinese Academy of Sciences, Beijing, China(软件研究所,中国科学院,北京,中国)

AI总结 MePo通过构建伪任务序列和双层元学习框架,提升预训练模型在无回放条件下的通用持续学习性能,显著提升多个基准测试的准确率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.27527 2026-05-12 cs.LG cs.AI

TetraJet-v2: Accurate NVFP4 Training for Large Language Models with Oscillation Suppression and Outlier Control

TetraJet-v2:用于大语言模型的准确NVFP4训练方法,具有振荡抑制和异常值控制

Yuxiang Chen, Yifan Liu, Xiaoming Xu, Pengle Zhang, Michael Beyer, Martin Rapp, Jun Zhu, Jianfei Chen

机构 * Dept. of Comp. Sci. and Tech., Institute for AI, BNRist Center, THBI Lab, Tsinghua-Bosch Joint ML Center, Tsinghua University(计算机科学与技术系,人工智能研究所,BNRist中心,THBI实验室,清华-博世联合机器学习中心,清华大学) Zhili College, Tsinghua University(紫荆学院,清华大学) Bosch AI Research, Renningen, Germany(博世人工智能研究,德国Renningen)

AI总结 TetraJet-v2通过NVFP4格式实现低精度训练,解决权重振荡和异常值问题,提升大语言模型性能,减少与BF16的性能差距达51.3%,并实现1.67倍速度提升。

Journal ref Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026 (ICML 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.20294 2026-05-12 cs.LG math.ST stat.TH

Alignment-Sensitive Minimax Rates for Spectral Algorithms with Learned Kernels

对具有学习核的谱算法的对齐敏感最小最大率

Dongming Huang, Zhifan Li, Yicheng Li, Qian Lin

机构 * Department of Statistics and Data Science, National University of Singapore, Singapore(新加坡国立大学统计与数据科学系) School of Statistics and Mathematics, Zhongnan University of Economics and Law, Wuhan, China(中南财经政法大学统计与数学学院) Department of Statistics and Data Science, Tsinghua University, Beijing, China(清华大学统计与数据科学系)

AI总结 本文研究了在核从数据中学习的设定下的谱算法,引入了有效的跨度维度(ESD)作为对齐敏感的复杂度度量,证明了在序列模型中ESD不超过K时,最小最大超额风险与σ²K成比例,并分析了过参数化梯度流可降低ESD,扩展到线性模型和RKHS回归,并通过实验支持理论。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10045 2026-05-12 cs.CV

ExtraVAR: Stage-Aware RoPE Remapping for Resolution Extrapolation in Visual Autoregressive Models

ExtraVAR: 用于视觉自回归模型中分辨率外推的阶段感知RoPE重映射

Feihong Yan, Shaoyu Liu, Haixuan Wang, Shuai Lu, Linfeng Zhang, Huiqi Li, Xiangyang Ji

机构 * Beijing Institute of Technology(北京理工大学) Xidian University(西安电子科技大学) Northeastern University at Qinhuangdao(秦皇岛东北大学) Shanghai Jiao Tong University(上海交通大学) Department of Automation, Tsinghua University(清华大学自动化系)

AI总结 本文提出ExtraVAR,通过阶段感知RoPE重映射解决视觉自回归模型中分辨率外推的全局重复、局部重复和细节退化问题,引入熵驱动自适应注意力校准提升结构和细节质量。

Comments 10 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10027 2026-05-12 cs.CL cs.AI

Speech-based Psychological Crisis Assessment using LLMs

基于语音的心理危机评估使用大语言模型

Terumi Chiba, Yang Luo, Ziyun Cui, Yongsheng Tong, Chao Zhang

机构 * Tsinghua University(清华大学) Peking University Huilongguan Clinical Medical School(北京大学回龙guan临床医学院) WHO Collaborating Centre for Research and Training in Suicide Prevention(世界卫生组织自杀预防研究与培训协作中心)

AI总结 本文提出利用大语言模型自动分类危机等级,通过引入语音学注入方法和增强推理训练策略,提升热线服务质量。

Comments 5 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏