arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

Tsinghua University(清华大学)

共收录 4517
2605.08825 2026-07-31 cs.CV 版本更新

Rethinking Event-Based Object Detection through Representation-Level Temporal Aggregation and Model-Level Hypergraph Reasoning

重新思考基于事件的对象检测:通过表示层面的时间聚合和模型层面的超图推理

Meisen Wang, Hao Deng, Wei Bao, Chengjie Wang, Zhiqiang Tian, Shaoyi Du, Siqi Li, Yue Gao

机构 * Xi’an Jiaotong University(西安交通大学) Tsinghua University(清华大学) China Mobile System Integration(中国移动系统集成) Inner Mongolia Agricultural University(内蒙古农业大学)

AI总结 本文提出Ev-DTAD框架,结合表示层面的时间编码与模型层面的时间超图推理,提升事件基于对象检测的准确率与效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.09411 2026-07-31 cs.CV 版本更新

RiO-DETR: DETR for Real-time Oriented Object Detection

RiO-DETR:面向实时的定向目标检测DETR

Zhangchi Hu, Yifan Zhao, Yansong Peng, Wenzhang Sun, Xiangchen Yin, Jie Chen, Peixi Wu, Hebei Li, Xinghao Wang, Dongsheng Jiang, Xiaoyan Sun

机构 * University of Science and Technology of China(中国科学技术大学) Huawei Technologies Co., Ltd.(华为技术有限公司) Tsinghua University(清华大学) Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合国家科学中心人工智能研究院)

AI总结 RiO-DETR通过任务原生设计解决实时定向检测中的角度估计、周期性细化和密集监督问题,实现速度与精度的平衡。

Comments Accepted by ECCV 2026, 31 pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.27081 2026-07-30 cs.AI cs.CL cs.CR cs.LG 新提交

On-Policy Distillation for LLM Safety: A Routing Approach to Template-Robust Realignment

面向大语言模型安全的在线策略蒸馏:一种针对模板鲁棒性的重对齐路由方法

Yongjian Guo, Wanlun Ma, Lingyu Shen, Xi Xiao, Sheng Wen

机构 * Tsinghua University(清华大学) Swinburne University of Technology(斯威本科技大学) EPFL(洛桑联邦理工学院)

AI总结 针对现有LLM安全防御的模板鲁棒性不足等问题,提出ROPD框架,通过建模输出分布差异实现重对齐,大幅降低模板不匹配风险,在防御有效性和能力保留上优于基线方法,建立了新的鲁棒重对齐标准。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.26724 2026-07-30 cs.AI 新提交

UrbanDS: A Graph-Guided LLM Multi-Agent System for Data-Intensive Urban Tasks

UrbanDS:一种用于数据密集型城市任务的图引导大语言模型多智能体系统

Zhilun Zhou, Jianghao Yu, Yuming Lin, yongjun yang, Sun Yongquan, Depeng Jin, Yong Li

机构 * Tsinghua University(清华大学) Jiangmen Municipal Smart Social Governance Technology Innovation Center(江门市智慧社会治理技术创新中心)

AI总结 本研究针对数据密集型城市任务中现有LLM智能体依赖有限数据集的问题,提出图引导多智能体系统UrbanDS,构建基准UrbanDS-Bench验证其性能,该系统已在武汉东西湖城市平台落地应用。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.26642 2026-07-30 cs.AI 新提交

AlphaSchema: Exploring the Space of Trading Semantics for LLM-Based Alpha Mining

AlphaSchema:探索基于大语言模型(LLM)的阿尔法挖掘的交易语义空间

Jingyang Yi, Jian Yang, Yifei Jin, Yuqi Li, Jian Li

机构 * X-Tech Monash University(莫纳什大学) PandaAI(熊猫AI) IIIS, Tsinghua University(清华大学智能产业研究院(IIIS))

AI总结 AlphaSchema构建并探索结构化交易语义空间,通过解耦探索与实施、结合代理模型平衡探索与利用,在中国股市挖掘出强预测与投资组合表现的因子池,且对LLM选择具鲁棒性。

Comments Initial Version

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.26599 2026-07-30 cs.LG 新提交

Uncertainty-Guided LLM Semantic Augmentation for Heterogeneous Treatment Effect Estimation

面向异质处理效应估计的不确定性引导大语言模型语义增强

Jialu Xu, Mengkun Liang, Guannan Liu, Xiaojie Mao, Junjie Wu

机构 * Beihang University(北京航空航天大学) School of Economics and Management, Tsinghua University(清华大学经济管理学院)

AI总结 本研究针对异质处理效应估计的局部不稳定性,提出CURL方法,通过LLM生成分离的分配与异质性导向表示,在四个基准上提升了10种主学习者的性能。

Comments 17 pages, 12 figures, 5 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.26596 2026-07-30 cs.CV cs.AI 新提交

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

解耦视觉处理:通过模态特定Transformer替换实现高效多模态适配

Mingkuan Feng, Zhengqi Wen, Jianhua Tao

机构 * Tsinghua University(清华大学) Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)

AI总结 该研究针对多模态大语言模型视觉指令微调成本高的问题,提出解耦视觉处理框架,替换预训练大语言模型上层解码器为轻量Transformer块,仅训练该块即可在多个基准上实现竞争力性能,降低了计算成本。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25597 2026-07-30 cs.AI 版本更新

A Density-Matrix Framework for Electronic-Structure Analysis of Functional-Group and Salt Effects in Lithium-Metal Electrolytes

用于锂金属电解质中官能团和盐效应电子结构分析的密度矩阵框架

Mingkang Liu, Huize Yu, Yanbin Gao, Nan Yao, Xiang Chen, Lei Shen

机构 * National University of Singapore(新加坡国立大学) Tsinghua University(清华大学) Institute for Carbon Neutrality, Tsinghua University(清华大学碳中和研究院) AI Solid-State Battery Innovation Center(人工智能固态电池创新中心) C Innovation Laboratory (21C LAB), Contemporary Amperex Technology Co., Limited (CATL)(21C创新实验室(21C实验室),宁德时代新能源科技股份有限公司) National University of Singapore Guangzhou Research Translation and Innovation Institute(新加坡国立大学广州研究院) National University of Singapore (Chongqing) Research Institute(新加坡国立大学(重庆)研究院)

AI总结 该研究提出密度矩阵框架EMolStudio,通过集成分子功能化等流程预测分析锂金属电解质电子结构。应用于多种分子和簇,发现分子尺度上功能化的影响及溶剂化壳中阴离子对前沿轨道定位的作用,能将官能团和盐选择转化为相关电子结构假设。

Comments The data needs to be supplemented

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25253 2026-07-30 cs.AI cs.IR 版本更新

The User Asks, Platforms Compete: How Agentic Recommendation Markets Take Shape

用户提问,平台竞争:代理推荐市场如何形成

Deyao Hong, Kehan Zheng, Qian Li, Jun Zhang, Jie Jiang, Hongning Wang

机构 * Tsinghua University(清华大学) Tencent Inc.(腾讯公司)

AI总结 研究基于LLM的代理推荐市场,用户先提需求平台竞争注意力。实验发现新设置在获取与注意力间有紧张关系,竞争引发平台策略行为,关联反馈可增加购买机会,强调设计代理推荐需综合考虑多方面并作为联合机制设计问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.20833 2026-07-30 cs.CL 版本更新

REFACT: Adaptive Fact Restatement for Compact and Faithful Chain-of-Thought Reasoning

REFACT:用于紧凑且忠实的思维链推理的自适应事实重述

Zhensheng Jin, Xin Dai, Zhenghao Liu, Chaojun Xiao, Huiyuan Xie, Yu Gu, Ge Yu, Maosong Sun

机构 * Northeastern University(东北大学) Tsinghua University(清华大学)

AI总结 研究复杂任务中语言模型推理轨迹易偏离上下文的问题,提出REFACT自适应事实重述框架,经两阶段优化,实验证明其能提升长上下文问答等能力,减少令牌消耗,保留更多证据使推理轨迹更优。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04171 2026-07-30 cs.RO cs.LG 版本更新

Teaching Tiny VLA Models Where to Look and How to Move

XS-VLA:将粗粒度空间蒸馏与潜在流匹配相结合用于轻量级机器人控制

Iok Tong Lei, Ying Jie Yap, Wei Huang, Qingchen Xie, Qianzhi Li, Yujie Zhang, Xiaolong Liu, Zhidong Deng

机构 * Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系) National College for Excellent Engineers, Beihang University(北京航空航天大学卓越工程师学院) Wuxi Dexteroushands Robotic Technology Co.(无锡灵犀机器人技术有限公司)

AI总结 提出XS-VLA框架,先通过微调从Qwen3-VL-4B向SmolVLM2-0.25B骨干网蒸馏空间语义知识,再用其增强骨干网训练潜在流匹配策略,提升轻量级机器人控制性能,在LIBERO基准测试中表现出色。

Comments Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24894 2026-07-30 cs.DL cs.AI 版本更新

RWGBench: Evaluating Scholarly Positioning in Related Work Generation

RWGBench:评估相关工作生成中的学术定位

Anzhe Xie, Weihang Su, Jiaxin Mao, Yiqun Liu, Min Zhang, Shaoping Ma, Qingyao Ai

机构 * Tsinghua University(清华大学) Renmin University of China(中国人民大学)

AI总结 针对现有相关工作生成评估依赖文本相似度、忽略学术定位的问题,提出RWGBench基准,从引用决策角度评估引用选择、上下文适当性、组织和话语,揭示标准评估掩盖的系统性局限。

Comments 10 pages, code and data available at https://github.com/BFTree/RWGBench

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25379 2026-07-30 cs.CL 版本更新

StateRAG: Typed State Contracts for Complex Retrieval-Augmented Generation

EfficientGraph-RAG:面向跨任务检索增强生成的结构化检索状态管理

Miaohe Niu, Pengxiang Li, Jingbo Zhu, Tong Xiao

机构 * School of Computer Science and Engineering, Northeastern University, China(东北大学计算机科学与工程学院) Tsinghua University, China(清华大学) Kunming University of Science and Technology, China(昆明理工大学) NiuTrans Research, Shenyang, China(沈阳NiuTrans研究院)

AI总结 提出EfficientGraph-RAG框架,通过显式定义检索状态(TAM、MARS、SMP三个机制)实现结构化状态管理,在多个基准上提升答案质量并降低大模型token消耗。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.03701 2026-07-30 cs.CV 版本更新

VidNum: Diagnosing VLM Failure Modes in Video-Grounded Numerical Reasoning

VidNum-1.4K:一个全面的视频基于数值推理基准

Shaoyang Cui, Lingbei Meng, Yaodi Luo, Peize He

机构 * Department of Psychological and Cognitive Sciences, Tsinghua University(清华大学心理与认知科学系) Shenzhen Loop Area Institute(深圳河套学院)

AI总结 本文提出VidNum-1.4K基准,通过1379个严格人工标注的视频问题对,评估视频基于的数值推理能力,揭示当前VLMs在多步骤逻辑推理上的不足。

Comments 7 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.11140 2026-07-30 cs.CV 版本更新

Hyper-FEOD: Sparse Hypergraph-Enhanced Frame-Event Object Detection with Fine-Grained MoE

稀疏超图增强的帧事件目标检测与细粒度MoE

Wei Bao, Yuehan Wang, Tianhang Zhou, Siqi Li

机构 * BNRist, THUIBCS, BLBCI, School of Software, Tsinghua University(清华大学软件学院,北京信息科学与技术国家研究中心,清华-英特尔先进移动计算中心,北京国家信息科学与技术实验室) State Key Laboratory of Heavy Oil Processing, China University of Petroleum (Beijing)(中国石油大学(北京)重质油国家重点实验室)

AI总结 本文提出Hyper-FEOD框架,通过稀疏超图增强交叉模态融合和细粒度MoE增强模块,实现高效的多模态交互优化,提升动态环境下目标检测的准确率与效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.26807 2026-07-30 cs.IR cs.AI cs.CL 版本更新

GroupRAG: Cognitively Inspired Group-Aware Retrieval and Reasoning via Knowledge-Driven Problem Structuring

GroupRAG: 基于知识驱动的问题结构化进行的认知启发式组感知检索与推理

Xinyi Duan, Yuanrong Tang, Jiangtao Gong

机构 * Tsinghua University(清华大学)

AI总结 GroupRAG通过知识驱动的关键点分组,实现组感知的检索与推理,提升语言模型在现实场景中的表现,实验表明其优于RAG和CoT基线方法。

Comments 9 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.23118 2026-07-30 cs.CV cs.MM 版本更新

SMSP: A Plug-and-Play Strategy of Multi-Scale Perception for MLLMs to Perceive Visual Illusions

SMSP:多尺度感知的插件策略用于MLLMs感知视觉错觉

Jinzhe Tu, Ruilei Guo, Zihan Guo, Junxiao Yang, Shiyao Cui, Minlie Huang

机构 * The Conversational AI (CoAI) group, DCST, Tsinghua University(清华人工智能(CoAI)小组,DCST,清华大学) Tsinghua University(清华大学)

AI总结 本文提出SMSP策略,通过抑制高频背景以提升MLLMs对视觉错觉的识别能力,实验表明其显著提高模型性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.07131 2026-07-30 cs.CV cs.AI 版本更新

Deep Expert Injection for Anchoring Retinal VLMs with Domain-Specific Knowledge

深度专家注入用于带有领域特定知识的视网膜视觉语言模型的锚定

Shuai Lu, Meng Wang, Jia Guo, Jiawei Du, Bo Liu, Shengzhu Yang, Weihang Zhang, Huazhu Fu, Huiqi Li

机构 * Beijing Institute of Technology, Beijing, China(北京理工大学) National University of Singapore, Singapore(新加坡国立大学) Tsinghua University, Beijing, China(清华大学) The Hong Kong Polytechnic University, Hong Kong(香港理工大学)

AI总结 本文提出EyExIn框架,通过深度专家注入机制提升视网膜VLMs的领域知识嵌入能力,解决感知与推理间隙问题,实现高精度眼科视觉问答。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.15684 2026-07-30 cs.CR cs.AI 版本更新

State-Dependent Safety Failures in Multi-Turn Language Model Interaction

多轮语言模型交互中的状态依赖性安全故障

Pengcheng Li, Jie Zhang, Tianwei Zhang, Han Qiu, Zhang kejun, Weiming Zhang, Nenghai Yu, Wenbo Zhou

机构 * School of Cyber Science and Technology, University of Science and Technology of China, China(中国科学技术大学信息科学与技术学院) Nanyang Technological University, Singapore(南洋理工大学) Tsinghua University, Beijing, China(清华大学) Beijing Electronic Science and Technology Institute, Beijing, China(北京电子科技研究所)

AI总结 本文从状态空间视角研究多轮交互中的安全故障,提出STAR框架分析对话历史作为状态转移操作,揭示对齐模型在多轮交互中安全边界穿越的机制。

Comments 9 pages, accepted at the International Conference on Machine Learning (ICML) 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.06228 2026-07-30 cs.CV 版本更新

Low-latency Event-based Object Detection with Spatially-Sparse Linear Attention

低延迟基于事件的对象检测与空间稀疏线性注意力

Haiqing Hao, Zhipeng Sui, Rong Zou, Zijia Dai, Nikola Zubić, Davide Scaramuzza, Wenhui Wang

机构 * Tsinghua University(清华大学) University of Zurich(苏黎世大学) ShanghaiTech University(上海交通大学)

AI总结 本文提出SSLA,一种空间稀疏线性注意力机制,用于提升基于事件的目标检测效率与精度,实现低延迟性能。

Comments 19 pages, 4 figures, 8 tables, ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.06194 2026-07-30 cs.CL cs.AI 版本更新

MICA: Multi-granularity Intertemporal Credit Assignment for Long-Horizon Emotional Support Dialogue

MAPO:混合优势策略优化用于长时多轮对话

Naifan Zhang, Ruihan Sun, Jinwei Su, Hengjie Yang, Zhengyuan Pan, Zhaohan Chen, Xiaofan Zhang

机构 * NatureSelect Tsinghua University(清华大学) South China Normal University(华南师范大学) Xiamen University(厦门大学)

AI总结 MAPO通过混合优势策略优化,利用密集过程反馈和多级归一化,提升长时多轮对话的稳定性和性能,优于传统方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.02259 2026-07-30 cs.CL cs.AI cs.LG 版本更新

MemAgent: Reshaping Long-Context LLM with Multi-Conv RL-based Memory Agent

MemAgent:基于多轮对话强化学习的记忆智能体重构长上下文大语言模型

Hongli Yu, Tinghong Chen, Jiangtao Feng, Jiangjie Chen, Weinan Dai, Qiying Yu, Ya-Qin Zhang, Wei-Ying Ma, Jingjing Liu, Mingxuan Wang, Hao Zhou

机构 * ByteDance Seed(字节跳动种子期) Institute for AI Industry Research (AIR)(人工智能产业研究院) Tsinghua University(清华大学)

AI总结 该研究提出MemAgent智能体工作流,结合扩展的DAPO算法优化长文本任务,实现从8K到3.5M上下文的高效外推,在RULER测试中表现优异。

Comments Accepted to ICLR 2026 as an Oral presentation. OpenReview: https://openreview.net/forum?id=k5nIOvYGCL Project page: https://memagent-sialab.github.io/

Journal ref International Conference on Learning Representations (ICLR), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.26056 2026-07-29 cs.RO 新提交

INTACT: Isomorphic Intent-to-Action Learning for Search-Free World Models

INTACT:用于无搜索世界模型的同构意图到动作学习

Junhan Sun, Hao Zhao, Guofeng Zhang

机构 * State Key Laboratory of CAD&CG, Zhejiang University(浙江大学计算机辅助设计与图形学国家重点实验室) Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院) InSpatio

AI总结 研究针对前向潜在世界模型恢复动作需昂贵搜索的问题,提出INTACT方法,通过特定架构和技术实现意图到动作学习,在多任务上取得高成功率,减少采样并提升性能,还具有快速推理能力。

Comments 28 pages, 11 figures, including appendices

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25993 2026-07-29 cs.CV 新提交

Beyond Zooming: Learning Multi-Tool Visual Reasoning for Ultra-High-Resolution Remote Sensing

超越缩放:学习用于超高分辨率遥感的多工具视觉推理

Fengxiang Wang, Jiangnan Huang, Mingshuo Chen, Yueying Li, Yang Shi, Junwei Luo, Haoyu Wang, Yansheng Li, Jing Zhang, Haiyan Zhao, Wenjing Yang

机构 * National University of Defense Technology(国防科技大学) Wuhan University(武汉大学) Tsinghua University(清华大学)

AI总结 针对超高分辨率遥感图像给多模态大语言模型带来的挑战,提出GeoMTVR数据集,结合监督微调与以工具注意力为重点的强化学习算法开发GeoLens,实验证明其在多工具视觉推理方面优于直接推理和单工具放大基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25962 2026-07-29 cs.CV 新提交

LaP-Forensics: Latent-Pixel Consistency Guided Multimodal Reasoning for Deepfake Detection

LaP-Forensics:用于深度伪造检测的潜在像素一致性引导的多模态推理

Can Wang, Yuhao Wang, Yushe Cao, Canran Xiao, Fei Shen

机构 * The Hong Kong Polytechnic University(香港理工大学) University College London(伦敦大学学院) Tsinghua University(清华大学) Sun Yat-sen University(中山大学) National University of Singapore(新加坡国立大学)

AI总结 研究针对深度伪造检测问题,提出LaP-Forensics多模态框架,利用基于重建的取证证据及结构化模型预测,经组相对策略优化,实现跨生成器检测和伪影定位,实验验证了残差流效用,但后处理下文本忠实性和可靠性有局限。

Comments Accepted at ACM Multimedia 2026 (ACM MM 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25675 2026-07-29 cs.AI 新提交

DecoEvo: Score-Decoupled Co-Evolution of Solver and Rubric-Generator Skills in Text Space

DecoEvo:文本空间中求解器与评分标准生成器技能的分数解耦协同进化

Jiangwang Chen, Zixin Song, Junlin Liu, Shuaiyu Zhou, Haiyan Wu, Haihan Shi, Chenxi Zhou, Hanqing Li, Xiao Yang, Da Zhu, Guanjun Jiang, Hai Wan, Xibin Zhao

机构 * Tsinghua University(清华大学) Qwen Business Unit of Alibaba(阿里巴巴的通义业务部) University of Chinese Academy of Sciences(中国科学院大学) Peking University(北京大学)

AI总结 研究文本空间优化中现有方法瓶颈,提出DecoEvo方法,通过解耦目标协同进化求解器与评分标准生成器技能,不依赖黄金评分标准,在多基准和大语言模型主干上表现优异,有显著相对增益。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25614 2026-07-29 cs.LG cs.CL 新提交

MemSFT: Mitigating Alignment Tax with an External Parametric Memory

MemSFT:使用外部参数内存减轻对齐代价

Jiarui Wang, Xiang Shi, Jiaqi Cao, Rubin Wei, Xiquan Wang, Hao Sun, Jingzhi Wang, Zhiqi Yang, Qipeng Guo, Bowen Zhou, Zhouhan Lin

机构 * Shanghai AI Laboratory(上海人工智能实验室) Tsinghua University(清华大学)

AI总结 研究针对大语言模型应用于特定领域产生的对齐代价问题,提出MemSFT方法,通过参数内存解耦领域专业化与主干参数更新,经多领域多模型评估,能提升领域性能且通用性能下降小,实现通用与专业能力解耦。

Comments 33 pages, 11 figures, 13 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25380 2026-07-29 cs.CL 新提交

Memory for Large Language Models

大语言模型的记忆

Sining Zhoubian, Dan Zhang, Evgeny Kharlamov, Jie Tang

机构 * Tsinghua University(清华大学) National University of Singapore(新加坡国立大学) Bosch AI(博世人工智能)

AI总结 综述对大语言模型中记忆这一基础架构维度进行系统分类,沿表示、更新动态、持久性三个正交轴表征记忆,形式化相关机制,阐明不同内存概念界限,分析混合架构等,为以记忆为中心的LLM设计及未来创新提供基础。

Comments 20 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25299 2026-07-29 cs.LG cs.AI 新提交

Retraction-Free Optimization over the Stiefel Manifold for the LoRA Fine-Tuning

用于LoRA微调的Stiefel流形上无回缩优化

Yuan Zhang, Jiang Hu, Zhijian Lai, Lin Lin, Zaiwen Wen

机构 * Center for Data Science, Peking University(北京大学数据科学中心) Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心) Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心) Department of Mathematics, University of California, Berkeley(美国加州大学伯克利分校数学系) Center for Machine Learning Research and Changsha Institute for Computing and Digital Economy, Peking University(北京大学机器学习研究中心和长沙计算与数字经济研究院)

AI总结 研究针对Stiefel流形优化中现有方法的问题,提出无回缩且无惩罚参数算法,利用相关特性建立收敛保证。将LoRA微调问题转为流形优化问题,引入Manifold-LoRA,经实验验证其在加速训练及下游性能方面的优势。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25270 2026-07-29 cs.CL cs.AI cs.LG 新提交

Where Steering Signals Come From: Activation Source Selection in Activation Steering

转向信号来自何处:激活转向中的激活源选择

Jiaran Ye, Lingxu Ran, Zijun Yao, Chenpeng Wang, Yong Jiang, Lei Hou, Juanzi Li, Liangming Pan

机构 * Peking University(北京大学) Tsinghua University(清华大学) Beijing Academy of Artificial Intelligence(北京智源人工智能研究院) Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院) YiXin-AILab(易信人工智能实验室)

AI总结 研究激活转向中转向信号的来源选择,通过实验表明改变源激活会影响转向成功率,有效转向信号来自执行边界状态,基于此提出尾部减法,揭示转向取决于模型即将做的事而非已出现的内容。

详情

展开后加载摘要…

URL PDF HTML 收藏