arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

Peking University(北京大学)

共收录 239
2504.19683 2026-08-03 cs.RO 版本更新

GPA-RAM: Grasp-Pretraining Augmented Robotic Attention Mamba for Spatial Task Learning

GPA-RAM:用于空间任务学习的抓取预训练增强型机器人注意力Mamba

Juyi Sheng, Yangjun Liu, Sheng Xu, Zhixin Yang, Tiantian Xu, Mengyuan Liu

机构 * State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School(国家一般人工智能重点实验室,北京大学深圳研究生院) Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究所,中国科学院) State Key Laboratory of Internet of Things for Smart City, University of Macau(智慧城市物联网重点实验室,澳门大学)

AI总结 该研究提出GPA-RAM框架,通过GPA增强模仿策略并开发RAM实现高效计算,在多机器人平台的空间操纵任务中显著提升成功率,兼顾精度与实时性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03126 2026-07-31 cs.LG cs.AI 版本更新

ACPO: Asymmetric Credit Policy Optimization via Mode-Local Entropy Surrogate

ACPO:通过细粒度替代熵实现自适应信用策略优化

Zijun Xie, Yuyang You, Yongzhi Li, Enlei Gong, Quan Chen, Yanhua Cheng, Peng Jiang, Binbin Zheng, Xiaolong Liu, Zeyu Chen, Yadong Mu

机构 * Peking University(北京大学) Baidu Inc.(百度公司) Kuaishou Inc(快手公司)

AI总结 研究针对强化学习中稀疏奖励致令牌级信用分配难的问题,提出基于模式局部替代熵的ACPO框架,通过不对称调制策略更新改进信用分配,实验表明其优于多种强化学习基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11719 2026-07-30 cs.CV cs.AI 版本更新

Ouroboros-Spatial: Closing the Data-Model Loop for Spatial Reasoning

Ouroboros-Spatial:闭环数据-模型循环的空间推理

Enhan Zhao, Wei Wu, Yuanrui Zhang, Xueliang Zhao, Di He

机构 * Peking University(北京大学) Ant International(蚂蚁国际) The University of Hong Kong(香港大学)

AI总结 提出Ouroboros-Spatial自演化框架,通过提议器与求解器闭环交互,动态生成与模型能力匹配的训练样本,在六个空间推理基准上以十分之一数据量显著提升Qwen3-VL性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.06256 2026-07-30 cs.AI 版本更新

RedKnot: Efficient Long-Context LLM Serving with Head-Aware KV Reuse and SegPagedAttention

RedKnot: 基于头部感知的KV重用和SegPagedAttention的高效长上下文LLM服务

Yang Liu, Zhaokai Luo, Huayi Jin, Zhiyong Wang, Ruozhou He, Boyu Wang, Guanjie Chen, Tao Xie, Junhao Hu

机构 * Xiaohongshu Inc., China(小红书公司,中国) Peking University(北京大学) Huawei Cloud(华为云)

AI总结 提出RedKnot系统,通过按KV头分解缓存并采用SegPagedAttention,实现位置无关的KV重用、前缀压缩、冷热分离和分布式放置,在不重训练模型的情况下提升资源效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.00537 2026-07-30 cs.RO 版本更新

PACE: Phase-Aware Chunk Execution for Robot Policies with Action Chunking

PACE: 面向动作分块策略的相位感知分块执行方法

Junnan Nie, Jiayi Li, Jiachen Zhang, Junyi Lao, Chenghao Liu, Tianle Zhang, Liang Lin, Songfang Huang

机构 * Peking University(北京大学) JD Explore Academy(京东探索研究院)

AI总结 提出PACE方法,通过在线预测动作分块中的低速过渡点作为重规划边界,自适应选择执行步长,无需重新训练即可提升机器人策略成功率。

Comments 21 pages, 7 figures, 6 tables. Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.04641 2026-07-30 cs.CR cs.CL cs.LG 版本更新

DP-MGTD: Privacy-Preserving Machine-Generated Text Detection via Adaptive Differentially Private Entity Sanitization

DP-MGTD:通过自适应差分隐私实体净化实现隐私保护的机器生成文本检测

Lionel Z. Wang, Yusheng Zhao, Jiabin Luo, Xinfeng Li, Lixu Wang, Yinan Peng, Haoyang Li, XiaoFeng Wang, Wei Dong

机构 * Nanyang Technological University(南洋理工大学) The Hong Kong Polytechnic University(香港理工大学) University of Science and Technology of China(中国科学技术大学) Peking University(北京大学) Hengxin Tech(恒心科技)

AI总结 DP-MGTD通过自适应差分隐私实体净化技术,在保障隐私的前提下实现对机器生成文本的高精度检测。

Comments This article is unable to reproduce the experimental results, and we no longer have confidence in the main conclusion of this article

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.19341 2026-07-29 cs.LG cs.AI 版本更新

Structured Scaling of AI Discovery Across Diverse Scientific Domains

基于评估的科学发现扩展

Haotian Ye, Haowei Lin, Jingyi Tang, Yizhen Luo, Rahul Thapa, Caiyin Yang, Chang Su, Rui Yang, Ruihua Liu, Rundao Li, Zeyu Li, Pengwei Sun, Chong Gao, Dachao Ding, Guangrong He, Miaolei Zhang, Lina Sun, Wenyang Wang, Yuchen Zhong, Zhuohao Shen, Puheng Li, Pan Lu, Bianxiao Cui, Di He, Jianzhu Ma, Junfeng Li, Hexi Baoyin, Yejin Choi, Stefano Ermon, Xiaowen Chu, Tongyang Li, Yuzhi Xu, James Zou

机构 * Wizard Intelligence Learning Lab, Stanford University(智能巫师学习实验室,斯坦福大学) Peking University(北京大学) Tsinghua University(清华大学) The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))

AI总结 本文提出SimpleTES框架,通过并行探索、反馈驱动精炼和局部选择,提升评估驱动的发现循环效率,解决科学发现扩展问题,展示在21个科学问题上超越基线模型的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.18047 2026-07-29 cs.CV cs.LG 版本更新

CityGuard: Graph-Aware Private Descriptors for Bias-Resilient Identity Search Across Urban Cameras

CityGuard:图感知的隐私保护描述符用于城市摄像头间鲁棒的身份搜索

Rong Fu, Yibo Meng, Jia Yee Tan, Rui Lu, Jiekai Wu, Simon Fong

机构 * University of Macau(澳门大学) Tsinghua University(清华大学) Renmin University of China(中国人民大学) Shanghai AI Laboratory(上海人工智能实验室) The Hong Kong University of Science and Technology(香港科技大学) Juntendo University(顺天堂大学) Peking University(北京大学)

AI总结 CityGuard通过图感知变换器实现隐私保护的身份检索,结合适应性度量学习、空间条件注意力和差分隐私嵌入,提升跨摄像头身份检索的鲁棒性与隐私保护能力。

Comments 36 pages, 12 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.17071 2026-07-29 cs.LG cs.AI 版本更新

AdvSynGNN: Structure-Adaptive Graph Neural Nets via Adversarial Synthesis and Self-Corrective Propagation

AdvSynGNN:通过对抗合成与自我纠正传播实现结构自适应的图神经网络

Rong Fu, Chunlei Meng, Shuo Yin, Kun Liu, Simon Fong

机构 * University of Macau(澳门大学) Peking University(北京大学) Fudan University(复旦大学) Tsinghua University(清华大学) University of Southampton(南安普顿大学)

AI总结 本文提出AdvSynGNN,通过对抗合成与自我纠正传播实现结构自适应的图神经网络,提升在结构噪声和非同质拓扑下的鲁棒性。

Comments 32 pages, 8 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.23541 2026-07-29 cs.CL 版本更新

Med-R$^3$: Enhancing Medical Retrieval-Augmented Reasoning of LLMs via Progressive Reinforcement Learning

Med-R$^3$:通过渐进强化学习增强LLMs的医学检索增强推理

Keer Lu, Zheng Liang, Youquan Li, Jiejun Tan, Da Pan, Shusen Zhang, Guosheng Dong, Bin Cui, Yunhuai Liu, Wentao Zhang

机构 * Peking University(北京大学) Baichuan Inc.(北川科技公司)

AI总结 Med-R$^3$ 通过渐进强化学习提升医疗场景下LLMs的检索增强推理能力,实现检索与推理的协同优化。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.00344 2026-07-29 cs.CL 版本更新

PilotRL: Training Language Model Agents via Global Planning-Guided Progressive Reinforcement Learning

PilotRL: 通过全局规划引导的渐进式强化学习训练语言模型代理

Keer Lu, Chong Chen, Bin Cui, Yunhuai Liu, Wentao Zhang

机构 * Peking University(北京大学) Huawei Cloud BU(华为云业务部)

AI总结 PilotRL通过全局规划引导的渐进式强化学习训练语言模型代理,提升长周期决策能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.09733 2026-07-29 cs.CL cs.CV 版本更新

VisRAG2.0: Mitigating Visual Hallucinations via Evidence-Guided Multi-Image Reasoning in Visual Retrieval-Augmented Generation

VisRAG2.0:通过视觉检索增强生成中的证据引导多图像推理减轻视觉幻觉

Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

机构 * School of Software and Microelectronics, Peking University, China(北京大学软件与微电子学院) School of Computer Science and Engineering, Northeastern University, China(东北大学计算机科学与工程学院) Department of Computer Science and Technology, Institute for AI, Tsinghua University, China(清华大学人工智能研究院计算机科学与技术系)

AI总结 研究针对视觉检索增强生成中VLM存在的视觉幻觉及证据识别问题,提出证据引导的多图像推理框架EVisRAG,引入RS-GRPO改进训练,实验表明该方法能提升性能、减少幻觉,有效提高视觉基础和推理可靠性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.16692 2026-07-28 cs.SE cs.CL 版本更新

Dependency-Guided Code Generation: Structured Matrix Decomposition and Consistency-Guided Refinement

依赖引导的代码生成:结构化矩阵分解与一致性引导的细化

Mingqiao Mo, Yangchen Zeng, Zikai Xiao, Xin Xiao, Wenhua Nie, Zhaolu Kang, Guangyuan Dong, Kai Shu, Hao Zhang, Xiaodong Fan

机构 * University of the Chinese Academy of Sciences(中国科学院大学) ByteDance Inc.(字节跳动公司) Zhejiang University(浙江大学) National Taiwan University(台湾国立大学) Peking University(北京大学) Alibaba Group(阿里巴巴集团) Tsinghua University(清华大学) Liaoning Technical University(辽宁技术大学)

AI总结 针对现有代码生成方法无法充分捕捉代码实体依赖关系的问题,提出依赖感知代码生成框架,通过结构化矩阵分解和一致性引导细化生成代码,经实验验证该方法能生成语义对齐和结构保真度更高的代码。

Comments 12 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.09515 2026-07-28 cs.CL 版本更新

SERM: Self-Evolving Relevance Model with Agent-Driven Learning from Massive Query Streams

SERM:具有代理驱动学习的自演化相关性模型

Chenglong Wang, Canjia Li, Xingzhao Zhu, Yifu Huo, Huiyu Wang, Weixiong Lin, Yun Yang, Qiaozhi He, Tianhua Zhou, Xiaojia Chang, Jingbo Zhu, Tong Xiao

机构 * Northeastern University, Shenyang, China(东北大学,沈阳,中国) ByteDance(字节跳动) Peking University(北京大学)

AI总结 针对大规模查询流中相关性模型泛化能力不足的问题,SERM通过多代理模块检测分布偏移并生成可靠标签,实现迭代自演化提升性能。

Comments Accepted by Findings of ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.06550 2026-07-28 cs.CR cs.AI 版本更新

SkillSieve: A Hierarchical Triage Framework for Detecting Malicious AI Agent Skills

SkillSieve:一种用于检测恶意AI代理技能的分层分流框架

Yinghan Hou, Zongyou Yang

机构 * Department of Earth Science and Engineering(地球科学与工程系) Imperial College London(帝国理工学院伦敦分校) Department of Computer Science(计算机科学系) University College London(伦敦大学学院) Lingban Technology Co., Ltd.(灵伴科技有限公司) State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室)

AI总结 提出SkillSieve三层检测框架,通过启发式评分、LLM子任务分析和多LLM陪审团辩论,高效检测恶意AI代理技能,在390个技能基准上达到F1=0.920。

Comments 10 pages, 2 figures, 6 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.01335 2026-07-28 cs.CL cs.AI 版本更新

LEDOM: Reverse Language Model

LEDOM:反向语言模型

Xunjian Yin, Sitao Cheng, Yuxi Xie, Xinyu Hu, Li Lin, Xinyi Wang, Liangming Pan, William Yang Wang, Xiaojun Wan

机构 * Peking University(北京大学) University of California, Santa Barbara(加州大学圣芭芭拉分校) University of Arizona(亚利桑那大学) National University of Singapore(新加坡国立大学)

AI总结 LEDOM是一种反向自回归语言模型,通过反向训练获得独特能力,如演绎推理和解决反转诅咒,并在多个基准测试中提升了性能。

Comments Work in progress; Models can be found at: https://huggingface.co/Corning/Reverse-Model-7B-348B/tree/main

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.04266 2026-07-28 eess.SP cs.LG 版本更新

Aortic Valve Disease Screening from PPG via Physiology-Guided Self-Supervised Learning

通过生理引导的自监督学习检测PPG中的主动脉瓣疾病

Jiaze Wang, Qinghao Zhao, Zizheng Chen, Zhejun Sun, Deyun Zhang, Yuxi Zhou, Shenda Hong

机构 * Department of Computer Science, Tianjin University of Technology(天津理工大学计算机科学系) National Institute of Health Data Science, Peking University(北京大学国家健康数据科学研究院) Department of Cardiology, Peking University People’s Hospital(北京大学人民医院心内科) HeartVoice Medical Technology(心声医疗科技) DCST, BNRist, RIIT, Institute of Internet Industry, Tsinghua University(清华大学计算机科学与技术系、北京人工智能研究所、互联网产业研究所) Institute of Medical Technology, Peking University Health Science Center(北京大学健康科学中心医学技术研究所) Institute for Artificial Intelligence, Peking University(北京大学人工智能研究所) State Key Laboratory of Vascular Homeostasis and Remodeling, NHC Key Laboratory of Cardiovascular Molecular Biology and Regulatory Peptides, Peking University(北京大学血管稳态与重塑国家重点实验室、国家心血管分子生物学与调节肽重点实验室)

AI总结 本文提出基于生理引导的自监督学习方法,利用大量未标记PPG数据高效筛查主动脉狭窄和反流,实现优于传统监督学习的检测性能。

Comments 33 pages, 8 figures. Under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.07889 2026-07-28 cs.CL 版本更新

BioProBench: A Corpus and Benchmark for Biological Protocol Reasoning in Autonomous Science

BioProBench: 一个全面的数据集和生物协议理解与推理基准

Yuyang Liu, Liuzhenghao Lv, Xiancheng Zhang, Jingya Wang Li Yuan, Yonghong Tian

机构 * School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院) School of Chemical Biology&Biotechnology, Peking University(北京大学化学生物学与生物技术学院)

AI总结 BioProBench通过构建大规模数据集和基准,提升生物协议理解与推理的LLM性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.12940 2026-07-28 cs.CV 版本更新

Recurrent Autoregressive Diffusion: Global Memory Meets Local Attention

循环自回归扩散:全局记忆与局部注意力相结合

Taiye Chen, Zihan Ding, Anjian Li, Christina Zhang, Zeqi Xiao, Yisen Wang, Chi Jin

机构 * Peking University(北京大学) Princeton University(普林斯顿大学) Nanyang Technological University(南洋理工大学)

AI总结 研究针对超长视频生成中现有模型的不足,提出循环自回归扩散(RAD)框架,结合循环块与局部注意力,解决训练推理差距等问题,在相关数据集实验中展现出长视频生成的优越性。

Comments Published at ECCV 2026. Project page: https://yeyutaihan.github.io/recurrent-autoregressive-diffusion/

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21448 2026-07-27 cs.CV 版本更新

GrainGS: Gradient-Decoupled Gaussian Splatting for Efficient Dynamic Novel View Synthesis

GrainGS:用于高效动态新视图合成的梯度解耦高斯点云渲染

Jiahao He, Yihua Shao, Zhengkai Zhao, Pan Gao, Fei Ma, Jingcai Guo, Hao Tang, Nicu Sebe, Qi Tian

机构 * College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics(南京航空航天大学人工智能学院) Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) Department of Computing, Hong Kong Polytechnic University(香港理工大学计算学系) School of Computer Science, Peking University(北京大学计算机科学学院) Guangdong Laboratory of Artificial Intelligence and Digital Economy(广东省人工智能与数字经济实验室) Huawei Consumer Business Group, Huawei(华为消费者业务集团) Department of Information Engineering and Computer Science, University of Trento(特伦托大学信息工程与计算机科学系)

AI总结 针对动态场景重建问题,GrainGS结合分层锚点框架与高斯变形,通过静态预热、停止梯度操作等实现各高斯独立预测时间偏移及规范-残差外观分解,在合成和真实多视图基准测试中展现出高重建质量、实时渲染及紧凑存储等优势。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.16617 2026-07-27 cs.SE cs.AI 版本更新

DataFlow-Harness: A Grounded Code-Agent Platform for Constructing Editable LLM Data Pipelines

DataFlow-Harness:用于构建可编辑大语言模型数据管道的基础代码代理平台

Runming He, Zhen Hao Wong, Hao Liang, Zimo Meng, Chengyu Shen, Xiaochen Ma, Wentao Zhang

机构 * Peking University(北京大学) Institute for Advanced Algorithms Research(先进算法研究所) Zhongguancun Academy(中关村学院)

AI总结 研究针对大语言模型数据处理工作流中编码代理脚本无法自动转化为可编辑工件的问题,提出DataFlow-Harness平台,通过类型化增量突变引导构建DAG,结合多种技术,在数据工程基准测试中取得高通过率,降低成本和延迟。

Comments 13 pages, 2 figures, and 5 tables. Technical report

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.12572 2026-07-27 cs.CL 版本更新

LMEB: Long-horizon Memory Embedding Benchmark

LMEB:长周期记忆嵌入基准

Xinping Zhao, Xinshuo Hu, Jiaxin Xu, Danyu Tang, Xin Zhang, Mengjia Zhou, Yan Zhong, Yao Zhou, Zifei Shan, Meishan Zhang, Baotian Hu, Min Zhang

机构 * Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)) Shenzhen Loop Area Institute (SLAI)(深圳环湖研究院) Peking University(北京大学)

AI总结 本文提出LMEB基准,用于评估复杂长周期记忆检索任务,涵盖22个数据集和193个零样本任务,揭示大模型并不总优于小模型,且传统检索能力不等同于长周期记忆能力。

Comments 35 pages, 9 figures, 23 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2410.00713 2026-07-27 cs.CV 版本更新

RAD: A Dataset and Benchmark for Real-Life Anomaly Detection with Robotic Observations

RAD:面向机器人观测的真实异常检测数据集与基准

Kaichen Zhou, Xinhai Chang, Taewhan Kim, Jiadong Zhang, Yang Cao, Chufei Peng, Fangneng Zhan, Hao Zhao, Hao Dong, Kai Ming Ting, Ye Zhu

机构 * Massachusetts Institute of Technology(麻省理工学院) Peking University(北京大学) Carnegie Mellon University(卡内基梅隆大学) Great Bay University(大湾大学) Harvard University(哈佛大学) Tsinghua University(清华大学) Nanjing University(南京大学) Deakin University(德克萨斯大学)

AI总结 提出RAD数据集,包含13类日常物体和4种缺陷,从60多个机器人视角在非受控光照下采集,用于评估2D特征、3D重建和视觉语言模型在姿态无关的异常检测中的表现,发现2D方法优于3D和VLM方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.13899 2026-07-27 cs.CV 版本更新

CARE: Anti-entanglement Ultrasound Image Segmentation via Channel-Aware Region Extrication

CARE:通过通道感知区域提取实现抗纠缠超声图像分割

Weixin Xu, Yuting Lu, Luqi Gong, Qing Guo, Ziliang Wang, Yun Xing

机构 * Beihang University(北航) Peking University(北京大学)

AI总结 研究针对超声图像分割中目标与背景纠缠问题,提出通道感知区域提取(CARE)框架,通过分离编码响应及区域交互恢复病变线索,在多个基准实验中表现卓越,有效解决了视觉模糊性问题。

Comments 10 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.09635 2026-07-24 cs.CL 版本更新

K12-KGraph: A Curriculum-Aligned Knowledge Graph for Benchmarking and Training Educational LLMs

K12-KGraph:一种对齐课程的图谱用于基准测试和训练教育大语言模型

Hao Liang, Qihan Lin, Zhaoyang Han, Xiaochen Ma, Zhen Hao Wong, Meiyi Qiang, Linzhuang Sun, Wentao Zhang

机构 * Peking University(北京大学) Institute for Advanced Algorithms Research(先进算法研究所) OriginHub Technology(OriginHub技术) Zhongguancun Academy(中关村学院)

AI总结 本文提出K12-KGraph,基于中小学教材构建的课程对齐知识图谱,用于构建多选基准测试K12-Bench和训练数据集K12-Train,验证课程结构监督在教育模型训练中的高效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.21778 2026-07-24 cs.NE cs.LG 版本更新

Error Amplification Limits ANN-to-SNN Conversion in Continuous Control

误差放大限制了连续控制中的ANN到SNN转换

Zijie Xu, Zihan Huang, Yiting Dong, Kang Chen, Wenxuan Liu, Zhaofei Yu

机构 * Institute for Artificial Intelligence, Peking University, Beijing, China(人工智能研究院,北京大学,北京,中国) Beijing Key Laboratory of Brain-inspired Spiking Large Models, School of Computer Science, Peking University, Beijing, China(脑启发式脉冲大规模模型北京重点实验室,计算机科学学院,北京大学,北京,中国)

AI总结 针对连续控制中ANN到SNN转换性能差的问题,提出跨步残差电位初始化(CRPI)机制,通过抑制时间相关误差恢复性能。

Comments Accepted by ICML2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.16615 2026-07-24 cs.CV 版本更新

Trainable Log-linear Sparse Attention for Efficient Diffusion Transformers

用于高效扩散变压器的可训练对数线性稀疏注意力

Yifan Zhou, Zeqi Xiao, Tianyi Wei, Shuai Yang, Xingang Pan

机构 * S-Lab, Nanyang Technological University(南洋理工大学S实验室) Wangxuan Institute of Computer Technology, Peking University(北京大学王萱计算机技术研究所)

AI总结 研究针对扩散变压器二次自注意力成本限制长序列扩展问题,提出可训练的对数线性稀疏注意力机制LLSA,通过分层结构降低成本,经实验验证其能加速注意力推理和DiT训练,为高效训练长序列DiTs提供方向。

Comments Code is available at: https://github.com/SingleZombie/LLSA

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18865 2026-07-23 quant-ph cs.LG physics.chem-ph physics.comp-ph 版本更新

Enhanced Neural Quantum State via Annealed Gradient Descent

通过退火梯度下降增强神经量子态

Shiwei Zhou, Yiming Huang, Xiao Yuan, Xiaoxia Cai

机构 * Institute of High Energy Physics, Chinese Academy of Sciences, Beijing 100049, China(中国科学院高能物理研究所) China Center of Advanced Science(中国先进科学研究中心) Center on Frontiers of Computing Studies, School of Computer Science, Peking University, Beijing 100871, China(前沿计算研究中心,北京大学计算机学院)

AI总结 研究针对神经量子态实际精度受随机优化限制的问题,提出退火梯度下降方法,通过增加低概率构型贡献,抑制亚稳态捕获,使紧凑神经量子态在多模型上达到化学精度和先进性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.25674 2026-07-23 cs.CL cs.IR 版本更新

BitNet Text Embeddings

BitNet 文本嵌入

Zhen Li, Xin Huang, Liang Wang, Nan Yang, Ting Song, Yan Xia, Xun Wu, Shaohan Huang, Huishuai Zhang, Furu Wei, Dongyan Zhao

机构 * Peking University(北京大学) Microsoft Research(微软研究院)

AI总结 提出BITEMBED框架,通过将预训练LLM转换为BitNet风格编码器并联合训练,实现低比特文本嵌入,在MMTEB基准上性能接近全精度模型,同时降低存储和计算开销。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.00337 2026-07-23 cs.LG 版本更新

FES-FM: Free Energy Surface Sampling via Reduced Flow Matching

通过降维流匹配进行自由能表面采样

Zichen Liu, Tiejun Li

机构 * Center for Data Science, Peking University(北京大学数据科学中心) School of Mathematical Sciences, Peking University(北京大学数学科学学院) Center for Machine Learning Research, Peking University(北京大学机器学习研究中心)

AI总结 本文提出FES-FM方法,通过在集体变量空间中训练动力学传输映射,实现自由能表面的高效采样,同时利用Hessian构造先验分布,提升计算效率和准确性。

详情

展开后加载摘要…

URL PDF HTML 收藏