arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

Shanghai Jiao Tong University(上海交通大学)

共收录 3172
2602.11686 2026-02-13 cs.DC cs.LG

LAER-MoE: Load-Adaptive Expert Re-layout for Efficient Mixture-of-Experts Training

LAER-MoE:负载自适应专家重新布局用于高效混合专家训练

Xinyi Liu, Yujie Wang, Fangcheng Fu, Xuefeng Xiao, Huixia Li, Jiashi Li, Bin Cui

机构 * Peking University(北京大学) Shanghai Jiao Tong University(上海交通大学)

AI总结 LAER-MoE通过负载自适应专家重新布局提升混合专家模型训练效率,实现1.69倍加速。

Comments 19 pages, 12 figures, the paper will be presented at ASPLOS 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.11524 2026-02-13 cs.LG cs.AI cs.CL

Adaptive Milestone Reward for GUI Agents

自适应里程碑奖励用于GUI代理

Congmin Zheng, Xiaoyun Mo, Xinbei Ma, Qiqiang Lin, Yin Zhao, Jiachen Zhu, Xingyu Lou, Jun Wang, Zhaoxiang Wang, Weiwen Liu, Zhuosheng Zhang, Yong Yu, Weinan Zhang

机构 * Shanghai Jiao Tong University(上海交通大学) OPPO Research Institute(OPPO研究院)

AI总结 ADMIRE通过自适应里程碑奖励机制,解决长周期任务中奖励保真度与密度的矛盾,提升GUI代理的成功率和泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.11494 2026-02-13 cs.CV

Arbitrary Ratio Feature Compression via Next Token Prediction

通过下一个标记预测实现任意比例特征压缩

Yufan Liu, Daoyuan Ren, Zhipeng Zhang, Wenyang Luo, Bing Li, Weiming Hu, Stephen Maybank

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institution of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院) School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院) CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心) People AI, Inc.(People AI公司) School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院) School of Computer Science and Mathematics, Birkbeck College, University of London(伦敦大学伯克贝克学院计算机科学与数学学院)

AI总结 本文提出了一种通过下一个标记预测实现任意比例特征压缩的框架,解决了传统方法在灵活性和通用性上的不足,通过引入混合解决方案和实体关系图约束模块,提升了压缩特征的质量和鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.11455 2026-02-13 cs.AI

Credit Where It is Due: Cross-Modality Connectivity Drives Precise Reinforcement Learning for MLLM Reasoning

应得之 credit:跨模态连接驱动精确强化学习用于 MLLM 推理

Zhengbo Jiao, Shaobo Wang, Zifan Zhang, Wei Wang, Bing Zhao, Hu Wei, Linfeng Zhang

机构 * AI DATA, Alibaba Group Holding Limited(阿里数据,阿里巴巴集团控股有限公司) EPIC Lab, SJTU(EPIC实验室,上海交通大学)

AI总结 通过跨模态连接驱动精确强化学习,提升多模态大语言模型的推理能力,仅引入1.2%开销即超越基线模型。

Comments 20pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.11212 2026-02-13 cs.LG

Towards Compressive and Scalable Recurrent Memory

面向压缩和可扩展的递归记忆

Yunchong Song, Jushi Kai, Liming Lu, Kaixi Qiu, Zhouhan Lin

机构 * LUMIA Lab(LUMIA实验室) School of Artificial Intelligence(人工智能学院) Shanghai Jiao Tong University(上海交通大学) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) Shanghai Innovation Institute(上海创新研究院)

AI总结 Elastic Memory通过引入基于HiPPO框架的新型记忆架构,在长上下文任务中实现了更高效的压缩和可扩展性,优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.13458 2026-02-13 stat.ML cs.AI cs.LG math.ST stat.TH

Labels or Preferences? Budget-Constrained Learning with Human Judgments over AI-Generated Outputs

标签还是偏好?在AI生成输出上的人类判断下的预算受限学习

Zihan Dong, Xiaotian Hou, Ruijia Wu, Linjun Zhang

机构 * Rutgers University(罗切斯特大学) University of Pennsylvania(宾夕法尼亚大学) Shanghai Jiao Tong University(上海交通大学)

AI总结 本文提出PCAL方法,通过半参数推断框架解决AI生成输出中预算受限学习问题,提供统计高效且鲁棒的估计器。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.03192 2026-02-13 cs.CL

MemRL: Self-Evolving Agents via Runtime Reinforcement Learning on Episodic Memory

MemRL: 通过运行时强化学习在事件记忆上实现自我进化代理

Shengtao Zhang, Jiaqian Wang, Ruiwen Zhou, Junwei Liao, Yuchen Feng, Zhuo Li, Yujie Zheng, Weinan Zhang, Ying Wen, Zhiyu Li, Feiyu Xiong, Yutao Qi, Bo Tang, Muning Wen

机构 * Shanghai Jiao Tong University, Shanghai, China(上海交通大学) Xidian University, Xi'an, China(西安电子科技大学) National University of Singapore, Singapore(新加坡国立大学) Shanghai Innovation Institute, Shanghai, China(上海创新研究院) MemTensor (Shanghai) Technology Co., Ltd., Shanghai, China(MemTensor(上海)科技有限公司) University of Science and Technology of China, Hefei, China(中国科学技术大学)

AI总结 MemRL通过运行时强化学习在事件记忆上实现自我进化,解决稳定性与可塑性矛盾,实现持续改进。

Comments 41 pages, 11 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2403.17770 2026-02-13 eess.IV cs.CV

CT Synthesis with Conditional Diffusion Models for Abdominal Lymph Node Segmentation

基于条件扩散模型的CT合成用于腹部淋巴结分割

Yongrui Yu, Hanyu Chen, Zitian Zhang, Qiong Xiao, Wenhui Lei, Linrui Dai, Yu Fu, Hui Tan, Guan Wang, Peng Gao, Xiaofan Zhang

机构 * Shanghai Jiao Tong University, Shanghai, China(上海交通大学) Department of Surgical Oncology and General Surgery, Key Laboratory of Precision Diagnosis and Treatment of Gastrointestinal Tumors, Ministry of Education, The First Hospital of China Medical University, Shenyang, China(外科肿瘤科和普通外科,精准诊断与治疗胃肠肿瘤国家重点实验室,教育部,中国医科大学第一附属医院,沈阳,中国) Department of Radiology, The First Hospital of China Medical University, Shenyang, China(放射科,中国医科大学第一附属医院,沈阳,中国) Shanghai AI Laboratory, Shanghai, China(上海人工智能实验室,上海,中国)

AI总结 本文提出LN-DDPM模型,通过条件扩散模型生成腹部淋巴结数据,提升分割性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.10863 2026-02-12 cs.LG cs.AI

ICA: Information-Aware Credit Assignment for Visually Grounded Long-Horizon Information-Seeking Agents

ICA: 信息感知的信用分配用于基于视觉的长周期信息寻求智能体

Cong Pang, Xuyu Feng, Yujie Yi, Zixuan Chen, Jiawei Hong, Tiankuo Yao, Nang Yuan, Jiapeng Luo, Lewei Lu, Xin Lou

机构 * Shanghai Jiao Tong University(上海交通大学) ShanghaiTech University(上海科技大学) Wuhan University(武汉大学) SenseTime Research(商汤科技研究院)

AI总结 本文提出ICA方法,通过视觉快照和信息层面信用分配,提升开放网络环境中信息寻求智能体的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.20280 2026-02-12 cs.CL cs.AI

Context-level Language Modeling by Learning Predictive Context Embeddings

通过学习预测上下文嵌入进行上下文级语言建模

Beiya Dai, Yuliang Liu, Daozheng Xue, Yunchong Song, Qipeng Guo, Kai Chen, Xinbing Wang, Bowen Zhou, Zhouhan Lin

机构 * LUMIA Lab(LUMIA实验室) School of Artificial Intelligence(人工智能学院) Shanghai Jiao Tong University(上海交通大学) Shanghai AI Laboratory(上海人工智能实验室) Tsinghua University(清华大学) Nanjing University(南京大学)

AI总结 ContextLM通过学习预测上下文嵌入,提升多令牌预测能力,实现更高效的参数和训练效率,同时在下游任务中表现更优。

Comments 19pages,6 figures, 13 Tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.10583 2026-02-12 cs.AI

Flow of Spans: Generalizing Language Models to Dynamic Span-Vocabulary via GFlowNets

动态跨度的流动:通过GFlowNets泛化语言模型到动态跨度词典

Bo Xue, Yunchong Song, Fanghao Shao, Xuekai Zhu, Lin Chen, Luoyi Fu, Xinbing Wang, Zhouhan Lin

机构 * LUMIA Lab(LUMIA实验室) School of Artificial Intelligence(人工智能学院) Shanghai Jiao Tong University(上海交通大学) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) Shanghai Innovation Institute(上海创新研究院)

AI总结 本文提出FOSS,一种基于GFlowNets的跨度生成框架,通过动态跨度词典和DAG结构状态空间提升语言模型的生成能力与泛化性能。

Comments Published as a conference paper at ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.10513 2026-02-12 cs.CV cs.AI

1%>100%: High-Efficiency Visual Adapter with Complex Linear Projection Optimization

1%>100%: 高效视觉适配器与复杂线性投影优化

Dongshuo Yin, Xue Yang, Deng-Ping Fan, Shi-Min Hu

机构 * BNRist, Department of Computer Science Technology, Tsinghua University, Beijing, China School of Automation Intelligent Sensing, Shanghai Jiao Tong University, Shanghai, China Nankai lnternational Advanced Research Institute (Shenzhen Futian) \& SLAI, Shenzhen, China

AI总结 CoLin通过复杂线性投影优化,以仅1%参数实现视觉基础模型高效适应,超越传统微调方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.08971 2026-02-12 cs.CV cs.RO

WorldArena: A Unified Benchmark for Evaluating Perception and Functional Utility of Embodied World Models

WorldArena: 一个用于评估具身世界模型感知与功能效用的统一基准

Yu Shang, Zhuohang Li, Yiding Ma, Weikang Su, Xin Jin, Ziyou Wang, Lei Jin, Xin Zhang, Yinzhou Tang, Haisheng Su, Chen Gao, Wei Wu, Xihui Liu, Dhruv Shah, Zhaoxiang Zhang, Zhibo Chen, Jun Zhu, Yonghong Tian, Tat-Seng Chua, Wenwu Zhu, Yong Li

机构 * Tsinghua University, Beijing, China(清华大学) Shanghai Jiao Tong University, Shanghai, China(上海交通大学) The University of Hong Kong, Hong Kong SAR, China(香港大学) Princeton University, Princeton, NJ, USA(普林斯顿大学) Chinese Academy of Sciences, Beijing, China(中国科学院) University of Science(科学技术大学) Peking University, Beijing, China(北京大学) National University of Singapore, Singapore(新加坡国立大学)

AI总结 WorldArena是一个统一的基准,用于评估具身世界模型的感知和功能效用,揭示高视觉质量与强具身任务能力之间的差距。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.00891 2026-02-12 cs.CV

Accelerating Streaming Video Large Language Models via Hierarchical Token Compression

通过分层令牌压缩加速流式视频大型语言模型

Yiyu Wang, Xuyang Liu, Xiyan Gui, Xinying Lin, Boxue Yang, Chenfei Liao, Tailai Chen, Linfeng Zhang

机构 * EPIC Lab, Shanghai Jiao Tong University(上海交通大学EPIC实验室) Sichuan University(四川大学) Huazhong University of Science and Technology(华中科技大学) Sun Yat-sen University(中山大学) Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))

AI总结 STC通过分层令牌压缩技术,显著降低流式视频大语言模型的处理延迟,同时保持高精度。

Comments Code is avaliable at \url{https://github.com/lern-to-write/STC}

详情

展开后加载摘要…

URL PDF HTML 收藏
2504.09221 2026-02-12 cs.HC cs.LG

CMCRD: Cross-Modal Contrastive Representation Distillation for Emotion Recognition

CMCRD:跨模态对比表示蒸馏用于情绪识别

Siyuan Kan, Huanyu Wu, Zhenyao Cui, Fan Huang, Xiaolong Xu, Dongrui Wu

机构 * Key Laboratory of Image Processing and Intelligent Control, Ministry of Education, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(图像处理与智能控制重点实验室、教育部、自动化学院、华中科技大学) Wuhan Institute of Digital Engineering(武汉数字工程研究所) Shanghai Jiao Tong University(上海交通大学)

AI总结 CMCRD通过跨模态对比表示蒸馏提升情绪识别准确性,减少多模态数据需求,实验表明在EEG和眼动数据间相互辅助训练可提高分类准确率约6.2%。

Journal ref IEEE Trans. on Affective Computing, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.10093 2026-02-11 cs.RO

UniVTAC: A Unified Simulation Platform for Visuo-Tactile Manipulation Data Generation, Learning, and Benchmarking

UniVTAC:一种用于视觉-触觉操作数据生成、学习和评估的统一仿真平台

Baijun Chen, Weijie Wan, Tianxing Chen, Xianda Guo, Congsheng Xu, Yuanyang Qi, Haojie Zhang, Longyan Wu, Tianling Xu, Zixuan Li, Yizhe Wu, Rui Li, Xiaokang Yang, Ping Luo, Wei Sui, Yao Mu

机构 * ScaleLab, Shanghai Jiao Tong University(上海交通大学ScaleLab) D-Robotics ViTai Robotics The University of Hong Kong(香港大学) Nanjing University(南京大学) Shenzhen University(深圳大学) Wuhan University(武汉大学) Fudan University(复旦大学) Tsinghua University(清华大学)

AI总结 UniVTAC提出了一种统一的视觉-触觉数据生成平台,通过训练触觉中心的编码器和基准任务提升机器人操作的成功率。

Comments Website: https://univtac.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09934 2026-02-11 cs.CV

VersaViT: Enhancing MLLM Vision Backbones via Task-Guided Optimization

VersaViT: 通过任务引导优化增强MLLM视觉骨干

Yikun Liu, Yuan Liu, Shangzhe Di, Haicheng Wang, Zhongyin Zhao, Le Tian, Xiao Zhou, Jie Zhou, Jiangchao Yao, Yanfeng Wang, Weidi Xie

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University, China(上海交通大学人工智能学院) CMIC, Shanghai Jiao Tong University, China(上海交通大学计算机学院) WeChat AI, Tencent Inc., China(腾讯公司)

AI总结 VersaViT通过任务引导优化增强MLLM视觉骨干,解决其在密集预测任务中的性能问题,提升视觉任务的适应性与表现。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09893 2026-02-11 cs.RO cs.AI

TaCo: A Benchmark for Lossless and Lossy Codecs of Heterogeneous Tactile Data

TaCo: 一种用于异构触觉数据无损和有损编解码器的基准测试

Zhengxue Cheng, Yan Zhao, Keyu Wang, Hengdi Zhang, Li Song

机构 * Shanghai Jiao Tong University(上海交通大学) Paxini Tech.(帕辛尼科技)

AI总结 TaCo提出了一种用于评估触觉数据编解码器性能的基准测试,通过评估30种压缩方法,包括神经编解码器,验证了无损和有损压缩方案在多个任务中的优越性能。

Comments 27 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09883 2026-02-11 cs.CV

AdaTSQ: Pushing the Pareto Frontier of Diffusion Transformers via Temporal-Sensitivity Quantization

AdaTSQ: 通过时间敏感量化推动扩散变换器的帕累托前沿

Shaoqiu Zhang, Zizhong Ding, Kaicheng Yang, Junyi Wu, Xianglong Yan, Xi Li, Bingnan Duan, Jianping Fang, Yulun Zhang

机构 * Shanghai Jiaotong University(上海交通大学)

AI总结 AdaTSQ通过时间敏感量化方法提升扩散变换器的效率与质量,优于现有方法。

Comments Code will be released at https://github.com/Qiushao-E/AdaTSQ/

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09868 2026-02-11 cs.CV

Free-GVC: Towards Training-Free Extreme Generative Video Compression with Temporal Coherence

Free-GVC: 向无训练极端生成视频压缩迈进:时间一致性

Xiaoyue Ling, Chuqin Zhou, Chunyi Li, Yunuo Chen, Yuan Tian, Guo Lu, Wenjun Zhang

机构 * Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(图像通信与网络工程研究所,上海交通大学) Shanghai AI Lab(上海人工智能实验室)

AI总结 Free-GVC通过无训练的生成视频压缩框架,在超低比特率下实现视觉质量与时间一致性的提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09825 2026-02-11 cs.CV

SAKED: Mitigating Hallucination in Large Vision-Language Models via Stability-Aware Knowledge Enhanced Decoding

SAKED: 通过稳定性感知知识增强解码缓解大视觉-语言模型中的幻觉

Zhaoxu Li, Chenqi Kong, Peijun Bao, Song Xia, Yi Tu, Yi Yu, Xinghao Jiang, Xudong Jiang

机构 * ROSE Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(ROSE实验室,电子工程学院,南洋理工大学,新加坡) ROSE Lab, Interdisciplinary Graduate Programme, Nanyang Technological University, Singapore(ROSE实验室,跨学科研究生项目,南洋理工大学,新加坡) School of Physical and Mathematical Sciences, Nanyang Technological University, Singapore(物理与数学科学学院,南洋理工大学,新加坡) Shanghai Jiao Tong University, China(上海交通大学,中国)

AI总结 SAKED通过引入稳定性感知知识增强解码方法,有效缓解大视觉-语言模型中的幻觉问题,无需训练即可集成至不同架构中,实现最佳性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09657 2026-02-11 cs.RO

AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild

AutoFly:面向野外无人机自主导航的视觉-语言-动作模型

Xiaolou Sun, Wufei Si, Wenhui Ni, Yuntian Li, Dongming Wu, Fei Xie, Runwei Guan, He-Yang Xu, Henghui Ding, Yuan Wu, Yutao Yue, Yongming Huang, Hui Xiong

机构 * Southeast University(东南大学) Purple Mountain Labs(紫金山实验室) The Chinese University of Hong Kong(香港中文大学) The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州)) Fudan University(复旦大学) Shanghai Jiao Tong University(上海交通大学)

AI总结 AutoFly是一种面向野外无人机自主导航的视觉-语言-动作模型,通过伪深度编码器和渐进两阶段训练策略,实现自主避障和规划,提升导航成功率。

Comments Acceped by ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09432 2026-02-11 cs.CV

SceneReVis: A Self-Reflective Vision-Grounded Framework for 3D Indoor Scene Synthesis via Multi-turn RL

SceneReVis: 一种基于多轮强化学习的视觉 grounding 框架,用于通过多轮强化学习进行 3D 室内场景合成

Yang Zhao, Shizhao Sun, Meisheng Zhang, Yingdong Shi, Xubo Yang, Jiang Bian

机构 * Shanghai Jiao Tong University, Shanghai, China(上海交通大学) Microsoft Research Asia, Beijing, China(微软亚洲研究院) Peking University, Beijing, China(北京大学) ShanghaiTech University, Shanghai, China(上海科技大学)

AI总结 SceneReVis 通过多轮强化学习和多模态反馈,实现高保真 3D 室内场景合成,提升空间规划能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09042 2026-02-11 cs.SD eess.AS

The SJTU X-LANCE Lab System for MSR Challenge 2025

上海交通大学X-LANCE实验室系统用于MSR挑战2025

Jinxuan Zhu, Hao Qiu, Haina Zhu, Jianwei Yu, Kai Yu, Xie Chen

机构 * SJTU X-LANCE Lab(上海交通大学X-LANCE实验室)

AI总结 X-LANCE实验室提出了一种基于BS-RoFormers的音乐源恢复系统,通过预训练模型和多种训练方案实现8种乐器分离,取得挑战赛多项指标第一名。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.02380 2026-02-11 cs.CV

Unified Personalized Reward Model for Vision Generation

面向视觉生成的统一个性化奖励模型

Yibin Wang, Yuhang Zang, Feng Han, Jiazi Bu, Yujie Zhou, Cheng Jin, Jiaqi Wang

机构 * Fudan University(复旦大学) Shanghai Innovation Institute(上海创新研究院) Shanghai Jiaotong University(上海交通大学) Shanghai AI Lab(上海人工智能实验室)

AI总结 本文提出UnifiedReward-Flex,一种面向视觉生成的统一个性化奖励模型,通过结合奖励建模与灵活上下文适应的推理,提升视觉生成的准确性与对人类偏好的对齐性。

Comments Website: https://codegoat24.github.io/UnifiedReward/flex

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.21797 2026-02-11 cs.CV

MoWM: Mixture-of-World-Models for Embodied Planning via Latent-to-Pixel Feature Modulation

MoWM: 通过潜在到像素特征调制的混合世界模型实现具身规划

Yangcheng Yu, Xin Jin, Yu Shang, Xin Zhang, Haisheng Su, Wei Wu, Yong Li

机构 * Tsinghua University(清华大学) Manifold AI Shanghai Jiao Tong University(上海交通大学)

AI总结 MoWM通过融合潜在世界模型与像素特征,提升具身规划中动作解码的精度与泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.11097 2026-02-11 cs.CL

The Devil behind the mask: An emergent safety vulnerability of Diffusion LLMs

面具背后的魔鬼:扩散语言模型的新兴安全漏洞

Zichen Wen, Jiashu Qu, Zhaorun Chen, Xiaoya Lu, Dongrui Liu, Zhiyuan Liu, Ruixi Wu, Yicun Yang, Xiangqi Jin, Haoyun Xu, Xuyang Liu, Weijia Li, Chaochao Lu, Jing Shao, Conghui He, Linfeng Zhang

机构 * EPIC Lab, Shanghai Jiao Tong University(上海交通大学EPIC实验室) Shanghai AI Laboratory(上海人工智能实验室) University of Chicago(芝加哥大学)

AI总结 DIJA揭示了扩散语言模型的安全漏洞,通过构造对抗性提示利用双向建模和并行解码机制,使有害内容在对齐训练模型中得以生成。

Comments Accepted by ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.13027 2026-02-11 cs.LG

Deconstructing Positional Information: From Attention Logits to Training Biases

解构位置信息:从注意力logits到训练偏见

Zihan Gu, Ruoyu Chen, Han Zhang, Hua Zhang, Yue Hu

机构 * Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所) School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院) Antai College of Economics and Management, Shanghai Jiao Tong University(上海交通大学安泰经济管理学院)

AI总结 本文通过分析注意力logits和位置编码形式,揭示了乘法编码在整合位置与语义信息上的优势,并发现训练过程中存在的单头沉积模式。

Comments Accepted by ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2504.17490 2026-02-11 cs.LG cs.AI

Plasticine: Accelerating Research in Plasticity-Motivated Deep Reinforcement Learning

Plasticine: 加速塑料性驱动的深度强化学习研究

Mingqi Yuan, Qi Wang, Guozheng Ma, Caihao Sun, Bo Li, Xin Jin, Yunbo Wang, Xiaokang Yang, Wenjun Zeng, Dacheng Tao, Jiayu Chen

机构 * HK PolyU(香港理工大学) SJTU(上海交通大学) EIT, Ningbo(宁波工程学院) NTU(National University of Technology) HKU(香港大学) INFIFORCE

AI总结 Plasticine是首个开源框架,用于评估深度强化学习中的塑性优化,提供多种缓解方法和评估指标,帮助研究者系统量化塑性损失并分析动态。

Comments 21 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.08984 2026-02-10 cs.CL cs.AI

Next Concept Prediction in Discrete Latent Space Leads to Stronger Language Models

在离散潜在空间中进行下一步概念预测可使语言模型更强大

Yuliang Liu, Yunchong Song, Yixuan Wang, Kewen Ge, Alex Lamb, Qipeng Guo, Kai Chen, Bowen Zhou, Zhouhan Lin

机构 * LUMIA Lab(LUMIA实验室) School of Artificial Intelligence(人工智能学院) Shanghai Jiao Tong University(上海交通大学) Shanghai AI Laboratory(上海人工智能实验室) Department of Electronic Engineering(电子工程系) College of Artificial Intelligence(人工智能学院) Tsinghua University(清华大学) Shanghai Innovation Institute(上海创新研究院)

AI总结 通过在离散潜在空间中进行下一步概念预测,ConceptLM在预训练任务中实现了更强大的语言模型性能。

详情

展开后加载摘要…

URL PDF HTML 收藏