arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-06-16 至 2026-06-16 共收录 644 信号源:cs.CL, cs.AI, cs.LG

1. 效率与部署 126 篇

2606.15328 2026-06-16 cs.CV 新提交 75%

SGFormer++: Semantic Graph Transformer for Incremental 3D Scene Graph Generation

SGFormer++:用于增量式3D场景图生成的语义图Transformer

Mengshi Qi, Changsheng Lv, Zijian Fu, Xianlin Zhang, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications(北京邮电大学网络与交换技术国家重点实验室)

专题命中 效率与部署 :LLM(abstract_cn);large language model(abstract);language model(abstract)

AI总结 提出SGFormer++,通过图嵌入层和语义注入层实现全局消息传递,并引入空间引导特征适配器和级联二值预测头解决增量场景图生成中的灾难性遗忘问题,在3DSSG基准上达到最优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16902 2026-06-16 cs.RO cs.AI 新提交 74%

Binary Tracking for Spatial QA and Navigation with Open Vision-Language Models

基于开放视觉语言模型的空间问答与导航的二值追踪

Dongbin Na, Chanwoo Kim, Soonbin Rho, Giyun Choi, Gangbok Lee, Dooyoung Hong

机构 * RGA Inc.(RGA公司)

专题命中 效率与部署 :language model(title);分类 cs.AI

AI总结 提出BinTrack,一种全开源的空间定位代理,通过二值搜索轨迹段,在SpaceLocQA基准上准确率提升22.8%,推理速度提升1.5倍,并发布多行程室外数据集GangnamLoop。

Comments 21 pages, 4 figures, 15 tables. Project page: https://ndb796.github.io/BinaryTracking ; Code and dataset: https://github.com/ndb796/BinaryTracking

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16112 2026-06-16 cs.LG cs.AI 新提交 73%

Scaling Adaptive Depth with Norm-Agnostic Residual Networks

缩放自适应深度:范数无关残差网络

Tomás Figliolia, Beren Millidge

机构 * Zyphra San Francisco, CA(Zyphra旧金山加州)

专题命中 效率与部署 :pretraining(abstract);post-training(abstract);分类 cs.AI、cs.LG

AI总结 针对残差网络中残差流范数随深度增长导致深层更新被抑制的问题,提出范数无关残差架构NAG,通过分离幅度和方向信息保持各层贡献,并实现可解释的自适应深度跳过机制,在等计算量下匹配全深度性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16059 2026-06-16 cs.LG cs.AI 新提交 73%

Mojo: A Promising Tool for Scalable Financial AI Efficiency

Mojo:可扩展金融AI效率的有前景工具

Henry Han

机构 * Data Science and Artificial Intelligence Innovation Laboratory, School of Engineering and Computer Science, Baylor University(贝勒大学工程与计算机科学学院数据科学与人工智能创新实验室)

专题命中 效率与部署 :LLM(abstract,abstract_cn);分类 cs.AI、cs.LG

AI总结 本文介绍Mojo语言,通过MLIR编译和确定性内核设计,解决量化金融中Python到C++的性能差距与数值不一致问题,在金融AI工作负载上实现20-180倍加速。

Comments 15, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.16738 2026-06-16 cs.CL cs.AI cs.SD eess.AS 版本更新 73%

LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization

LM-SPT:面向语音标记化的LM对齐语义蒸馏

Daejin Jo, Jeeyoung Yun, Byungseok Roh, Sungwoong Kim

机构 * Department of Artificial Intelligence, Korea University(韩国大学人工智能系) Multi-modal Model Training, Kakao Corp(Kakao公司多模态模型训练部)

专题命中 效率与部署 :language model(abstract);SLM(abstract_cn);分类 cs.CL、cs.AI

AI总结 提出LM-SPT方法,通过语义语音重合成蒸馏,在不降低帧率的情况下生成与语言模型更对齐的离散语音标记,在ASR和TTS任务中优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17029 2026-06-16 cs.CL 新提交 70%

DEEPRUBRIC: Evidence-Tree Rubric Supervision for Efficient Reinforcement Learning of Deep Research Agents

DEEPRUBRIC: 基于证据树规则监督的高效深度研究智能体强化学习

Minghang Zhu, Chuyang Wei, Junhao Xu, Yilin Cheng, Zhumin Chen, Jiyan He

机构 * Shandong University(山东大学) Zhongguancun Academy(中关村学院) Fudan University(复旦大学)

专题命中 效率与部署 :LLM(abstract,abstract_cn);分类 cs.CL

AI总结 提出DeepRubric框架,通过构建证据树生成查询-规则对,确保奖励信号准确评估查询所需信息,以13倍少的RL GPU时间达到与先前最优模型相当的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16652 2026-06-16 cs.CY cs.AI cs.SI 新提交 70%

Optimising Temporary Accommodation Placement Across London with AI-Powered SaaS in E-Governance Systems

利用AI驱动的SaaS优化伦敦临时住所安置:电子政务系统中的应用

Hankun He, Jordan Richards, Gopalakrishnan Netuveli, Kumar Aniket, Ramya Pachatcharam, Binta Ade-olusile, Nathan Nagaiah, Matthew I Bellgard

机构 * UK Centre for AI in the Public Sector(英国公共部门人工智能中心) Institute for Connected Communities(连接社区研究所) University of East London(东伦敦大学) London Borough of Newham(伦敦新ham区)

专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文介绍DOMUS系统,一个基于云的AI决策支持系统,通过规则过滤与大语言模型搜索结合,优化伦敦纽汉姆区的临时住所安置,显著减少搜索时间并提高合规性。

Comments 13 pages, 4 figures, to be published in International Conference on AI and Sustainability Advances 2026 Companion Proceedings

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16527 2026-06-16 cs.CR cs.CL 新提交 70%

DoubtProbe: Black-Box Jailbreak Defense via Structural Verification and Semantic Auditing

DoubtProbe:通过结构验证与语义审计的黑盒越狱防御

Xuanyu Yin, Yilin Jiang, Jun Zhou, Kai Chen, Zhengfu Cao, Xiaolei Dong

机构 * East China Normal University(东华大学) The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)

专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出DoubtProbe双分支推理时防御框架,结合结构验证与语义审计,将黑盒越狱防御转化为受控变换下的一致性检查,在多个基准上实现更强更稳定的防御-效用权衡。

Comments 25 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16384 2026-06-16 cs.LG 新提交 70%

Mixtures of Subspaces for Bandwidth Efficient Context Parallel Training

子空间混合:面向带宽高效上下文并行训练

Sameera Ramasinghe, Ajanthan Thalaiyasingam, Hadi Mohaghegh Dolatabadi, Gil Avraham, Violetta Shevchenko, Yan Zuo, Chamin Hewa Koneputugodage, Alexander Long

机构 * Pluralis Research

专题命中 效率与部署 :language model(abstract);pretraining(abstract);分类 cs.LG

AI总结 提出一种基于子空间混合的压缩方法,在低带宽分布式训练中实现超过95%的通信压缩,支持百亿参数模型在100K上下文长度下高效训练。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16190 2026-06-16 cs.AR cs.AI 新提交 70%

Embedded Arena: Iterative Optimization via Hardware Feedback

嵌入式竞技场:通过硬件反馈的迭代优化

Zhihan Zhang, Alexander Le Metzger, Jiuyang Lyu, Chun-Cheng Chang, Jiayi Shao, Yujia Liu, Emmanuel Azuh Mensah, Edward Wang, Kurtis Heimerl, Gregory D. Abowd, Shwetak Patel, Natasha Jaques, Vikram Iyer

机构 * University of Washington(华盛顿大学) University of California San Diego(加州大学圣地亚哥分校) Northeastern University(东北大学)

专题命中 效率与部署 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 提出硬件在环智能体框架,通过迭代编译、烧录和测量真实硬件,实现模型与固件的闭环优化,在嵌入式设备上达到250倍压缩且精度损失<3.3%。

Comments Code: https://github.com/ubicomplab/embedded-arena

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16158 2026-06-16 cs.CV cs.CL 新提交 70%

Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding

必要时聚焦:用于无训练视觉定位的自适应路由与协作定位

Yifan Wang, Peiming Li, Shiyu Li, Zhiyuan Hu, Xiaochen Yang, Wenming Yang, Yang Tang, Zheng Wei

机构 * East China University of Science and Technology(华东理工大学) Tsinghua University(清华大学) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) University of Science and Technology of China(中国科学技术大学)

专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出LazyMCoT动态框架,通过自适应路由评估不确定性,对简单查询跳过处理,对困难样本利用协作定位模块进行两阶段精炼,在提升推理精度的同时降低平均推理延迟。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15768 2026-06-16 cs.RO cs.AI 新提交 70%

LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies

LaWAM: 用于高效动力学感知机器人策略的潜在世界行动模型

Jialei Chen, Kai Wang, Kang Chen, Shuaihang Chen, Feng Gao, Wenhao Tang, Zhiyuan Li, Weilin Liu, Zhuyu Yao, Boxun Li, Yuanbo Xu, Chao Yu

机构 * Tsinghua University(清华大学) Jilin University(吉林大学) Nankai University(南开大学) Peking University(北京大学) Harbin Institute of Technology(哈尔滨工业大学) Zhongguancun Academy(中关村学院) Striding.AI Infinigence AI

专题命中 效率与部署 :foundation model(abstract);pretraining(abstract);分类 cs.AI

AI总结 提出LaWAM模型,通过潜在视觉子目标预测场景变化,实现动力学感知的机器人控制,在多个基准上达到最优或竞争性成功率,且推理延迟低。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15517 2026-06-16 cs.CL 新提交 70%

SHARD: Safe and Helpful Alignment via Self-Reframing Distillation

SHARD: 通过自我重构蒸馏实现安全且有益的校准

Viswonathan Manoranjan, Amogh Gupta, Anvesh Rao Vijjini, Thomas Hofweber, Snigdha Chaturvedi

机构 * UNC Chapel Hill(北卡罗来纳大学教堂山分校)

专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出SHARD方法,通过哲学准则重构敏感提示以暴露良性意图,并自我重构响应,在保持安全性的同时提升帮助性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15363 2026-06-16 cs.AI 新提交 70%

APEX: Adaptive Principle EXtraction A Three-Layer Self-Evolution Framework for Production AI Agents

APEX: 自适应原则提取——面向生产AI智能体的三层自进化框架

Ya-Chuan Chen, Tien-Jen Lai, Hsiang-Wei Hu

机构 * Grace AI Technology

专题命中 效率与部署 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 提出APEX框架,通过三层协同进化(提示修复、原则蒸馏、工作流拓扑选择)提升AI智能体性能,在15节点计算集群上实现健康评分+90%。

Comments 8 pages, 1 figure, 4 tables. Evaluated on a production 15-node compute fleet with 114 real task traces. Code available at https://aispark.airlive.com/joe-hackathon/

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15179 2026-06-16 cs.AI 新提交 70%

CONCORD: Asynchronous Sparse Aggregation for Device-Cloud RAG under Document Isolation

CONCORD: 文档隔离下设备-云RAG的异步稀疏聚合

Xuedong Hu, Zhiqing Tang, Zhi Yao, Tian Wang, Weijia Jia

机构 * Beijing Normal University(北京师范大学) BNU-HKBU United International College(北师港浸大联合国际学院) University of Macau(澳门大学) Shenzhen Research Institute of Big Data(深圳市大数据研究院) Guangdong Key Laboratory of Artificial Intelligence and Multi-Modal Data Processing(广东省人工智能与多模态数据处理重点实验室)

专题命中 效率与部署 :language model(abstract);small language model(abstract);分类 cs.AI

AI总结 针对文档隔离的双端RAG中频繁同步和密集证据传输导致的吞吐量低问题,提出异步稀疏聚合框架CONCORD,通过等待债务控制和证书引导最小补充机制,在保持答案质量的同时大幅提升吞吐量并降低通信量。

Comments to be published in IEEE ICWS 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14875 2026-06-16 cs.CL 新提交 70%

Context Compression Is Not One Thing: Readable Symbolic Re-expression vs. Coherent Summary at Matched Budget

上下文压缩并非单一事物:在匹配预算下可读的符号化重新表达与连贯摘要的比较

Sisong Bei, Mikhail L. Arbuzov, Ziwei Dong, Dmitri Kalaev, Alexey Shvets

机构 * Independent Researcher(独立研究员) Palo Alto Networks

专题命中 效率与部署 :language model(abstract);small language model(abstract);分类 cs.CL

AI总结 提出Telegraph English可读符号格式,将检索段落重写为结构化实体关系陈述,在匹配预算下比三种压缩基线及连贯摘要更有效,F1提升13-20个百分点。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14786 2026-06-16 cs.MM cs.AI cs.CV 新提交 70%

MatchLM2Lite: A Scalable MLLM-to-Lite Framework for Reproduced Content Identification

MatchLM2Lite: 一种可扩展的MLLM-to-Lite框架用于重复内容识别

Xiaotian Fan, Hiok Hian Ong, David Yuchen Wang, Zirui Zhu, Kanchan Sarkar, Kun Xu

机构 * Tiktok(字节跳动) National University of Singapore School of Computing(新加坡国立大学计算机学院)

专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出MatchLM2Lite框架,通过将多模态大语言模型蒸馏为轻量模型,实现视频、音频和文本联合建模的实时重复内容识别,在降低35倍计算成本的同时保持高准确率,并成功部署于大规模生产环境。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.30208 2026-06-16 cs.SE cs.AI 版本更新 70%

Automating Low-Risk Code Review at Meta: RADAR, Risk Calibration, and Review Efficiency

自动化低风险代码审查在Meta:RADAR、风险校准与审查效率

Chris Adams, Arjun Singh Banga, Parveen Bansal, Souvik Bhattacharya, Payal Bhuptani, Rujin Cao, Pedro Canahuati, Nate Cook, Brian Ellis, Prabhakar Goyal, Gurinder Grewal, Tianyu He, Matt Labunka, Alex Manners, David Molnar, Ging Cee Ng, Vishal Parekh, Jiefu Pei, Frederic Sagnes, James Saindon, Will Shackleton, Sid Sidhu, Gursharan Singh, Karthik Chengayan Sridhar, Matt Steiner, Pratibha Udmalpet, Sean Xia, Stacey Yan, Audris Mockus, Peter Rigby, Nachiappan Nagappan

机构 * Meta USA, UK, Canada(Meta美国、英国、加拿大)

专题命中 效率与部署 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 提出RADAR系统,通过多阶段漏斗对代码差异进行风险分层自动化审查,在Meta部署后显著提升审查效率并降低风险。

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.20686 2026-06-16 q-bio.BM cs.DC cs.LG cs.PF 版本更新 70%

MegaFold: Efficient Training of Next-Generation 3D Attention Protein Models on Cross-Platform GPUs

MegaFold: 跨平台GPU上高效训练下一代3D注意力蛋白质模型

Hoa La, Ahan Gupta, Alex Morehead, Jianlin Cheng, Minjia Zhang

机构 * UIUC SSAIL Lab(UIUC SSAIL实验室)

专题命中 效率与部署 :LLM(abstract,abstract_cn);分类 cs.LG

AI总结 针对AlphaFold3类模型因3D注意力机制导致训练效率低的问题,提出MegaFold系统,通过高效内核、分片策略、算子融合和流水线优化,在NVIDIA和AMD GPU上实现更长序列训练和加速。

Comments 13 pages, 12 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15384 2026-06-16 cs.DB 新提交 67%

CoeusBI: A Comprehensive Interactive Business Intelligence System Powered by LLMs at Baidu [Extended Version]

CoeusBI:百度基于大语言模型的全面交互式商业智能系统 [扩展版]

Jinqing Lian, Chaofan Li, Yingxia Shao, Ming Wang, Yang Dong, Xinyi Liu, Wei Zhang, Chaoxian Gui, Tianqi Wan, Ming Dong

专题命中 效率与部署 :large language model(abstract);language model(abstract)

AI总结 CoeusBI提出双智能体架构与分层模式链接,通过视图生成智能体自动简化JOIN查询、分层检索处理宽模式、动态路由智能体优化多轮对话,在公共和生产数据集上显著提升查询准确率、令牌效率与用户满意度,已部署于百度平台服务数千用户。

Comments Accepted by VLDB 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15050 2026-06-16 cs.DC cs.NI 新提交 67%

Solyx AI Grid: Hardware-Telemetry-Aware Routing Across Geographically Distributed GPU Clusters

Solyx AI Grid:跨地理分布式GPU集群的硬件遥测感知路由

Aleks Bernhard, Nithin Katla

专题命中 效率与部署 :LLM(abstract,abstract_cn)

AI总结 提出Solyx AI Grid,一种结合GPU硬件遥测、vLLM应用指标和WAN信号的多站点推理路由控制平面,通过10信号加权压力评分器实现每请求放置决策,在实验中吞吐量提升1.56-1.75倍,能力错配泄漏降至0.43%,故障重路由p99延迟降低至1247ms。

Comments 15 pages, 9 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15021 2026-06-16 cs.RO 新提交 67%

Steering Autoregressive Vision-Language-Action Policies via Action Token Intervention

通过动作令牌干预引导自回归视觉-语言-动作策略

Jason Chan, Jonathan C. Kao

机构 * University of California, Los Angeles(加州大学洛杉矶分校)

专题命中 效率与部署 :language model(abstract);foundation model(abstract)

AI总结 提出Token Steering方法,在推理时通过干预动作令牌空间动态引导VLA模型轨迹生成,无需训练或微调,显著提升家务操作任务成功率。

Comments 9 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.05373 2026-06-16 cs.SD eess.AS 版本更新 67%

MSpoofTTS: Multi-Resolution Spoof-Guided Inference for Discrete Speech Synthesis

MSpoofTTS:用于离散语音合成的多分辨率欺骗引导推理

Junchuan Zhao, Minh Duc Vu, Ye Wang

机构 * School of Computing, National University of Singapore(新加坡国立大学计算机学院) Department of Statistics & Data Science, National University of Singapore(新加坡国立大学统计与数据科学系)

专题命中 效率与部署 :language model(abstract);preference optimization(abstract)

AI总结 提出MSpoof-TTS框架,通过多分辨率欺骗检测和分层解码策略,无需重新训练即可提升神经编解码语言模型的零样本语音合成质量。

Comments 7 pages, 3 figures, 3 tables, 2 algorithms. Accepted to Interspeech 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.08976 2026-06-16 cs.CV cs.DC cs.IR 版本更新 67%

MIRAGE: Runtime Scheduling for Multi-Vector Image Retrieval with Hierarchical Decomposition

MIRAGE:基于层次分解的多向量图像检索运行时调度

Maoliang Li, Ke Li, Yaoyang Liu, Jiayu Chen, Zihao Zheng, Yinjun Wu, Chenchen Liu, Xiang Chen

机构 * School of Computer Science, Peking University(北京大学计算机科学学院) School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院) School of Information, Renmin University of China(中国人民大学信息学院) School of Integrated Circuit Science and Engineering, Beihang University(北京航空航天大学集成电路科学与工程学院)

专题命中 效率与部署 :large language model(abstract);language model(abstract)

AI总结 提出MIRAGE框架,通过层次化分解和跨层次相似性一致性减少冗余计算,实现多向量图像检索的精度提升和3.5倍计算加速。

Comments Will appear in DAC'2026, camera ready

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.01661 2026-06-16 cs.DC 版本更新 67%

HeRo: Adaptive Orchestration of Agentic RAG on Heterogeneous Mobile SoC

HeRo: 异构移动SoC上智能体RAG的自适应编排

Maoliang Li, Jiayu Chen, Zihao Zheng, Ziqian Li, Xinhao Sun, Guojie Luo, Chenchen Liu, Xiang Chen

专题命中 效率与部署 :LLM(abstract,abstract_cn)

AI总结 提出HeRo框架,通过基于性能分析的在线调度器,结合形状感知子阶段划分、关键性加速器映射和带宽感知并发控制,在异构移动SoC上实现低延迟智能体RAG,端到端延迟降低达10.94倍。

Comments Will appear in DAC'2026, Camera Ready

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16429 2026-06-16 cs.LG cs.CL 新提交 62%

Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation

Taylor-Calibrate:混合线性注意力蒸馏的原则性初始化

Zhongzhu Zhou, Qingyang Wu, Junxiong Wang, Mayank Mishra, Shuaiwen Leon Song, Ben Athiwaratkun, Chenfeng Xu

机构 * The University of Sydney(悉尼大学) Together AI University of California, Berkeley(加州大学伯克利分校) The University of Texas at Austin(德克萨斯大学奥斯汀分校) Microsoft(微软)

专题命中 效率与部署 :pretraining(abstract);分类 cs.CL、cs.LG

AI总结 提出Taylor-Calibrate方法,利用泰勒引导的教师注意力统计初始化混合线性注意力学生模型,显著减少蒸馏所需训练令牌数。

Comments 24 pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15378 2026-06-16 cs.CL cs.LG 新提交 62%

Rethinking the Role of Efficient Attention in Hybrid Architectures

重新思考高效注意力在混合架构中的作用

Ziqing Qiao, Yinuo Xu, Chaojun Xiao, Zhou Su, Zihan Zhou, Yingfa Chen, Xiaoyue Xu, Xu Han, Zhiyuan Liu

机构 * Tsinghua University(清华大学) OpenBMB

专题命中 效率与部署 :language model(abstract);分类 cs.CL、cs.LG

AI总结 本文系统分析混合架构中高效注意力模块(如滑动窗口注意力和循环序列混合器)的影响,发现其主要影响长上下文能力的涌现速度,并揭示“大窗口惰性”现象,提出仅对全注意力层去除位置编码可提升长上下文性能。

Comments 23 pages, 13 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15079 2026-06-16 cs.CL cs.AI 新提交 62%

Ling and Ring 2.6 Technical Report: Efficient and Instant Agentic Intelligence at Trillion-Parameter Scale

Ling 和 Ring 2.6 技术报告:高效且即时的万亿参数规模智能体智能

Ang Li, Ben Liu, Bin Han, Bin Hu, Bin Jing, Binbin Hu, Bing Li, Cai Chen, Caizhi Tang, Changxin Tian, Chao Huang, Chao Zhang, Chen Liang, Chen Qian, Chengfu Tang, Chengyao Wen, Chilin Fu, Chunwei Wu, Cong Zhang, Cunyin Peng, Daixin Wang, Dalong Zhang, Deng Zhao, Dingnan Jin, Dingyuan Zhu, Donghao Zhang, Fan Yuan, Fangzheng Zhao, Fanzhuang Meng, Feifan Wu, Feng Xu, Fengbin Fang, Gangshan Wang, Guodong Yang, Hailin Zhao, Haitao Wang, Haitao Zhang, Hanxiao Zhang, Hanzi Wang, Hao Dai, Hao Liu, Hao Qian, Hao Wu, Haoxiong Liu, Haoyu Xu, Heng Zhang, Hong Liu, Hongliang Zhang, Hongrui Liu, Hongxun Li, Hongzhi Ruan, Huaidong Xiong, Huihuang Zheng, Huikang Tang, Jia Guo, Jia Li, Jia Liu, Jiameng Wang, Jiaming Liu, Jiannan Shi, Jianping Wei, Jiaolong Yang, Jiapeng Wang, Jie Gao, Jie Wang, Jiewei Wu, Jin Yang, Jinjin Li, Jinjing Huang, Jinquan Sun, Jinyao Chen, Juanhui Tu, Jun Liu, Jun Mei, Jun Xu, Jun Zhou, Junjie Ou, Junnan Sipan, Junpeng Fang, Kaihong Zhang, Kaiqin Hu, Ke Shi, Kuan Xu, Kun Tang, Kunlong Chen, Lanyin Mei, Lei Chen, Lei Liang, Lei Xu, Li Tang, Liang Jiang, Liangcheng Fu, Lihui Zhang, Linfeng Shi, Lintao Ma, Liyuan Liu, Longfei Li, Longfei Zheng, Lu Liu, Lu Yu, Man Li, Meiqi Zhu, Meng Li, Mengjie Gao, Mengshu Sun, Mingming Yin, Mingyang Zhang, Mingyuan Fan, Nuo Xu, Pan Tang, Peijie Jiang, Peilong Zhao, Peng Lin, Pingping Liu, Qi Zuo, Qian Zhao, Qiang Cheng, Qianggang Cao, Qiaoben Bao, Qing Cui, Qingyuan Yang, Qitao Shi, Qiyin Huang, Qizheng Zhou, Quan Wan, Runyuan Zhao, Shaomian Zheng, Shaowei Wei, Shengnan Zhang, Shuaicheng Li, Shujie Li, Shuo Zhang, Sikang Bian, Tianchu Yao, Tiange Xu, Tianshu Wang, Ting Guo, Tinghao Wang, Tingwei Huang, Tong Zhao, Tongkai Yang, Wang Hong, Wanli Gu, Wei Lu, Weichang Wu, Weiguang Han, Weiquan Li, Wenbo Shen, Wenjing Fang, Wenzhi Tang, Xiang Shu, Xiao Shi, Xiaodong Yan, Xiaolu Zhang, Xiaopei Wan, Xiaqing Sun, Xin Zhao, Xingyu Lu, Xinxing Yang, Xinyao Tang, Xinyu Kong, Xinyu Liu, Xiong Xu, Xuan Sun, Xudong Han, Xudong Wang, Xujie Shen, Yalin Zhang, Yangyang Hou, Yankun Ren, Yao Zhao, Ye Chen, Yeyang Chen, Yibo Cao, Yifan Zuo, Yijie Chen, Ying Li, Yingjie Song, Yingxue Li, Yiqi Wang, Yixuan Sun, Yizhu Xiao, Yongfei Xu, Yu Liu, Yuchen Fang, Yue Gao, Yue Yu, Yue Zhang, Yuqi Zhang, Yuxiao He, Yuxiao Lu, Yuxin Tian, Yuxuan Li, Yuzhuo Fu, Zhankai Xu, Zhaoxin Huan, Zhenduo Zhang, Zhengke Gui, Zhengyu Huang, Zhenjun Ma, Zhenxuan Pan, Zheping Qu, Zhibo Zhu, Zhidong Fan, Zhigang Huangfu, Zhihao Wang, Zhiqiang Zhang, Zhizhen Liu, Zhuyan Zhou, Zibin Lin, Zihang Zeng, Zihao Wang, Zilong Wang, Ziqi Liu, Zitao Xuan, Zixuan Cheng, Zujie Wen, Zuoli Tang

机构 * Ling Team(Ling团队) Inclusion AI

专题命中 效率与部署 :post-training(abstract);分类 cs.CL、cs.AI

AI总结 提出Ling-2.6和Ring-2.6模型系列,通过架构迁移预训练、混合线性注意力设计及KPop强化学习框架,实现低延迟、强推理与高效部署,开源所有检查点。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14943 2026-06-16 cs.CL cs.LG 新提交 62%

Simplifying the Modeling of Arbitrary Conditionals in Natural Language

简化自然语言中任意条件概率的建模

Yinhan Lu, Eric Elmoznino, Léo Gagnon, Sarthak Mittal, Tejas Kasetty, Guillaume Lajoie

机构 * Mila — Quebec AI Institute(Mila — 魁北克人工智能研究所) McGill University(麦吉尔大学) Université de Montréal(蒙特利尔大学)

专题命中 效率与部署 :LLM(abstract_cn);分类 cs.CL、cs.LG

AI总结 提出AC-GPT,通过简单修改标准因果Transformer,实现单次前向传播中评估和采样任意条件(包括过去、未来和混合上下文),保持左到右顺序和下一词预测目标,无需退化标准性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14801 2026-06-16 cs.LG cs.AI cs.RO 新提交 62%

QPILOTS: Efficient Test-Time Q-Steering for Flow Policies

QPILOTS:面向流策略的高效测试时Q引导

Yifan Ruan, Chenyang Cao, Andreas Burger, Ali Pesaranghader, Kaveh Kamali, Jaehong Kim, Nandita Vijaykumar, Alan Aspuru-Guzik, Igor Gilitschenski, Nicholas Rhinehart

机构 * University of Toronto(多伦多大学) Vector Institute(向量研究所) LG Electronics(LG电子)

专题命中 效率与部署 :foundation model(abstract);分类 cs.AI、cs.LG

AI总结 提出QPILOTS方法,在推理时通过投影去噪中间状态到最终动作估计并计算评论家梯度来引导流匹配和扩散策略,无需修改原策略,在离线到在线RL基准上达到90%平均成功率。

Comments 10 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏