语言大模型 / LLM

RCTs for Frontier AI Governance: Methodological Challenges and Solutions for Human Uplift Studies

随机对照试验与人类提升研究：前沿AI评估的方法论挑战与实践解决方案

Patricia Paskov, Kevin Wei, Shen Zhou Hong, Dan Bateyko, Xavier Roberts-Gaal, Carson Ezell, Gailius Praninskas, Valerie Chen, Umang Bhatt, Ella Guest

机构 * RAND ； Johns Hopkins University（约翰霍普金斯大学） ； Cornell University（康奈尔大学） ； Harvard University（哈佛大学） ； University of Cambridge（剑桥大学） ； London School of Economics（伦敦经济学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过访谈16位专家，系统梳理了人类提升研究（测量AI对人类绩效影响）在随机对照试验中面临的方法论挑战，包括内部效度、外部效度和构念效度问题，并提出了相应的解决方案。

Omni-Flow: A Unified Workflow Orchestration and Distributed KV Cache Sharing Framework for Multimodal Inference

Omni-Flow：面向多模态推理的统一工作流编排与分布式KV缓存共享框架

Bin Xiao, Jingfu Dong, Changran Wang, Yitian Chen, Xiaoyu Zhao, Yuqi Peng, Jianping Lin, Yuchen Xie

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出Omni-Flow框架，通过三层抽象（控制流、数据流、计算流）统一编排多模态推理工作流，实现异构单元协同、分布式KV缓存共享与高效传输，支持多种多模态场景。

Comments 19 pages

FastContext: Training Efficient Repository Explorer for Coding Agents

FastContext: 为编码智能体训练高效的仓库探索器

Shaoqiu Zhang, Maoquan Wang, Yuling Shi, Yuhang Wang, Xiaodong Gu, Yongqiang Yao, Tori Gong, Sheng Chen, Rao Fu, Anisha Agarwal, Spandan Grag, Gabriel Ryan, Colin Merkel, Yufan Huang, Shengyu Fu

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出专用探索子智能体FastContext，通过并行工具调用和专注上下文生成，分离仓库探索与问题解决，在SWE-bench等任务上提升修复率达5.5%，降低编码智能体token消耗达60%。

Comments The current article involves some product IP issues and needs to be withdrawn and re-approved

Minimizing Quantized Semantic Age of Information (QSAoI) in Foundation Model-Based Semantic Communications

最小化基于基础模型的语义通信中的量化语义信息年龄（QSAoI）

Huanyu Zhang, Yulin Hu, Xiaopeng Yuan, Aydin Sezgin, Anke Schmeink

机构 * INDA Chair, RWTH Aachen University（亚琛工业大学INDA教席） ； School of Electronic Information, Wuhan University（武汉大学电子信息学院） ； Department of Digital Communication Systems, Ruhr University Bochum（波鸿鲁尔大学数字通信系统系） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出量化语义信息年龄（QSAoI）指标，并设计基于基础模型的联合优化框架，通过定点检测和二分搜索算法动态调整混合精度量化和物理块长，最小化无线衰落信道下的期望QSAoI。

Comments Accepted to IEEE SPAWC 2026

Large Databases Need Small, Open-Weight Language Models

大型数据库需要小型、开放权重的语言模型

Parker Glenn, Alfy Samuel

机构 * Capital One（第一资本） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 针对大型数据库中使用闭源LM API成本过高的问题，提出采用量化开放权重模型在本地16GB VRAM上运行，匹配或超越闭源模型精度，成本降低390倍，延迟降低3.8倍。

Relational and Sequential Conformal Inference for Energy Time Series over Graphs via Foundation Models

基于基础模型的图结构能源时间序列的关系与序列共形推断

Keivan Faghih Niresi, Alice Cicirello, Olga Fink

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出STOIC框架，结合图神经网络与表格基础模型，通过零样本校准实现图结构能源时间序列的共形预测，提供可靠的不确定性估计。

Comments Under-review

Nemotron-Labs-TwoTower: Diffusion Language Modeling with Pretrained Autoregressive Context

Nemotron-TwoTower：基于预训练自回归上下文的扩散语言建模

Fitsum Reda, John Kamalu, Roger Waleffe, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro

机构 * NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 提出双塔扩散语言模型TwoTower，解耦上下文表示与迭代去噪，在保持98.7%质量的同时实现2.42倍生成吞吐量提升。

Comments Code and model weights available at https://huggingface.co/collections/nvidia/nemotron-labs-twotower

Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing

通过局部分支路由实现高效且可训练的语言模型测试时扩展

Yutong Yin, Mingyu Jin, Jin Pan, Changyi Yang, Zijie Xia, Dhruv Pai, Shuming Hu, Zhen Zhang, Chenyang Zhao, Jinman Zhao, Wujiang Xu, Raymond Li, Xin Eric Wang, Julian McAuley, Zhaoran Wang

机构 * Northwestern University（西北大学） ； Rutgers University（罗格斯大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Carnegie Mellon University（卡内基梅隆大学） ； LMSYS Org（LMSYS组织） ； Tilde Research（Tilde研究） ； University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； University of Toronto（多伦多大学） ； University of British Columbia（不列颠哥伦比亚大学） ； University of California, San Diego（加州大学圣迭戈分校） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 提出局部分支路由（LBR）框架，通过轻量级路由器选择局部前瞻树中的深度-1子路径，实现令牌级测试时扩展，在数学推理基准上优于链式思维和软令牌分支基线。

LUMOS: A Semantic Operating-System Layer for Accessibility-Grounded AI Agents

LUMOS：面向无障碍AI代理的语义操作系统层

Yogeswar Reddy Thota

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出LUMOS语义层，将操作系统无障碍元数据转化为机器可读蓝图，使AI代理通过结构化UI原语而非截图进行观察-行动循环，降低视觉依赖和成本。

Comments The LUMOS repository is available at https://github.com/thotayogeswarreddy/Lumos.git

SemRF: A Semantic Reference Frame for Residual-Stream Dynamics in Language Models

SemRF：语言模型中残差流语义参考框架

Jian Gu, Aldeida Aleti, Chunyang Chen, Hongyu Zhang

机构 * Monash University（莫纳什大学） ； Technical University of Munich（慕尼黑工业大学） ； Chongqing University（重庆大学） 纠错

专题命中 效率与部署 ：language model(title)；分类 cs.CL、cs.LG

AI总结 提出语义参考框架(SemRF)，通过锚点固定实现残差流语义坐标的稳定测量，并利用Voronoi迹定义最小作用路径，揭示层间计算与参数效率的关系。

Comments an early-stage version

COSM: A Cooperative Scheduling Framework for Concurrent PIM and CPU Execution on Mobile Devices

COSM：一种用于移动设备上并发PIM和CPU执行的协同调度框架

Yilong Zhao, Fangxin Liu, Onur Mutlu, Mingyu Gao, Jian Liu, Haibing Guan, Li Jiang

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出COSM框架，通过低干扰PIM控制接口和空闲感知调度方法，实现移动设备上PIM与CPU的并发执行，提升PIM吞吐量达2.8倍且CPU性能损失小于2.0%。

Comments 18 pages, 13 figures, ISCA'26

Securing the AI Agent: A Unified Framework for Multi-Layer Agent Red Teaming

保护AI代理：多层代理红队测试的统一框架

Yong Yang, Xing Zheng, Huiyu Wu, Huangsheng Cheng, Xiaorong Shi, Jing Guo, Bo Yang, Yi Zhou, Xiangfan Wu, Zonghao Ying

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)

AI总结 提出AI-Infra-Guard框架，通过分层攻击面（基础设施、协议/工具、代理行为、模型）匹配不同检测范式，覆盖75+组件和1400+漏洞规则，实现代理安全红队测试。

Behavior Cloning is Not All You Need: The Optimality of On-Policy Distillation for Noisy Expert Feedback

行为克隆并非万能：带噪声专家反馈的在线策略蒸馏的最优性

Ved Sriraman, Peihan Liu, Daniel Hsu, Adam Block

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 效率与部署 ：language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 针对噪声专家反馈场景，理论证明离线模仿学习样本复杂度指数增长，而在线策略蒸馏可实现多项式依赖，解释了为何在线方法优于离线方法。

The Label Imitation Game: Turing Test Network for Zero-Shot Pseudo-Label Pruning

标签模仿游戏：用于零样本伪标签剪枝的图灵测试网络

Brent A. Griffin, Jason J. Corso

专题命中 效率与部署 ：language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出图灵测试网络（TTN）作为任务无关的“裁判”，通过对抗性交互在数据集上下文中评估伪标签，无需监督或重训练即可提升标签准确性，并实现零样本任务迁移。

Comments ECCV 2026

Agentic-Ideation: Sample Efficient Agentic Trajectories Synthesis for Scientific Ideation Agents

Agentic-Ideation: 面向科学构思智能体的样本高效智能体轨迹合成

Keyu Zhao, Lingyan Kong, Fengli Xu, Yong Li

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出Agentic-Ideation框架，通过Oracle引导的数据合成策略和掩码训练，高效生成高质量智能体轨迹，在科学构思任务上整体质量提升11.91%，数据合成效率提高10倍以上。

Room Scene Discovery and Grouping in Unstructured Vacation Rental Image Collections

非结构化度假租赁图像集合中的房间场景发现与分组

Vignesh Ram Nithin Kappagantula, Shayan Hassantabar

机构 * Expedia Group（Expedia集团） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对度假租赁平台图片缺乏结构化分类的问题，提出一种低延迟、样本高效的机器学习流水线，通过监督式房间类型检测、重叠检测和聚类算法实现房间分组，并利用多模态大语言模型识别床型，显著优于对比学习和预训练嵌入聚类方法。

Comments Presented at the Two-sided Marketplace Optimization Workshop, KDD 2025

ERA: Entropy-Guided Visual Token Pruning with Rectified Attention for Efficient MLLMs

ERA：基于熵引导的视觉令牌剪枝与修正注意力机制的高效多模态大语言模型

Yuhao Wang, Mu Qiao, Haiwen Diao, Yunzhi Zhuge, Pingping Zhang, Xindong Zhang, Lei Zhang, Huchuan Lu

机构 * School of Future Technology, Dalian University of Technology（大连理工大学未来技术学院） ； S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； OPPO Research Institute（OPPO研究院） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 提出ERA框架，通过熵引导的视觉令牌剪枝和修正注意力机制，解决令牌减少导致的注意力对数坍塌问题，实现高效多模态大语言模型推理加速。

Comments 17 pages, 7 figures

MS-Resampler: Multi-Scope Visual Resampling for Efficient Multimodal LLMs

MS-Resampler: 用于高效多模态大语言模型的多范围视觉重采样

Zhongyang Li, Yaqian Li, Faming Fang, Rinyoichi Takezoe, Zi-Hao Bo, Cheng Qian, Mo Guang, Guixu Zhang, Kaiwen Long

机构 * Li Auto Inc.（理想汽车） ； East China Normal University（华东师范大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 提出MS-Resampler，通过多范围视觉重采样框架，注入显式空间范围先验，使模型在固定令牌预算内同时捕获局部细节和全局上下文，提升多模态理解与推理。

Incentivizing Data Trading via Profit Reallocation

通过利润再分配激励数据交易

Yunxuan Ma, Wu Xin, Jichen Li, Hongyin Chen, Xiaoqi Dong, Yusen Zheng, Yukun Cheng, Xiaotie Deng

专题命中 效率与部署 ：LLM(abstract,abstract_cn)

AI总结 针对数据交易中缺乏经济激励的问题，提出基于链式交易模型和利润再分配机制，通过算法计算序贯均衡，理论证明和实验表明该机制能扩大交易量并提升社会福利。

ViQ: Text-Aligned Visual Quantized Representations at Any Resolution

ViQ: 任意分辨率下的文本对齐视觉量化表示

Xumin Yu, Zuyan Liu, Zhenyu Yang, Yuhao Dong, Shengsheng Qian, Jiwen Lu, Han Hu, Yongming Rao

机构 * Tencent HY Vision Team（腾讯HY视觉团队） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；language model(abstract)

AI总结 提出ViQ框架，通过文本对齐预训练和特征离散化两阶段量化学习，平衡离散表示中的语义与细节，支持原生分辨率输入，在多模态任务中取得与连续高维特征编码器相当的性能，并实现20%-70%的训练加速。

Comments Accepted to ECCV 2026

An Iterative Test-and-Repair Framework for Competitive Code Generation

面向竞争性代码生成的迭代测试与修复框架

Lingxiao Tang, Muyang Ye, Zhaoyang Chu, Xiaoxue Ren, Zhongxin Liu, Lingfeng Bao, He Ye

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 FixAudit通过迭代测试与修复循环改进代码生成，通过共享模型和专门角色联合训练，提升代码质量与测试覆盖率。

Think in English, Answer in Korean: Efficient Adaptation of Multilingual Tool-Using Agents

用英语思考，用韩语回答：多语言工具使用智能体的高效适配

Utsav Garg, Sungjin Hong, Jason Jung, Justin Lee, Shaan Desai, Joon Hee Kim, Anirudh Shrinivason, Edmond Wen, Susie Park

机构 * Cohere ； LG CNS 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出LuckyStar 111B混合推理模型，通过多语言监督微调、可验证奖励强化学习、语言一致性奖励和4-bit量化，高效适配多语言工具使用智能体，提升数学推理、函数调用和NL2SQL性能。

Transformers as Bayesian In-Context Experimenters: Smoothness-Adaptive Efficient ATE Estimation

Transformer作为贝叶斯上下文实验者：平滑自适应的高效ATE估计

Jiachun Li, David Simchi-Levi

机构 * Laboratory for Information and Decision Systems, MIT（麻省理工学院信息与决策系统实验室） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出贝叶斯上下文实验者框架，利用Transformer模仿贝叶斯后验Neyman分配策略，通过注意力机制和投影梯度下降实现平滑自适应的平均处理效应高效估计。

When transformers learn "impossible" languages, what do they learn?

当Transformer学习“不可能”语言时，它们学到了什么？

Ram Janarthan, Coleman Haley, Sharon Goldwater

机构 * University of Edinburgh（爱丁堡大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过训练GPT-2模型于英语的“不可能”变体，发现模型在语法敏感性上仅逐渐退化，但在生成任务中显著失败，提出生成缺陷是语言不可习得性的可能解释。

Comments CoNLL 2026 (Best Paper Award). 14 pages, 3 figures

Brevity is the Soul of Inference Efficiency: Inducing Concision in VLMs via Data Curation

简洁是推理效率的灵魂：通过数据策展诱导VLM的简洁性

DatologyAI, :, Matthew L. Leavitt, Siddharth Joshi, Haoli Yin, Rishabh Adiga, Haakon Mongstad, Alvin Deng, David Schwab, Bogdan Gaza, Ari Morcos

机构 * DatologyAI 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过预训练数据策展诱导视觉语言模型输出简洁答案，从而降低推理成本，在保持精度的同时实现35倍成本优势。

Comments 36 pages, see https://datologyai.com for more information

TabPATE: Differentially Private Tabular In-Context Learning Without Public Data

TabPATE: 无需公开数据的差分隐私表格上下文学习

Dariush Wahdany, Matthew Jagielski, Jesse C. Cresswell, Adam Dziedzic, Franziska Boenisch

机构 * CISPA（CISPA亥姆霍兹信息安全中心） ； Anthropic ； Layer 6 AI 纠错

专题命中 效率与部署 ：foundation model(abstract,comments)；分类 cs.LG

AI总结 提出TabPATE，一种无需公开数据的差分隐私PATE风格防御方法，通过教师模型分区和私有聚合生成学生上下文，在表格基准上保持可用性并将成员推断降至随机水平。

Comments Presented at the 2nd ICML Workshop on Foundation Models for Structured Data (2026)

The Speedup Paradox: Rethinking Inference Speed-Quality Trade-off in Embodied Tasks

加速悖论：具身任务中推理速度与质量权衡的再思考

Yujin Wang, Junli Chen, Yixuan Li, Shunan Dong, Huazhong Yang, Yongpan Liu, Hongyang Jia

机构 * Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

AI总结 提出TISED分析框架，揭示具身任务中推理加速技术对任务级性能的悖论效应：静态任务中可能延长完成时间，动态任务中适度优化可提升成功率，且效果受硬件配置影响。

Comments 23 pages

SMART: When is it Actually Worth Expanding a Speculative Tree?

SMART: 在什么情况下扩展推测树实际上是有价值的？

Lifu Wang, Pan Zhou

机构 * Singapore Management University（新加坡管理大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；分类 cs.AI

AI总结 SMART系统通过运行时树构建优化，提升生成速度，通过边际效益-成本分析，在不同硬件和批量规模下实现平均20%的额外加速。

Comments Accepted by ECCV 2026

A Conformal Selection Framework for Individual Treatment Beneficiaries with Auxiliary External Data

一个带有辅助外部数据的个体治疗受益者共形选择框架

Jiajun Liu, Ke Zhu, Xiaofei Wang

专题命中 效率与部署 ：foundation model(abstract)

AI总结 提出一个模型无关的共形推断框架，将基于CATE的治疗受益选择转化为多重检验问题，通过共形p值和Benjamini-Hochberg程序控制FDR，并利用外部数据提高效率。

Adapting Generalist Robot Policies with Semantic Reinforcement Learning

基于语义强化学习的通用机器人策略自适应

Jagdeep Singh Bhatia, Andrew Wagenmaker, William Chen, Sergey Levine

机构 * U.C. Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：pretraining(abstract)

AI总结 提出语义动作强化学习（SARL），通过在线交互优化语言提示空间，利用通用策略的预训练技能解决复杂长时任务，显著优于现有方法。

Comments Website: https://semantic-action-rl.github.io/