语言大模型 / LLM

Generative Synthetic Data for Causal Inference: Pitfalls, Remedies, and Opportunities

生成性合成数据用于因果推断：陷阱、解决方法与机遇

Yichen Xu

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文探讨生成合成数据在因果推断中的局限性，提出混合合成数据框架以提升因果效度，通过实验验证其在不同场景下的优势。

Inverting the Streaming-Diffusion Bottleneck: Video-Rate MLLM-Conditioned Edit Diffusion on a Consumer GPU

基于视觉感知的多模态大语言模型条件编辑扩散的视频率流式风格化：蒸馏UNet + MLLM文本编码器上的非对称批处理推理

Yoshiyuki Ootani

机构 * Independent researcher（独立研究员） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对蒸馏扩散模型中文本编码器成为瓶颈的问题，提出一种结合非对称CUDA流水线、编译友好的ControlNet-LLLite重构和周期性条件刷新调度的流式管线，在消费级GPU上实现视频率实时风格化编辑。

Comments 14 pages, 4 figures, 13 tables. Code, evaluation harness, and the released Temporal LLLite adapter weights are at https://github.com/otanl/dreamlite-stream (also mirrored to Hugging Face and Zenodo)

Algorithmic Recourse of In-Context Learning for Tabular Data

表格数据的上下文学习算法补救

Wenshuo Dong, Jiaming Zhang, Shaopeng Fu, Hongbin Lin, Di Wang, Lijie Hu

机构 * Mohamed bin Zayed University of Artificial Intelligence, United Arab Emirates（阿联酋人工智能马尔代夫 bin Zayed 大学） ； University of Copenhagen, Denmark（丹麦哥本哈根大学） ； Renmin University of China, China（中国人民大学） ； King Abdullah University of Science and Technology, Saudi Arabia（沙特阿拉伯王国科学与技术大学） ； The Hong Kong University of Science and Technology(Guangzhou), China（广州科技大学（香港）） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对表格数据上下文学习中的黑箱模型，提出自适应子空间补救框架ASR-ICL，通过零阶优化高效生成可操作且稀疏的补救方案，理论证明补救有界且随上下文增大收敛至经典解。

Comments Accepted by ICML 2026

Inference-Time Machine Unlearning via Gated Activation Redirection

推理时的机器去学习 via 门控激活重定向

Vinícius Conte Turani, Otávio Parraga, João Vitor Boer Abitante, Kristen K. Arguello, Joana Pasquali, Ramiro N. Barros, Flavio du Pin Calmon, Christian Mattjie, Rodrigo C. Barros, Lucas S. Kupssinskü

机构 * MALTA, Machine Learning Theory and Applications Lab, PUCRS, Porto Alegre, Brazil（MALTA机器学习理论与应用实验室，PUCRS，波士顿-阿尔格雷，巴西） ； Harvard University（哈佛大学） ； Kunumi Institute, Brazil（库努米研究所，巴西） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出了一种无需训练和梯度的机器去学习方法GUARD-IT，通过在推理时依赖输入的激活引导来消除特定数据集的影响，同时保持模型性能，且在量化部署下仍有效。

Xray-Visual Models: Scaling Vision models on Industry Scale Data

Xray-Visual模型：在产业级数据上扩展视觉模型

Shlok Mishra, Tsung-Yu Lin, Linda Wang, Hongli Xu, Yimin Liu, Michael Hsu, Chaitanya Ahuja, Hao Yuan, Jianpeng Cheng, Hong-You Chen, Haoyuan Xu, Chao Li, Sreya Dutta Roy, Abhijeet Awasthi, Jihye Moon, Don Husa, Michael Ge, Sumedha Singla, Arkabandhu Chowdhury, Phong Dingh, Satya Narayan Shukla, Yonghuan Yang, David Jacobs, Qi Guo, Jun Xiao, Xiangjun Fan, Aashu Singh

机构 * Meta-AI ； MIT（麻省理工学院） ； University of Maryland（马里兰大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Xray-Visual通过三阶段训练流程和LLM2CLIP技术，在产业级数据上实现高效多模态视觉模型，取得最佳性能并提升鲁棒性与泛化能力。

Predict the Retrieval! Test time adaptation for Retrieval Augmented Generation

预测检索！面向检索增强生成的测试时自适应方法

Xin Sun, Zhongqi Chen, Qiang Liu, Shu Wu, Bowen Song, Weiqiang Wang, Zilei Wang, Liang Wang

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出TTARAG方法，在测试时动态更新语言模型参数以预测检索内容，从而提升RAG系统在专业领域的泛化性能。

Comments ICASSP 2026

Journal ref ICASSP 2026 - 2026 IEEE International Conference on Acoustics, ICASSP 2026 - 2026 IEEE International Conference on Acoustics, ICASSP 2026 - 2026 IEEE International Conference on Acoustics,

TagSpeech: End-to-End Multi-Speaker ASR and Diarization with Fine-Grained Temporal Grounding

TagSpeech：基于细粒度时间定位的端到端多说话人自动语音识别与说话人分离

Mingyue Huo, Yiwen Shao, Yuheng Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 研究提出TagSpeech框架，利用时间锚点定位技术联合多说话人ASR与说话人分离。通过关键设计解决细粒度对齐挑战，端到端建模“谁在何时说了什么”。实验显示其在DER上优于基线，采用参数高效训练范式，低计算成本获强性能。

Comments Accepted to ACL2026 Main Oral; v2: added overlap analysis in Section 5.2

Do Implicit Personalization and Explicit Styles Conflict? PsPLUG: A Lightweight Plug-in for Balancing Personalization and Style in Customized LLMs

隐式个性化与显式风格冲突吗？PsPLUG：用于在定制大语言模型中平衡个性化与风格的轻量级插件

Yutong Song, Jiang Wu, Shaofan Yuan, Chengze Shen, Jian Wang, Yu Wang, Nikil Dutt, Amir M. Rahmani

机构 * University of California, Irvine（加州大学伊文斯顿分校） ； TikTok Inc.（TikTok公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究个性化大语言模型中显式风格指令与隐式用户偏好冲突问题，提出轻量级插件PsPLUG，它能在考虑风格后学习用户特定残差并可调整个性化强度，实验证明其能更好平衡个性化与风格遵循，保留用户偏好。

DASH: Dynamic Audio-Driven Semantic Chunking for Efficient Omnimodal Token Compression

DASH：动态音频驱动的语义分块以实现高效的多模态令牌压缩

Bingzhou Li, Tao Huang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tongji University（同济大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 DASH通过动态音频驱动的语义分块方法，有效压缩多模态令牌，提升推理效率，优于传统固定窗口分块和注意力剪枝方法。

Comments ECCV 2026

Effective Distillation to Hybrid xLSTM Architectures

有效蒸馏到混合xLSTM架构

Lukas Hauzenberger, Niklas Schmidinger, Thomas Schmied, Anamaria-Roberta Hartl, David Stap, Pieter-Jan Hoedt, Maximilian Beck, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出有效蒸馏方法，通过引入合并阶段提升xLSTM学生模型性能，实现在多个下游任务中接近或超越教师模型表现。

NextCrystal: a Symmetry-Driven Generative Framework for Crystal Structure Prediction

NextCrystal：用于晶体结构预测的对称驱动生成框架

Jinming Mu, Lixin He, Xudong Zhu, Shi Yin

机构 * Laboratory of Quantum Information, University of Science and Technology of China（量子信息实验室，中国科学技术大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（人工智能研究院，合肥综合性国家科学中心） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对晶体结构预测难题，引入NextCrystal框架，用大语言模型编码化学语义，经启发式波束搜索和扩散主干，实现从原子化学计量比直接生成精细Wyckoff位点模式，性能达最优并发现新相。

Generative Pseudo-Labeling for Pre-Ranking with LLMs

用于预排序的生成式伪标签与语言模型

Junyu Bi, Xinting Niu, Daixuan Cheng, Kun Yuan, Tao Wang, Binbin Cao, Jian Wu

机构 * Alibaba Group（阿里巴巴集团） ； Renmin University（中国人民大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究工业推荐系统预排序中训练与服务差异问题，提出生成式伪标签框架GPL，利用语言模型为未曝光物品生成无偏伪标签，提升点击率、推荐多样性和长尾物品发现。

Knowing When Not to Answer: Lightweight KB-Aligned OOD Detection for Safe RAG

知道何时不回答：用于安全检索增强生成的轻量级知识库对齐的域外检测

Ilias Triantafyllopoulos, Renyi Qu, Salvatore Giorgi, Brenda Curtis, Lyle H. Ungar, João Sedoc

机构 * New York University（纽约大学） ； National Institute on Drug Abuse（国家成瘾医学研究所） ； University of Pennsylvania（宾夕法尼亚大学） ； Microsoft（微软公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 研究用于检索增强生成（RAG）系统的轻量级、知识库对齐的域外检测，通过PCA处理知识库嵌入，用方差保留或t检验排序选择子空间评分查询，评估规则和分类器，发现低维检测器性能好且更优。

Optimal-Agent-Selection: State-Aware Routing Framework for Efficient Multi-Agent Collaboration

最优智能体选择：用于高效多智能体协作的状态感知路由框架

Jingbo Wang, Sendong Zhao, Haochun Wang, Yuzheng Fan, Ting Liu

机构 * Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中⼼） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对多智能体系统中智能体调度和协调策略的不足，提出状态感知路由框架STRMAC，通过编码交互历史和智能体知识选择合适智能体，并引入自进化数据生成法，实验表明其性能达最优。

OctoPipe: Reducing Pipeline Bubbles for Heterogeneous Models via Co-Optimizing Partitioning, Placement, and Scheduling

OctoPipe：通过共同优化分区、放置和调度减少异构模型的流水线气泡

Jihu Guo, Tenghui Ma, Wei Gao, Peng Sun, Xun Chen, Jiaxing Li, Zhisheng Ye, Yuyang Jin, Dahua Lin

机构 * FDU & Shanghai AI Laboratory（复旦大学及上海人工智能实验室） ； HKUST（香港科技大学） ； Unaffiliated（无隶属机构） ； Tsinghua University（清华大学） ； CUHK & SenseTime Research（香港大学及SenseTime研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对模型架构异构性加剧流水线气泡降低训练效率的问题，提出OctoPipe系统，通过构建模拟器、开发调谐器、实现执行器共同优化分区、放置和调度，提升了吞吐量。

Comments 14 pages, 12 Figures; Accepted by SC'26;

Memory-Efficient FastText: A Comprehensive Approach Using Double-Array Trie Structures and Mark-Compact Memory Management

内存高效的FastText：一种使用双数组trie结构和标记紧凑内存管理的综合方法

Yimin Du

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 研究提出内存高效的FastText变体，基于先精确后压缩原则，用双数组trie索引替换哈希桶，经合并和重排压缩矩阵，在中文基准测试中显著减少内存、提升加载速度并保持下游质量。

Comments 11 pages

Room Scene Discovery and Grouping in Unstructured Vacation Rental Image Collections

非结构化度假租赁图像集合中的房间场景发现与分组

Vignesh Ram Nithin Kappagantula, Shayan Hassantabar

机构 * Expedia Group（Expedia集团） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对度假租赁平台图片缺乏结构化分类的问题，提出一种低延迟、样本高效的机器学习流水线，通过监督式房间类型检测、重叠检测和聚类算法实现房间分组，并利用多模态大语言模型识别床型，显著优于对比学习和预训练嵌入聚类方法。

Comments Presented at the Two-sided Marketplace Optimization Workshop, KDD 2025

Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs

基于置信度蒸馏的门控关系对齐用于高效视觉语言模型

Yanlong Chen, Amirhossein Habibian, Luca Benini, Yawei Li

机构 * Department of Information Technology（信息科技系） ； Electrical Engineering, ETH Zurich, Zurich, Switzerland（电气工程，苏黎世联邦理工学院，苏黎世，瑞士） ； Qualcomm AI Research, Amsterdam, the Netherlands（高通人工智能研究，阿姆斯特丹，荷兰） ； Department of Electrical, Electronic and Information Engineering（电气、电子与信息工程系） ； University of Bologna, Bologna, Italy（博洛尼亚大学，博洛尼亚，意大利） ； School of Electrical and Electronic Engineering（电气与电子工程学院） 纠错

专题命中 效率与部署 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出GRACE框架，通过信息瓶颈原理统一知识蒸馏与量化感知训练，使用置信度门控解耦蒸馏、关系中心核对齐和自适应控制器，在INT4量化下实现性能超越FP16基线并接近教师模型，同时显著降低内存和提升吞吐量。

Comments Accepted to the International Conference on Machine Learning (ICML 2026)

Accelerating Attention with Basis Decomposition

基于基分解加速注意力机制

Jialin Zhao

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出BD Attention（BDA），通过基分解将多头投影重构为紧凑形式，实现无损且架构无关的注意力加速，在DeepSeek-V2-Lite上KV投影加速34%、权重减小25%，困惑度仅增0.02%。

Linguistics and Human Brain: A Perspective of Computational Neuroscience

语言学与人脑：计算神经科学的视角

Fudong Zhang, Bo Chai, Yujie Wu, Wai Ting Siok, Nizhuan Wang

机构 * Institute of AI and Robotics, College of Intelligent Robotics and Advanced Manufacturing, Fudan University（人工智能与机器人研究院，智能机器人与先进制造学院，复旦大学） ； Department of Language Science and Technology, The Hong Kong Polytechnic University（语言科学与技术系，香港理工大学） ； Department of Computing, The Hong Kong Polytechnic University（计算系，香港理工大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文从计算神经科学视角，通过建模、模拟和数据分析将语言层次动态结构转化为可测试神经模型，并利用深度学习和大语言模型探索语言处理的神经基础。

Journal ref Cognitive Neurodynamics, 2026

Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?

评估 AGENTS.md：仓库级上下文文件对编码助手有帮助吗？

Thibaud Gloaguen, Niels Mündler, Mark Müller, Veselin Raychev, Martin Vechev

机构 * Department of Computer Science（计算机科学系） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 通过SWE-bench任务和开发者提交的上下文文件，评估发现上下文文件并未普遍提升编码助手的任务成功率，反而平均增加20%以上的推理成本。

Block-wise Codeword Embedding for Reliable Multi-bit Text Watermarking

分块码字嵌入用于可靠的多比特文本水印

Joeun Kim, HoEun Kim, Dongsup Jin, Young-Sik Kim

机构 * Department of AI, DGIST, Daegu, Republic of Korea（韩国大邱科学技术院人工智能系） ； Department of EECS, DGIST, Daegu, Republic of Korea（韩国大邱科学技术院电子工程与计算机科学系） ； ICT convergence, University of Ulsan, Ulsan, Republic of Korea（韩国釜山大学信息通信融合学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出BREW框架，通过分块盲消息估计和窗口位移验证，解决多比特水印中高误报率问题，实现高真阳性率和低误报率。

Comments Accepted at ICML 2026

dMoE: dLLMs with Learnable Block Experts

dMoE: 具有可学习块专家的扩散大语言模型

Sicheng Feng, Zigeng Chen, Gongfan Fang, Xinyin Ma, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对扩散大语言模型与混合专家架构集成时块并行解码与令牌级专家选择不匹配导致的推理内存瓶颈，提出dMoE框架，通过聚合块内令牌级专家分布为统一的块级专家分布来减少激活专家数量，在保持性能的同时显著降低内存使用和延迟。

Comments Working in progress. Code is available at: \url{https://github.com/fscdc/dMoE}

Sink-Token-Aware Pruning for Fine-Grained Video Understanding in Efficient Video LLMs

面向高效视频大语言模型的sink-token感知剪枝：用于细粒度视频理解

Kibum Kim, Jiwan Kim, Kyle Min, Yueqi Wang, Jinyoung Moon, Julian McAuley, Chanyoung Park

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国高级科学技术研究院） ； Oracle ； University of California, San Diego（加州大学圣地亚哥分校） ； Electronics and Telecommunications Research Institute (ETRI)（电子电信研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出Sink-Token-aware Pruning方法，通过识别并抑制semantically uninformative tokens，提升细粒度视频理解性能，在多种基准测试中表现优异。

Comments ECCV 2026

CoDe-R: Refining Decompiler Output with LLMs via Rationale Guidance and Adaptive Inference

CoDe-R: 通过原理引导和自适应推理利用大语言模型优化反编译器输出

Qiang Zhang, Zhongnian Li

机构 * School of Computer Science and Technology / School of Artificial Intelligence, China University of Mining and Technology（计算机科学与技术学院/人工智能学院，中国矿业大学） ； Mine Digitization Engineering Research Center of the Ministry of Education, China University of Mining and Technology（教育部矿山数字化工程研究中心，中国矿业大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出CoDe-R框架，通过语义认知增强和动态双路径回退机制，在轻量级模型上首次实现平均可重执行率超过50%，显著提升反编译代码质量。

Comments 11 pages, 7 figures, 6 tables. Accepted by IJCNN 2026

Toward Human-Centered AI-Assisted Terminology Work

迈向以人为中心的AI辅助术语工作

Antonio San Martin

机构 * Universite du Quebec à Trois-Rivieres（魁北克大学三河分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出以人为中心的人工智能框架，在利用生成式AI自动化术语工作的同时，通过增强术语学家能力、保持人类控制权来确保术语数据的准确性和可靠性。

Comments Accepted for publication in the journal Terminology

DSB: Dynamic Sliding Block Scheduling for Diffusion LLMs

DSB: 扩散语言模型的动态滑动块调度

Lizhuo Luo, Shenggui Li, Yonggang Wen, Tianwei Zhang

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对扩散语言模型固定块调度忽视语义难度的问题，提出无训练的动态滑动块方法DSB及配套KV缓存机制DSB Cache，显著提升生成质量和推理效率。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

Automating Low-Risk Code Review at Meta: RADAR, Risk Calibration, and Review Efficiency

自动化低风险代码审查在Meta：RADAR、风险校准与审查效率

Chris Adams, Arjun Singh Banga, Parveen Bansal, Souvik Bhattacharya, Payal Bhuptani, Rujin Cao, Pedro Canahuati, Nate Cook, Brian Ellis, Prabhakar Goyal, Gurinder Grewal, Tianyu He, Matt Labunka, Alex Manners, David Molnar, Ging Cee Ng, Vishal Parekh, Jiefu Pei, Frederic Sagnes, James Saindon, Will Shackleton, Sid Sidhu, Gursharan Singh, Karthik Chengayan Sridhar, Matt Steiner, Pratibha Udmalpet, Sean Xia, Stacey Yan, Audris Mockus, Peter Rigby, Nachiappan Nagappan

机构 * Meta USA, UK, Canada（Meta美国、英国、加拿大） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出RADAR系统，通过多阶段漏斗对代码差异进行风险分层自动化审查，在Meta部署后显著提升审查效率并降低风险。

MegaFold: Efficient Training of Next-Generation 3D Attention Protein Models on Cross-Platform GPUs

MegaFold: 跨平台GPU上高效训练下一代3D注意力蛋白质模型

Hoa La, Ahan Gupta, Alex Morehead, Jianlin Cheng, Minjia Zhang

机构 * UIUC SSAIL Lab（UIUC SSAIL实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 针对AlphaFold3类模型因3D注意力机制导致训练效率低的问题，提出MegaFold系统，通过高效内核、分片策略、算子融合和流水线优化，在NVIDIA和AMD GPU上实现更长序列训练和加速。

Comments 13 pages, 12 figures

Towards Steering without Sacrifice: Principled Training of Steering Vectors for Prompt-only Interventions

无牺牲的引导：面向仅提示干预的引导向量的原则性训练

Yuntai Bao, Qinfeng Li, Xinyan Yu, Ge Su, Wenqi Zhang, Liu Yan, Haiqin Weng, Jianwei Yin, Xuhong Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出联合训练引导因子和方向的方法，消除后验因子选择；引入仅提示引导向量（PrOSV），仅干预少量提示词，在AxBench上优于传统全序列引导向量，并实现更好的通用模型效用与对抗鲁棒性权衡。

Comments 63 pages, 50 figures; accepted by ICML 2026