语言大模型 / LLM

Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders

自回归排序：在双编码器和交叉编码器之间架起桥梁

Benjamin Rozonoyer, Chong You, Michael Boratko, Himanshu Jain, Nilesh Gupta, Srinadh Bhojanapalli, Andrew McCallum, Felix Yu

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Google Research（谷歌研究院） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SToICaL损失，通过项级再加权和前缀树边际化，提升LLM在排序任务中的表现，证明ARR在表达能力上优于双编码器。

Comments 22 pages, 5 figures

PaTH Attention: Position Encoding via Accumulating Householder Transformations

PaTH Attention: 通过累积Householder变换实现位置编码

Songlin Yang, Yikang Shen, Kaiyue Wen, Shawn Tan, Mayank Mishra, Liliang Ren, Rameswar Panda, Yoon Kim

机构 * Massachusetts Institute of Technology（麻省理工学院） ； MIT-IBM Watson AI Lab（MIT-IBM Watson人工智能实验室） ； Stanford University（斯坦福大学） ； Microsoft（微软公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 PaTH Attention通过累积Householder变换实现数据依赖的位置编码，提升Transformer模型的表达能力。

Comments NeurIPS 2025 camera ready

Data-Free Privacy-Preserving for LLMs via Model Inversion and Selective Unlearning

无需数据的隐私保护：通过模型反向和选择性遗忘

Xinjie Zhou, Zhihui Yang, Lechao Cheng, Sai Wu, Gang Chen

机构 * School of Software Technology, Zhejiang University（浙江大学软件技术学院） ； Zhejiang University（浙江大学） ； Hefei University of Technology（合肥工业大学） ； Institute of Fundamental and Transdisciplinary Research, Zhejiang University（浙江大学基础与交叉学科研究院） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江区）区块链与数据安全研究院） ； The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室） ； Zhejiang Key Laboratory of Big Data Intelligent Computing（浙江省大数据智能计算重点实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Data-Free Selective Unlearning方法，通过模型反向和选择性遗忘技术，在不访问训练数据的情况下有效移除LLM中的敏感PII，同时保持模型性能。

ICPO: Illocution-Calibrated Policy Optimization for Multi-Turn Conversation

ICPO：用于多轮对话的意涵校准策略优化

Zhebo Wang, Xiaohu Mu, Zijie Zhou, Mohan Li, Wenpeng Xing, Dezhang Kong, Meng Han

机构 * Zhejiang University（浙江大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； China University of Petroleum (Beijing)（中国石油大学（北京）） ； Guangzhou University（广州大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 ICPO通过校准模型对指令模糊性的感知，提升多轮对话的鲁棒性和协作性，实现75%的性能提升。

Comments Accepted by ICASSP 2026

Say Anything but This: When Tokenizer Betrays Reasoning in LLMs

说任何事但并非如此：当分词器背叛大语言模型的推理

Navid Ayoobi, Marcus I Armstrong, Arjun Mukherjee

机构 * University of Houston（休斯顿大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现分词器的不一致导致LLM推理错误，通过一致性探针揭示了分词引起的表征缺陷，并提出分词层面的修复方法。

Style Transfer as Bias Mitigation: Diffusion Models for Synthetic Mental Health Text for Arabic

风格迁移作为偏见缓解：用于阿拉伯语合成心理健康文本的扩散模型

Saad Mankarious, Aya Zirikly

机构 * School of Engineering and Applied Science（工程与应用科学学院） ； George Washington University（乔治·华盛顿大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于扩散模型的风格迁移方法，用于生成阿拉伯语心理健康文本，以缓解性别偏见问题。

TREX: Tokenizer Regression for Optimal Data Mixture

TREX：用于最优数据混合的分词回归

Inho Won, Hangyeol Yoo, Minkyung Cho, Jungyeul Park, Hoyun Song, KyungTae Lim

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 TREX通过回归方法高效预测最优数据混合，提升多语言分词器的压缩效率和实用性。

Comments Accepted to EACL 2026. Long Paper. (19 languages studied: Chinese, Greek, Japanese, etc.)

Preconditioning Benefits of Spectral Orthogonalization in Muon

谱正交化在缪子中的预条件化优势

Jianhao Ma, Yu Huang, Yuejie Chi, Yuxin Chen

机构 * Penn Department of Statistics and Data Science, Wharton School, University of Pennsylvania（宾夕法尼亚大学统计与数据科学系，沃顿商学院，宾夕法尼亚大学） ； Yale Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系，耶鲁大学） ； Department of Electrical and Systems Engineering, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系，宾夕法尼亚大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过矩阵分解和上下文学习案例，证明简化版缪子在谱域中通过独立序列实现线性收敛，优于梯度下降和Adam。

A Multi-Agent System for Generating Actionable Business Advice

生成可操作商业建议的多智能体系统

Kartikey Singh Bhandari, Tanish Jain, Archit Agrawal, Dhruv Kumar, Praveen Kumar, Pratik Narang

机构 * Birla Institute of Technology and Science, Pilani（比拉理工学院和科学学院） ； Birdeye Inc.（Birdeye公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于多智能体和LLM的框架，通过整合聚类、生成、迭代评估和可行性排序，生成具体且可操作的商业建议。

sui-1: Grounded and Verifiable Long-Form Summarization

sui-1：可验证的长文本摘要

Benedikt Droste, Jan Philipp Harries, Maximilian Idahl, Björn Plüster

机构 * ellamind 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 sui-1通过生成带引用的摘要，解决了大型语言模型摘要不可验证的问题，展示了任务特定训练在引用支持摘要中的优越性。

Comments 13 pages, 4 figures, model weights at https://huggingface.co/ellamind/sui-1-24b

AdaFuse: Adaptive Ensemble Decoding with Test-Time Scaling for LLMs

AdaFuse: 用于大语言模型的自适应集成解码与测试时缩放

Chengming Cui, Tianxin Wei, Ziyi Chen, Ruizhong Qiu, Zhichen Zeng, Zhining Liu, Xuying Ning, Duo Zhou, Jingrui He

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 AdaFuse通过自适应集成解码与测试时缩放，提升大语言模型在多种任务上的生成性能。

Multilingual Amnesia: On the Transferability of Unlearning in Multilingual LLMs

多语言失忆：多语言大语言模型中卸载的可转移性研究

Alireza Dehghanpour Farashah, Aditi Khandelwal, Marylou Fauchard, Zhuan Shi, Negar Rostamzadeh, Golnoosh Farnadi

机构 * Mila – Quebec AI Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； Université de Montréal（蒙特利尔大学） ； Google Research（谷歌研究） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本研究探讨多语言大语言模型中卸载的可转移性，通过实验发现语法相似性是预测跨语言卸载行为的关键因素。

Towards Compositional Generalization of LLMs via Skill Taxonomy Guided Data Synthesis

通过技能分类引导的数据合成实现大语言模型的组合泛化

Yifan Wei, Li Du, Xiaoyan Yu, Yang Feng, Angsheng Li

机构 * State Key Laboratory of Complex & Critical Software Environment, Beihang University（复杂与关键软件环境国家重点实验室，北京航空航天大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Beijing Institute of Technology（北京理工大学） ； Institute of Computing Technology, CAS（中国科学院计算技术研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 STEPS通过技能分类引导的数据合成提升大语言模型的组合泛化能力。

Comments The code and data for our methods and experiments are available at https://github.com/weiyifan1023/STEPS

Joint Selection for Large-Scale Pre-Training Data via Policy Gradient-based Mask Learning

通过基于策略梯度的掩码学习进行大规模预训练数据的联合选择

Ziqing Fan, Yuqiao Xian, Yan Sun, Li Shen

机构 * Shanghai Jiao Tong University（上海交通大学） ； University of Sydney（悉尼大学） ； Sun Yat-sen University Shenzhen Campus（中山大学深圳校区） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 DATAMASK通过联合学习优化质量和多样性度量，显著提升大规模预训练数据选择效率和模型性能

UniHetero: Could Generation Enhance Understanding for Vision-Language-Model at Large Data Scale?

UniHetero：生成能否在大规模数据下增强视觉-语言模型的理解？

Fengjiao Chen, Minhao Jing, Weitao Lu, Yan Feng, Xiaoyu Li, Xuezhi Cao

机构 * Meituan, Beijing, China（美团，北京，中国） 纠错

专题命中 预训练与数据 ：LLM(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 UniHetero通过大规模预训练探索生成对视觉-语言模型理解的增强作用，发现语义层面生成有效，而像素层面生成会导致理解性能下降。

State-of-the-art Small Language Coder Model: Mify-Coder

最先进的小型语言编码器模型：Mify-Coder

Abhinav Parmar, Abhisek Panigrahi, Abhishek Kumar Dwivedi, Abhishek Bhattacharya, Adarsh Ramachandra, Aditya Choudhary, Aditya Garg, Aditya Raj, Alankrit Bhatt, Alpesh Yadav, Anant Vishnu, Ananthu Pillai, Ankush Kumar, Aryan Patnaik, Aswatha Narayanan S, Avanish Raj Singh, Bhavya Shree Gadda, Brijesh Pankajbhai Kachhadiya, Buggala Jahnavi, Chidurala Nithin Krishna, Chintan Shah, Chunduru Akshaya, Debarshi Banerjee, Debrup Dey, Deepa R., Deepika B G, Faiz ur Rahman, Gagan Gayari, Gudhi Jagadeesh Kumar Naidu, Gursimar Singh, Harshal Tyagi, Harshini K, James Mani Vathalloor, Jayarama Nettar, Jayashree Gajjam, Joe Walter Sugil George, Kamalakara Sri Krishna Tadepalli, Kamalkumar Rathinasamy, Karan Chaurasia, Karthikeyan S, Kashish Arora, Kaushal Desai, Khushboo Buwade, Kiran Manjrekar, Malikireddy Venkata Sai Likhitha, Manjunath A, Mitali Mahavir Bedmutha, Mohammed Rafee Tarafdar, Nikhil Tiwari, Nikitha K Gigi, Pavan Ravikumar, Pendyala Swarnanjali, Piyush Anand, Prakash Chandrasekar, Prasanna Bhalchandra Gawade, Prasanth Sivan, Preeti Khurana, Priyanshi Babbar, Rajab Ali Mondal, Rajesh Kumar Vissapragada, Rajeshwari Ganesan, Rajeswari Koppisetti, Ramjee R., Ramkumar Thiruppathisamy, Rani G. S., S Reka, Samarth Gupta, Sandeep Reddy Kothakota, Sarathy K, Sathyanarayana Sampath Kumar, Saurabh Kumar, Shashank Khasare, Shenbaga Devi Venkatesh Kumar, Shiva Rama Krishna Parvatham, Shoeb Shaikh, Shrishanmathi A, Shubham Pathak, Sree Samhita Koppaka, Sreenivasa Raghavan K S, Sreeram Venkatasubramanian, Suprabha Desai Bojja, Swetha R, Syed Ahmed, Chinmai Harshitha Thota, Tushar Yadav, Veeravelly Kusumitha, V V S S Prasanth Patnaik, Vidya Sri Sesetti, Vijayakeerthi K, Vikram Raj Bakshi, Vinay K K, Vinoth Kumar Loganathan, Vipin Tiwari, Vivek Kumar Shrivastav, V Venkata Sri Datta Charan, Wasim Akhtar Khan

机构 * Infosys AI Research（英矽斯人工智能研究院） ； Mify Team（Mify团队） 纠错

专题命中 预训练与数据 ：LLM(abstract)；foundation model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 Mify-Coder通过高效训练策略和数据优化，在保持高准确性和安全性的同时，实现了比更大模型更优的代码生成性能。

HarmTransform: Transforming Explicit Harmful Queries into Stealthy via Multi-Agent Debate

HarmTransform: 通过多智能体辩论将显性有害查询转化为隐蔽形式

Shenzhe Zhu

机构 * University of Toronto（多伦多大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 HarmTransform通过多智能体辩论框架，系统地将有害查询转化为隐蔽形式，以提升大型语言模型的安全对齐能力。

Understanding the Mechanisms of Fast Hyperparameter Transfer

理解快速超参数转移的机制

Nikhil Ghosh, Denny Wu, Alberto Bietti

机构 * Flatiron Institute（Flatiron研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了深度学习中快速超参数转移的机制，通过理论分析和实验验证，揭示了转移策略在不同问题结构下的有效性及计算效率。

Comments 43 pages

QE-Catalytic: A Graph-Language Multimodal Base Model for Relaxed-Energy Prediction in Catalytic Adsorption

QE-Catalytic: 一种图-语言多模态基础模型，用于催化吸附中放松能量的预测

Yanjie Li, Jian Xu, Xueqing Chen, Lina Yu, Shiming Xiang, Weijun Li, Cheng-lin Liu

机构 * AnnLab（安实验室） ； Institute of Semiconductors, Chinese Academy of Sciences（半导体研究所，中国科学院） ； Zhongguancun Academy（中关村学院） ； State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统国家重点实验室） ； Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Computer Network Information Center（计算机网络信息中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 QE-Catalytic结合语言模型与图Transformer，实现高精度催化吸附能量预测及逆向设计

Comments 25 pages

Sigma-MoE-Tiny Technical Report

Sigma-MoE-Tiny 技术报告

Qingguo Hu, Zhenghao Lin, Ziyue Yang, Yucheng Ding, Xiao Liu, Yuting Jiang, Ruizhe Wang, Tianyu Chen, Zhongxin Guo, Yifan Xiong, Rui Gao, Lei Qu, Jinsong Su, Peng Cheng, Yeyun Gong

机构 * Microsoft Research（微软研究院） 纠错

专题命中 预训练与数据 ：language model(abstract)；foundation model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 Sigma-MoE-Tiny通过极端稀疏性实现高效参数利用，采用渐进稀疏化计划解决负载平衡问题，取得顶级性能。

C-ing Clearly: Enhanced Binary Code Explanations using C code

C-ing Clearly: 通过C代码增强二进制代码解释

Teodor Poncu, Ioana Pintilie, Marius Dragoi, Dragos Tantaru, Florin Brad

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过生成C代码数据提升LLM对汇编语言的理解，改进二进制代码摘要和漏洞检测性能。

Comments 18 pages, 5 figures

FLEX: Continuous Agent Evolution via Forward Learning from Experience

FLEX: 通过经验向前学习实现连续智能体进化

Zhicheng Cai, Xinyuan Guo, Yu Pei, Jiangtao Feng, Jinsong Su, Jiangjie Chen, Ya-Qin Zhang, Wei-Ying Ma, Mingxuan Wang, Hao Zhou

机构 * Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR）、清华大学） ； ByteDance Seed（字节跳动种子） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Informatics, Xiamen University（厦门大学信息学院） ； SIA-Lab of Tsinghua AIR and ByteDance Seed（清华大学AIR实验室和字节跳动种子） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 FLEX通过经验向前学习实现LLM智能体的持续进化，提升数学推理、化学逆合成和蛋白质预测性能，并揭示经验增长的扩展规律和跨智能体的经验继承现象。

Provable Benefit of Sign Descent: A Minimal Model Under Heavy-Tailed Class Imbalance

梯度符号下降的可证明收益：在重尾类不平衡下的最小模型

Robin Yadav, Shuo Xie, Tianhao Wang, Zhiyuan Li

机构 * Toyota Technological Institute at Chicago（丰田技术研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了在重尾类不平衡数据下，符号下降算法相较于GD的收敛优势，通过最小模型证明其有效性。

Ground Truth Generation for Multilingual Historical NLP using LLMs

Clovis Gladstone, Zhao Fang, Spencer Dean Stewart

机构 * ARTFL Project, Romance Languages and Literatures, University of Chicago（ARTFL项目， Romance语言与文学系，芝加哥大学） ； Department of History, University of Chicago（历史系，芝加哥大学） ； Libraries and School of Information Studies, Purdue University（图书馆与信息科学学院，普渡大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 13 pages, 5 tables, 1 figure

Journal ref CHR2025

Privacy-Preserving Retrieval-Augmented Generation with Differential Privacy

Tatsuki Koga, Ruihan Wu, Zhiyuan Zhang, Kamalika Chaudhuri

机构 * University of California, San Diego（加州大学圣迭戈分校） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Retracing the Past: LLMs Emit Training Data When They Get Lost

Myeongseob Ko, Nikhil Reddy Billa, Adam Nguyen, Charles Fleming, Ming Jin, Ruoxi Jia

机构 * Virginia Tech（弗吉尼亚理工大学） ； Cisco Research（思科研究） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI

Comments The 2025 Conference on Empirical Methods in Natural Language Processing

Describe Where You Are: Improving Noise-Robustness for Speech Emotion Recognition with Text Description of the Environment

Seong-Gyun Leem, Daniel Fulford, Jukka-Pekka Onnela, David Gard, Carlos Busso

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Imperfect Language, Artificial Intelligence, and the Human Mind: An Interdisciplinary Approach to Linguistic Errors in Native Spanish Speakers

Francisco Portillo López

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 12 pages, 3 figures

BanglaNirTox: A Large-scale Parallel Corpus for Explainable AI in Bengali Text Detoxification

Ayesha Afroza Mohsin, Mashrur Ahsan, Nafisa Maliyat, Shanta Maria, Syed Rifat Raiyan, Hasan Mahmud, Md Kamrul Hasan

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Comments Under review, 6 pages, 1 figure, 2 tables

From Amateur to Master: Infusing Knowledge into LLMs via Automated Curriculum Learning

Nishit Neema, Srinjoy Mukherjee, Sapan Shah, Gokul Ramakrishnan, Ganesh Venkatesh

机构 * Cerebras Systems（Cerebras系统） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI