语言大模型 / LLM

Elderly-Contextual Data Augmentation via Speech Synthesis for Elderly ASR

通过语音合成进行老年人语境数据增强用于老年人ASR

Minsik Lee, Seoi Hong, Chongmin Lee, Sieun Choi, Jian Kim, Jua Han, Jihie Kim

机构 * Department of Computer Science and Artificial Intelligence, Dongguk University（计算机科学与人工智能系，东国大学） ； Department of Biostatistics, Harvard University（生物统计学系，哈佛大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过结合大语言模型和语音合成技术，解决老年人ASR数据稀缺问题，实验表明方法有效降低WER达58.2%。

Comments 5 pages, 2 figures, under review at IEEE Signal Processing Letters

CARE: Counselor-Aligned Response Engine for Online Mental-Health Support

CARE：面向在线心理健康支持的咨询师对齐响应引擎

Hagai Astrin, Ayal Swaid, Avi Segal, Kobi Gal

机构 * Ben-Gurion University（本· Gurion 大学） ； School of Informatics, University of Edinburgh（爱丁堡大学信息学院） ； School of Informatics, University of Edinburgh Edinburgh UK（爱丁堡大学信息学院爱丁堡 英国） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 CARE通过针对希伯来语和阿拉伯语的微调，提升心理健康领域低资源语言下的响应质量，增强咨询师与求助者对话的动态结构和情感语境。

Comments 9 pages, 4 figures

Vision-Braille: A Curriculum Learning Toolkit and Braille-Chinese Corpus for Braille Translation

Vision-Braille: 一种课程学习工具包及用于盲文翻译的盲文-中文语料库

Alan Wu, Ye Yuan, Zhiping Xiao, Ming Zhang

机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, PKU-Anker LLM Lab, Peking University（多媒体信息处理国家重点实验室，计算机学院，PKU-Anker LLM实验室，北京大学） ； College of Agriculture and Life Sciences, Cornell University（农业与生命科学学院，康奈尔大学） ； Computer Science Department, University of California at Los Angeles（计算机科学系，加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文提出Vision-Braille，首个可公开获取的端到端系统，用于将图像中提取的中文盲文翻译成书面中文。该系统解决有限标注资源和声调缺失问题，结合鲁棒的盲文OCR流程与针对序列到序列翻译微调的LLM。

Understanding Secret Leakage Risks in Code LLMs: A Tokenization Perspective

理解代码大语言模型中的秘密泄露风险：从分词角度出发

Meifang Chen, Zhe Yang, Huang Nianchen, Yizhan Huang, Yichen Li, Zihan Li, Michael R. Lyu

机构 * The Chinese University of Hong Kong（香港中文大学） ； Nanyang Technological University（南洋理工大学） ； University of Southern California（南加州大学） ； Fudan University（复旦大学） 纠错

专题命中 预训练与数据 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.AI

AI总结 研究揭示代码大语言模型中因分词方式导致的秘密泄露问题，指出BPE分词引发的'垃圾话偏差'现象，并探讨其成因及缓解策略。

Comments Accepted by ACL 26 Findings

C-Mining: Unsupervised Discovery of Seeds for Cultural Data Synthesis via Geometric Misalignment

C-Mining：通过几何偏移无监督发现文化数据合成的种子

Pufan Zeng, Yilun Liu, Mingchen Dai, Mengyao Piao, Chunguang Zhao, Lingqi Miao, Shimin Tao, Weibin Meng, Minggui He, Chenxin Liu, Zhenzhen Qin, Li Zhang, Hongxia Ma, Boxing Chen, Daimeng Wei

机构 * Huawei China（华为中国） ； Huawei Canada（华为加拿大） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出C-Mining框架，通过几何偏移发现文化种子，提升文化理解与推理能力，实验显示在CulturalBench-Hard上提升6.03分。

BOSCH: Black-Box Binary Optimization for Short-Context Attention-Head Selection in LLMs

BOSCH: 用于LLMs中短上下文注意力头选择的黑盒二进制优化

Abbas Ghaddar, Ivan Kobyzev, Boxing Chen, Yufei Cui

机构 * Huawei Noah’s Ark Lab, Montreal Research Center, Canada（华为诺亚方舟实验室蒙特利尔研究中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 BOSCH通过黑盒二进制优化方法，针对LLMs中的短上下文注意力头选择问题，提出了一种无需训练的解决方案，通过大规模邻域搜索分解为三个子问题，优于现有方法。

Comments ACL 2026 (Main Conference)

Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling

通过多模态深度扩展适应文本LLM到语音

Kazuki Yano, Jun Suzuki, Shinji Watanabe

机构 * Tohoku University（东北大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出多模态深度扩展方法，通过在冻结的文本LLM中插入新层并仅训练这些层来适应语音数据，实验表明其在ASR性能上接近全微调，且文本能力退化更少。

Can AI Scientist Agents Learn from Lab-in-the-Loop Feedback? Evidence from Iterative Perturbation Discovery

AI科学家代理能否从循环实验室反馈中学习？来自迭代扰动发现的证据

Gilles Wainrib, Barbara Bodinier, Haitem Dakhli, Josep Monserrat, Almudena Espin Perez, Sabrina Carpentier, Roberta Codato, John Klein

机构 * Owkin Inc（Owkin公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过800次独立重复实验，比较了基于LLM的代理在循环扰动发现中利用反馈与零样本基线的性能差异，发现反馈能显著提升发现效率，且模型能力提升后效果更显著。

Agnostics: Learning to Code in Any Programming Language via Reinforcement with a Universal Learning Environment

Agnostics: 通过通用学习环境的强化学习实现任何编程语言的代码学习

Aleksander Boruch-Gruszecki, Yangtian Zi, Zixuan Wu, Tejas Oberoi, Carolyn Jane Anderson, Joydeep Biswas, Arjun Guha

机构 * Northeastern University（东北大学） ； University of Texas（德克萨斯大学） ； Wellesley College（韦尔斯利学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 Agnostics通过通用学习环境的强化学习，实现任何编程语言的代码学习，提升低资源语言模型性能并简化训练流程。

Comments 30 pages, 19 figures. Accepted at ICLR 2026. For data, code, artifacts, see https://agnostics.abgru.me

TsLLM: Augmenting LLMs for General Time Series Understanding and Prediction

TsLLM：增强大语言模型以实现通用时间序列理解和预测

Felix Parker, Nimeesha Chan, Chi Zhang, Kimia Ghobadi

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 TsLLM通过引入基于补丁的编码器-解码器架构，增强了大语言模型对时间序列数据的理解与预测能力，能够整合时间序列分析与自然语言处理，展现强大的零样本和少样本学习能力。

Text-Trained LLMs Can Zero-Shot Extrapolate PDE Dynamics, Revealing a Three-Stage In-Context Learning Mechanism

通过文本训练的LLM能够零样本外推PDE动力学，揭示一种三阶段的上下文学习机制

Jiajun Bao, Nicolas Boullé, Toni J. B. Liu, Raphaël Sarfati, Christopher J. Earls

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；prompting(abstract)

AI总结 研究揭示了通过文本训练的LLM能零样本外推PDE动态，并发现其三阶段上下文学习机制。

Towards Robust Retrieval-Augmented Generation Based on Knowledge Graph: A Comparative Analysis

基于知识图谱的鲁棒检索增强生成：一种比较分析

Hazem Amamou, Stéphane Gagnon, Alan Davoust, Anderson R. Avila

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文基于知识图谱改进RAG系统，通过比较分析评估其在噪声、信息整合、负样本拒绝和反事实鲁棒性方面的性能提升。

Comments Accepted at IEEE SMC 2025 (International Conference on Systems, Man, and Cybernetics)

Neuro-Symbolic Synergy for Interactive World Modeling

神经符号协同用于交互世界建模

Hongyu Zhao, Siyu Zhou, Haolin Yang, Zengyi Qin, Tianyi Zhou

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 NeSyS通过结合LLMs的概率语义先验与可执行符号规则，实现交互世界建模的表达力与鲁棒性，提升预测准确性和数据效率。

Rethinking the Role of LLMs in Time Series Forecasting

重新思考LLMs在时间序列预测中的作用

Xin Qiu, Junlong Tong, Yirong Sun, Yunpu Ma, Wei Zhang, Xiaoyu Shen

机构 * Ningbo Key Laboratory of Spatial Intelligence（空间智能 Ningbo 关键实验室） ； Digital Derivative, Institute of Digital Twin, Eastern Institute of Technology, Ningbo（数字衍生，数字孪生研究所，东部技术研究所，Ningbo） ； Zhejiang University（浙江大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文研究了LLMs在时间序列预测中的作用，发现其在跨域泛化和复杂动态建模中表现优异，提供了有效模型设计的指导。

Towards Robust Scaling Laws for Optimizers

面向优化器的稳健缩放定律

Alexandra Volkova, Mher Safaryan, Christoph H. Lampert, Dan Alistarh

机构 * Institute of Science and Technology Austria (ISTA)（科学与技术奥地利研究所） ； Lancaster University（兰卡斯特大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文研究了不同优化器的稳健缩放定律，提出了一种共享幂律指数和优化器特定重缩放因子的更稳健定律，并通过理论分析证明了Chinchilla式缩放定律的自然产生。

Fast Catch-Up, Late Switching: Optimal Batch Size Scheduling via Functional Scaling Laws

快速追上，后期切换：通过函数缩放定律进行最优批量大小调度

Jinbo Wang, Binghui Li, Zhanpeng Zhou, Mingze Wang, Yuxuan Sun, Jiaqi Zhang, Xunliang Cai, Lei Wu

机构 * School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； Center for Machine Learning Research, Peking University（北京大学机器学习研究中心） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学认知智能国家重点实验室） ； Meituan, Beijing（美团（北京）） ； AI for Science Institute, Beijing（北京人工智能科学研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过函数缩放定律揭示了大规模深度学习中最优批量大小调度的理论机制，表明在困难任务中后期切换大批次可提升效率并减少数据消耗。

Comments 34 pages, accepted by ICLR 2026 as a conference paper

Configuration-to-Performance Scaling Law with Neural Ansatz

基于神经元的配置到性能缩放定律

Huaqing Zhang, Kaiyue Wen, Tengyu Ma

机构 * IIIS, Tsinghua University（清华大学信息科学技术学院） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出基于神经元的配置到性能缩放定律，通过大规模预训练日志训练模型，实现对训练配置与性能之间关系的准确预测，并支持多超参数联合优化。

CAPID: Context-Aware PII Detection for Question-Answering Systems

CAPID: 基于上下文的PII检测用于问答系统

Mariia Ponomarenko, Sepideh Abedini, Masoumeh Shafieinejad, D. B. Emerson, Shubhankar Mohapatra, Xi He

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；small language model(abstract)；SLM(abstract)

AI总结 CAPID通过微调本地小型语言模型实现隐私保护的PII检测，有效提升问答系统中PII识别的准确性与实用性。

Comments Accepted to the Student Research Workshop at EACL 2026

Rethinking Music Captioning with Music Metadata LLMs

重新思考基于音乐元数据的音乐描述生成

Irmak Bukey, Zhepei Wang, Chris Donahue, Nicholas J. Bryan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Adobe Research（Adobe研究） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出基于元数据的音乐描述生成方法，通过训练元数据预测模型和预训练LLMs，实现更灵活的描述生成和元数据填补。

Comments Accepted to ICASSP 2026

daVinci-Dev: Agent-native Mid-training for Software Engineering

daVinci-Dev：面向软件工程的代理原生中训练

Ji Zeng, Dayuan Fu, Tiantian Mi, Yumin Zhuang, Yaxing Huang, Xuefeng Li, Lyumanshan Ye, Muhang Xie, Qishuo Hua, Zhen Huang, Mohan Jiang, Hanning Wang, Jifan Lin, Yang Xiao, Jie Sun, Yunze Wu, Pengfei Liu

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 daVinci-Dev通过代理原生数据合成和中训练方法，在软件工程中实现了更高效的代理能力，优于现有方法。

Improving the OOD Performance of Closed-Source LLMs on NLI Through Strategic Data Selection

通过战略数据选择提升封闭源大语言模型在自然语言推理任务中的OOD性能

Joe Stacey, Lisa Alazraki, Aran Ubhi, Beyza Ermis, Aaron Mueller, Marek Rei

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文通过战略选择NLI微调数据提升封闭源LLM在自然语言推理任务中的分布外性能，优先复杂示例和生成复杂合成数据以增强鲁棒性。

Comments Accepted at EACL Findings 2026

RAC: Retrieval-Augmented Clarification for Faithful Conversational Search

RAC：基于检索的澄清以实现可靠的对话搜索

Ahmed Rayane Kebir, Vincent Guigue, Lynda Said Lhadj, Laure Soulier

机构 * Sorbonne Université, CNRS, ISIR, F-75005 Paris, France（索邦大学、国家科学研究中心、ISIR、法国巴黎） ； Ecole nationale Supérieure d’Informatique (ESI), Algeria（信息技术国家高等学院（ESI）、阿尔及利亚） ； AgroParisTech, UMR MIA-PS, Palaiseau, France（农业巴黎技术学院、UMR MIA-PS、法国帕莱索） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 RAC通过检索增强的方法生成基于语料库的澄清问题，提高对话搜索的准确性与可靠性。

Comments This is the author's version of the work. The definitive version is published in: Proceedings of the 48th European Conference on Information Retrieval (ECIR '26), 29 March--2 April, 2026, Delft, Netherlands

Theorem Prover as a Judge for Synthetic Data Generation

定理推理解释器作为合成数据生成的裁判

Joshua Ong Jun Leang, Giwon Hong, Wenda Li, Shay B. Cohen

机构 * School of Informatics, The University of Edinburgh（信息学院，爱丁堡大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；RLHF(abstract)

AI总结 本研究提出TP-as-a-Judge和RLTPF方法，通过定理推理解释器提升LLM的合成数据生成与推理准确性。

Journal ref Proc. ACL 2025, pp. 29941-29977

BYOL: Bring Your Own Language Into LLMs

BYOL: 将你的语言带入大语言模型

Syed Waqas Zamir, Wassim Hamidouche, Boulbaba Ben Amor, Luana Marotti, Inbal Becker-Reshef, Juan Lavista Ferres

机构 * Microsoft AI for Good Research Lab（微软人工智能造福人类研究实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 BYOL提出了一种统一框架，通过数据精炼、翻译介导等方法，提升低资源语言的LLM性能，并公开了相关模型和代码。

Learning from Prompt itself: the Hierarchical Attribution Prompt Optimization

从提示本身学习：层次归因提示优化

Dongyu Chen, Jian Ma, Xianpeng Zhang, Lei Zhang, Haonan Lu, Chen Chen, Chuangchuang Wang, Kai Tang

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 HAPO框架通过动态归因机制、语义单元优化和多模态支持，提升提示优化效率，适用于多任务场景。

Heterogeneous Low-Bandwidth Pre-Training of LLMs

异构低带宽预训练大语言模型

Yazan Obeidi, Amir Sarfi, Joel Lidin, Paul Janson, Eugene Belilovsky

机构 * Covenant AI ； Mila, Concordia University（Mila，康科德ia大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本研究提出一种异构分布式训练框架，结合低带宽流水线并行与SparseLoCo方法，通过激活压缩优化LLM预训练的通信效率与性能。

In Silico Development of Psychometric Scales: Feasibility of Representative Population Data Simulation with LLMs

基于LLM的psychometric量表开发：利用代表性人口数据模拟的可行性

Enrico Cipriani, Pavel Okopnyi, Danilo Menicucci, Simone Grassini

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文探讨了利用LLM生成模拟数据在心理量表开发中的可行性，发现其在群体层面具有应用价值，但无法替代个体层面的验证。

SeBERTis: A Framework for Producing Classifiers of Security-Related Issue Reports

SeBERTis：一个用于生成安全相关问题报告分类器的框架

Sogol Masoumzadeh, Yufei Li, Shane McIntosh, Dániel Varró, Lili Wei

机构 * Electrical \& Computer Engineering McGill University Montréal, Canada ； Cheriton School of Computer Science University of Waterloo Waterloo, Canada ； 2cm Computer \& Information Science 2cm Linköping University 2cm Linköping, Sweden 2cm ； 2cm Electrical \& Computer Engineering 2cm McGill University 2cm Montréal, Canada 2cm 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 SEBERTIS通过训练深度神经网络分类器，有效提升安全相关问题的检测精度，显著优于现有方法。

Comments This is the author pre-print. The manuscript has been accepted for publication at SANER 2026!

Foundation Priors

基础先验

Sanjog Misra

机构 * Booth School of Business, University of Chicago（芝加哥大学商学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；prompting(abstract)

AI总结 本文提出基础先验概念，将生成模型输出视为主观先验，以避免合成数据与真实数据混淆，应用于实证研究和模型改进。

Measuring Fingerprints of Web-filtered Text Datasets and Fingerprint Propagation Through Training

测量Web过滤文本数据集的指纹及其通过训练传播

Youssef Mansour, Reinhard Heckel

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 研究发现预训练数据集的指纹可通过训练传播，揭示数据特征及预训练混合比例等信息。

Journal ref NeurIPS 2025 (Spotlight)