语言大模型 / LLM

Extracting Training Dialogue Data from Large Language Model based Task Bots

从基于大语言模型的任务机器人中提取训练对话数据

Shuo Zhang, Junzhou Zhao, Junji Hou, Pinghui Wang, Chenxu Wang, Jing Tao

机构 * MOE Key Laboratory for Intelligent Networks and Network Security, Xi’an Jiaotong University（信息网络与网络安全国家重点实验室，西安交通大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种针对基于大语言模型的任务机器人数据提取攻击方法，通过系统性研究揭示LLM记忆在TODS中的继承机制，并有效提取训练对话数据。

Comments Accepted for publication in IEEE Transactions on Information Forensics and Security (TIFS). \c{opyright} 2026 IEEE

Dynamic Adversarial Reinforcement Learning for Robust Multimodal Large Language Models

动态对抗强化学习用于鲁棒多模态大语言模型

Yicheng Bao, Xuhong Wang, Qiaosheng Zhang, Chaochao Lu, Xia Hu, Xin Tan

机构 * East China Normal University（东华大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AOT方法，通过对抗训练提升多模态大语言模型的鲁棒性和可靠性。

Multimodal Large Language Models for Low-Resource Languages: A Case Study for Basque

多模态大语言模型用于低资源语言：巴斯克语的案例研究

Lukas Arana, Julen Etxaniz, Ander Salaberria, Gorka Azkune

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过开发巴斯克语多模态大语言模型，证明低比例多模态数据即可获得良好性能，且无需巴斯克语指导的LLM即可实现强模型。

Underrepresented in Foundation Model Pretraining Data? A One-Shot Probe

在基础模型预训练数据中被低估？一个单次探测器

Chris Vorster, Mayug Maniparambil, Noel E. O'Connor, Noel Murphy, Derek Molloy

机构 * ML-Labs（ML实验室） ； Dublin City University（都柏林城市大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种低成本方法，通过单张标记图像预测VLFM在目标领域的零样本准确率，用于评估和优化数据标注决策。

Scaling Dense Event-Stream Pretraining from Visual Foundation Models

从视觉基础模型扩展密集事件流预训练

Zhiwen Chen, Junhui Hou, Zhiyu Zhu, Jinjian Wu, Guangming Shi

机构 * City University of Hong Kong（香港城市大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

AI总结 本文提出一种基于视觉基础模型的自监督预训练方法，通过结构感知的蒸馏损失优化密集事件表示，显著提升下游任务性能。

TATRA: Training-Free Instance-Adaptive Prompting Through Rephrasing and Aggregation

TATRA: 无需训练的实例自适应提示法通过重述与聚合

Bartosz Dziuba, Kacper Kuchta, Paweł Batorski, Przemysław Spurek, Paul Swoboda

机构 * Jagiellonian University（雅盖隆大学） ； IDEAS Research Institute（IDEAS研究机构） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 TATRA通过重述与聚合生成实例特定的少量示例提示，无需训练数据和优化循环，在文本分类和数学推理任务中表现优异。

Tucano 2 Cool: Better Open Source LLMs for Portuguese

Tucano 2 Cool: 更好的开源葡萄牙语大语言模型

Nicholas Kluge Corrêa, Aniket Sen, Shiza Fatimah, Sophia Falk, Lennard Landgraf, Julia Kastner, Lucie Flek

机构 * Bonn-Aachen International Center for Information Technology (b-it) / CAISA Lab（波恩-亚琛国际信息科技中心（b-it）/ CAISA实验室） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所） ； Center for Science and Thought（科学与思想研究中心） ； Helmholtz-Institut für Strahlen- und Kernphysik（亥姆霍兹辐射与核物理研究所） ； Bonn Sustainable AI Lab（波恩可持续AI实验室） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 Tucano 2推出了一系列开源葡萄牙语大语言模型，通过扩展数据集和改进训练方法，实现了在多种语言任务上的最佳性能。

In-Orbit GRB Identification Using LLM-based model for the CXPD CubeSat

利用基于大语言模型的模型进行轨道上伽马射线暴识别

Cunshi Wang, Zuke Feng, Difan Yi, Yuyang Li, Lirong Xie, Huanbo Feng, Yi Liu, Qian Liu, Yang Huang, Hongbang Liu, Xinyu Qi, Yangheng Zheng, Ali Luo, Guirong Xue, Jifeng Liu

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于大语言模型的轨道上伽马射线暴识别方法，通过模拟数据训练模型，实现高精度分类和光谱指数估计，为未来轨道上实时GRB检测提供技术基础。

Comments 16 pages, 8 figures, accepted by RAA

ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer

ByteFlow：通过自适应字节压缩实现语言建模而不使用分词器

Chunyuan Deng, Sanket Lokegaonkar, Colin Lockard, Besnik Fetahu, Nasser Zalmout, Xian Li

机构 * Rice University（里士德大学） ； Amazon Science（亚马逊科学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 ByteFlow通过自适应字节压缩实现无分词器的语言建模，提升模型性能与适应性。

Comments ICLR 2026

When Your Own Output Becomes Your Training Data: Noise-to-Meaning Loops and a Formal RSI Trigger

当你的输出成为你的训练数据：噪声到意义的循环及形式RSI触发

Rintaro Ando

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出N2M-RSI模型，展示AI代理通过自反馈和信息整合阈值可无限增加内部复杂性，并探讨了代理群交互的超线性效应。

Comments Withdrawn due to a critical error discovered in the mathematical derivation and proof of Theorem 2 (Unbounded Growth) and related Lemma 2 (Compression gain lower bound). This flaw invalidates the paper's main conclusion that N2M-RSI guarantees unbounded growth, requiring a fundamental revision of the theoretical framework

Separators in Enhancing Autoregressive Pretraining for Vision Mamba

分离器在增强视觉Mamba自回归预训练中的应用

Hanpeng Liu, Zidan Wang, Shuoxi Zhang, Kaiyuan Gao, Kun He

机构 * Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 本文提出STAR方法，通过引入分隔符技术扩展视觉Mamba的输入序列长度，提升其在ImageNet-1k上的准确率至83.5%

Manipulating language models' training data to study syntactic constraint learning: the case of English passivization

操控语言模型的训练数据以研究句法约束学习：以英语被动化为例

Cara Su-Yi Leong, Tal Linzen

机构 * Department of Linguistics, New York University（语言学系，纽约大学） ； Department of Linguistics and Center for Data Science, New York University（语言学系和数据科学中心，纽约大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本研究通过操控语言模型训练数据，探讨英语被动化例外的习得机制，发现频率和语义因素共同影响动词被动化能力。

Comments Journal of Memory and Language

Revisiting the Role of Foundation Models in Cell-Level Histopathological Image Analysis under Small-Patch Constraints -- Effects of Training Data Scale and Blur Perturbations on CNNs and Vision Transformers

重新审视基础模型在小像素病理图像细胞级分析中的作用——在小补丁约束下训练数据规模和模糊扰动对CNN和视觉变换器的影响

Hiroki Kagiyama, Toru Nagasaka, Yukari Adachi, Takaaki Tachibana, Ryota Ito, Mitsugu Fujita, Kimihiro Yamashita, Yoshihiro Kakeji

机构 * Division of Gastrointestinal Surgery, Department of Surgery, Kobe University Graduate School of Medicine（Kobe大学医学研究院外科部胃肠外科部） ； Association of Medical Artificial Intelligence Curation（医学人工智能 curation协会） ； Center for Medical Education and Clinical Training, Kindai University Faculty of Medicine（Kindai大学医学部医学教育与临床培训中心） ； Department of Biophysics, Kobe University Graduate School of Health Sciences（Kobe大学健康科学研究院生物物理学部） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)

AI总结 本研究探讨了在小补丁约束下，基础模型与任务特定架构在细胞级病理图像分析中的性能差异，发现任务特定架构在数据充足时表现更优。

When AI Fails, What Works? A Data-Driven Taxonomy of Real-World AI Risk Mitigation Strategies

当AI失效时，什么有效？基于数据的现实世界AI风险缓解策略分类

Evgenija Popchanovska, Ana Gjorgjevikj, Maryan Rizinski, Lubomir Chitkushev, Irena Vodenska, Dimitar Trajanov

机构 * Faculty of Computer Science and Engineering（计算机科学与工程系） ； Ss. Cyril and Methodius University（西里尔和方法ius大学） ； Department of Computer Science（计算机科学系） ； Metropolitan College（Metropolitan学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文基于数据提出现实世界AI风险缓解策略的分类体系，通过分析9705篇媒体报道的AI事件，提取并分类了6893篇文本中的缓解措施，引入四个新类别，提升分类体系的适用性与实用性。

Dutch Metaphor Extraction from Cancer Patients' Interviews and Forum Data using LLMs and Human in the Loop

利用LLM和人机协同从癌症患者访谈和论坛数据中提取荷兰语隐喻

Lifeng Han, David Lindevelt, Sander Puts, Erik van Mulligen, Suzan Verberne

机构 * Biomedical Data Sciences, Leiden University Medical Center（莱顿大学医学中心生物医学数据科学） ； Leiden Institute of Advanced Computer Science (LIACS), Leiden University（莱顿大学先进计算机科学研究所） ； Department of Radiation Oncology (MAASTRO), GROW Research Institute for Oncology（肿瘤学研究与生殖学研究所放射肿瘤科） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本研究利用LLM和人机协同方法，从癌症患者访谈和论坛数据中提取荷兰语隐喻，构建HealthQuote.NL语料库，以支持患者护理和个性化医疗路径设计

Comments Ongoing project report, on behalf of 4D PICTURE https://4dpicture.eu/

CAD-Tokenizer: Towards Text-based CAD Prototyping via Modality-Specific Tokenization

CAD-Tokenizer: 向基于文本的CAD原型设计迈进：通过模态特定的分词

Ruiyu Wang, Shizhao Sun, Weijian Ma, Jiang Bian

机构 * University of Toronto（多伦多大学） ； Microsoft Research Asia（微软亚洲研究院） ； Fudan University（复旦大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 CAD-Tokenizer通过模态特定的分词策略，提升文本引导的CAD原型设计效率与生成质量。

Comments ICLR2026 Camera-ready version

Vision-Zero: Scalable VLM Self-Improvement via Strategic Gamified Self-Play

Vision-Zero: 通过战略化游戏化自play实现可扩展的VLM自改进

Qinsi Wang, Bo Liu, Tianyi Zhou, Jing Shi, Yueqian Lin, Yiran Chen, Hai Helen Li, Kun Wan, Wentian Zhao

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Vision-Zero通过战略化游戏化自play框架，实现无标注数据下的多模态模型自改进，提升推理与跨领域任务性能。

Comments ICLR 2026

Directional Neural Collapse Explains Few-Shot Transfer in Self-Supervised Learning

方向性神经坍塌解释自监督学习中的少样本迁移

Achleshwar Luthra, Yash Salunkhe, Tomer Galanti

机构 * Department of Computer Science \& Engineering, Texas A\&M University 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 方向性神经坍塌解释自监督学习中少样本迁移的机制，通过分析决策轴方差与多任务几何的关系，揭示了表示学习中的关键特性。

Better audio representations are more brain-like: linking model-brain alignment with performance in downstream auditory tasks

更优质的音频表示更符合大脑特性：将模型-大脑对齐与下游听觉任务中的表现联系起来

Leonardo Pepino, Pablo Riera, Juan Kamienkowski, Luciana Ferrer

机构 * Instituto de Investigación en Ciencias de la Computación (ICC)（计算科学研究所（ICC）） ； CONICET-Universidad de Buenos Aires（CONICET-阿根廷布宜诺斯艾利斯大学） ； Departamento de Computación, FCEyN（计算机系，FCEyN） ； Universidad de Buenos Aires (UBA)（阿根廷布宜诺斯艾利斯大学（UBA）） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 研究发现，改进音频模型在下游任务中的表现使其内部表示更接近大脑信号，且这种对齐性在预训练早期逐步增强。

Comments In review for journal

Categorical Emotions or Appraisals - Which Emotion Model Explains Argument Convincingness Better?

类别情绪或评估——哪种情绪模型能更好地解释论证说服性？

Lynn Greschner, Meike Bauer, Sabine Weber, Roman Klinger

专题命中 预训练与数据 ：prompting(abstract)；分类 cs.CL

AI总结 本文探讨评估理论在论证说服性预测中的有效性，发现评估比类别情绪更有效。

Comments Accepted at LREC 2026

A Geometry-Based View of Mahalanobis OOD Detection

基于几何视角的马哈拉诺布斯OOD检测

Denis Janiak, Jakub Binkowski, Tomasz Kajdanowicz

机构 * Department of Artificial Intelligence, Wrocław University of Science and Technology（人工智能系，沃斯克拉大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出基于几何视角的马哈拉诺布斯OOD检测方法，通过调整径向缩放归一化参数β，改进了检测器对分布内几何结构的适应性。

MatPedia: A Universal Generative Foundation for High-Fidelity Material Synthesis

MatPedia: 一种通用生成基础，用于高保真材料合成

Di Luo, Shuhui Yang, Mingxin Yang, Jiawei Lu, Yixuan Tang, Xintong Han, Zhuo Chen, Beibei Wang, Chunchao Guo

机构 * Nankai University（南开大学） ； Tencent Hunyuan（腾讯文言） ； Xi’an Jiaotong University（西安交通大学） ； Nanjing University（南京大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 MatPedia是一种基于联合RGB-PBR表示的生成模型，能够统一处理多种材料生成任务，实现高质量的高保真材料合成。

Scaling Laws For Diffusion Transformers

扩散变换器的扩展定律

Zhengyang Liang, Hao He, Ceyuan Yang, Bo Dai

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文研究了扩散变换器的扩展定律，通过实验验证了模型大小、数据需求与计算预算之间的幂律关系，并展示了预训练损失与生成性能的一致性，为模型性能和数据质量评估提供了可预测的基准。

Modeling Cross-vision Synergy for Unified Large Vision Model

跨视觉协同的统一大视觉模型建模

Shengqiong Wu, Lanhu Wu, Mingyang Bao, Wenhao Xu, Hanwang Zhang, Shuicheng Yan, Hao Fei, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 PolyV通过统一架构和协同训练方法，实现了跨视觉模态的协同推理，显著提升了多模态视觉任务的性能。

Comments 21 pages, 9 figures, 16 tables, CVPR

How does fine-tuning improve sensorimotor representations in large language models?

微调如何改善大语言模型中的感知运动表征

Minghua Wu, Javier Conde, Pedro Reviriego, Marc Brysbaert

机构 * Department of Experimental Psychology, Ghent University（实验心理学系，根特大学） ； Information Processing and Telecommunications Center (IPTC), Universidad Politécnica de Madrid, Spain（信息处理与电信中心（IPTC），马德里理工大学，西班牙） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过微调改善大语言模型的感知运动表征，发现其在语言和感知运动维度上具有良好的泛化能力，但对学习目标敏感，无法跨任务格式迁移。

Generalization of RLVR Using Causal Reasoning as a Testbed

使用因果推理作为测试平台的RLVR泛化

Brian Lu, Hongyu Zhao, Shuo Sun, Hao Peng, Rui Ding, Hongyuan Mei

机构 * Johns Hopkins University（约翰霍普金斯大学） ； University of Maryland, College Park（马里兰大学学院公园分校） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft Research Asia（微软亚洲研究院） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文通过实验证明，RLVR在特定模型规模和训练查询层次下能提升因果推理能力，尤其在复杂查询中表现更优。

R1-Code-Interpreter: LLMs Reason with Code via Supervised and Multi-stage Reinforcement Learning

R1-Code-Interpreter: LLMs通过监督学习和多阶段强化学习进行代码推理

Yongchao Chen, Yueying Liu, Junwei Zhou, Yilun Hao, Jingquan Wang, Yang Zhang, Na Li, Chuchu Fan

机构 * MIT / Harvard（麻省理工学院/哈佛大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Michigan（密歇根大学） ； MIT（麻省理工学院） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室） ； Harvard（哈佛大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 R1-Code-Interpreter通过监督学习和多阶段强化学习提升LLM的代码推理能力，实现对多样化任务的高效处理，显著提升模型性能。

Comments 29 pages

Crab$^{+}$: A Scalable and Unified Audio-Visual Scene Understanding Model with Explicit Cooperation

Crab$^{+}$: 一种可扩展且统一的音频视觉场景理解模型，具有显式合作

Dongnuan Cai, Henghui Du, Chang Zhou, Xi Chen, Dan Guo, Hongyuan Zhang, Xuelong Li, Di Hu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽人工智能学院） ； Institute of Artificial Intelligence of China Telecom (TeleAI)（中国电信人工智能研究院） ； AI Technology Center, Online Video Business Unit, Tencent PCG（腾讯PCG在线视频业务单元AI技术中心） ； Hefei University of Technology（合肥工业大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 Crab$^{+}$通过显式合作解决音频视觉任务异质性问题，实现更广泛的任务覆盖和优于单任务模型的性能表现。

Agent Data Protocol: Unifying Datasets for Diverse, Effective Fine-tuning of LLM Agents

代理数据协议：统一多样化、高效的LLM代理微调数据集

Yueqi Song, Ketan Ramaneti, Zaid Sheikh, Ziru Chen, Boyu Gou, Tianbao Xie, Yiheng Xu, Danyang Zhang, Apurva Gandhi, Fan Yang, Joseph Liu, Tianyue Ou, Zhihao Yuan, Frank Xu, Shuyan Zhou, Xingyao Wang, Xiang Yue, Tao Yu, Huan Sun, Yu Su, Graham Neubig

机构 * Carnegie Mellon University（卡内基梅隆大学） ； The Ohio State University（俄亥俄州立大学） ； University of Hong Kong（香港大学） ； Duke University（杜克大学） ； Fujitsu Research（富士通研究） ； All Hands AI（全手AI） 纠错

专题命中 指令微调 ：LLM(title)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出代理数据协议（ADP），通过统一多样化代理训练数据集，提升LLM代理微调效果，实现20%的性能提升并在多个基准上达到SOTA水平。

Boosting In-Context Learning in LLMs Through the Lens of Classical Supervised Learning

通过经典监督学习视角提升大语言模型的上下文学习

Korel Gundem, Juncheng Dong, Dennis Zhang, Vahid Tarokh, Zhengling Qi

机构 * The George Washington University（乔治华盛顿大学） ； Duke University（杜克大学） ； Washington University in St. Louis（华盛顿大学圣路易斯分校） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过经典监督学习视角提出监督校准方法，提升大语言模型上下文学习的性能和决策边界方向调整能力。