语言大模型 / LLM

Labeling Training Data for Entity Matching Using Large Language Models

使用大型语言模型为实体匹配标注训练数据

Aaron Steiner, Christian Bizer

机构 * Data and Web Science Group（数据与网络科学组） ； University of Mannheim（曼海姆大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；small language model(abstract)

AI总结 研究利用知识蒸馏工作流，以LLM为教师模型标注训练数据，训练小型学生模型进行实体匹配，在五个基准上学生模型性能与基准训练集相当，且成本远低于人工标注。

Comments 13 pages, 5 figures, 9 tables

Mural: Transferring LLM knowledge to image generation via Mixture-of-Transformers

Mural: 通过混合Transformer将LLM知识迁移到图像生成

Achin Jain, Jie An, Siddharth Chaudhary, Davide Modolo

机构 * Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出Mixture-of-Transformers架构，将冻结的LLM与扩散图像生成器结合，仅用文本-图像对训练，在多个基准上取得优异性能，并涌现出跨语言生成、颜色引导构图等新能力。

One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining

一步梯度延迟并非大规模异步流水线并行LLM预训练的障碍

Philip Zmushko, Egor Petrov, Nursultan Abdullaev, Mikhail Khrushchev, Samuel Horváth

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；分类 cs.LG

AI总结 本文挑战异步流水线并行中一步梯度延迟导致不稳定的普遍观点，发现延迟影响取决于优化器选择，Muon等新优化器具有鲁棒性，并提出基于误差反馈的修正方法，在10B参数模型上实现与同步训练相当的性能。

GLIP: Graph and LLM Joint Pretraining for Graph-Level Tasks

GLIP：面向图级任务的图与大型语言模型联合预训练

Haoxin Sun, Yiqing Lin, Yajun Huang, Chenhui Dong, Mingjun Li, Zhongzhi Zhang

机构 * Fudan University（复旦大学） ； ByteDance（字节跳动） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出GLIP框架，通过图增强、多令牌选择策略和扩散投影器，联合预训练图神经网络和大型语言模型，在图级分类与推理任务上超越现有方法。

Minority Sentinel: When to Overturn Majority Voting in Multi-Agent LLM Debates

少数派哨兵：何时推翻多智能体LLM辩论中的多数投票

Chuan He, Zebin Chen, Zhengyi Yang, Shaobo Qiao, Mingchen Ju, Jiate Liu, Dong Wen, Guanfeng Liu

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(abstract)

AI总结 针对LLM辩论中多数投票压制正确少数意见的问题，提出Minority Sentinel轻量级元分类器，通过辩论日志特征训练LightGBM模型，在6个基准上实现81.2%的翻转精度和正向净增益。

Comments 11 pages, 4 figures. Accepted at the AgentSearch Workshop @ SIGIR 2026, Melbourne, Australia

Synthetic Interaction Data for Scalable Personalization in Large Language Models

用于大规模语言模型可扩展个性化的人工交互数据

Yuchen Ma, Yue Huang, Wenjie Wang, Xiaonan Luo, Xiangliang Zhang, Stefan Feuerriegel

机构 * Munich Center for Machine Learning & LMU Munich（慕尼黑机器学习中心及慕尼黑大学） ； University of Notre Dame（诺特尔大学） ； Sichuan University（四川大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文提出PersonaGym框架生成高质量合成数据，开发PPOpt方法优化用户提示，提升个性化性能与鲁棒性。

The Digital Afterlife of Empires: Four Language Models Converge on the Same Imperial Cartography of Writing

帝国的数字来世：四种语言模型趋同于同一帝国文字制图

Hiroki Fukui

机构 * Research Institute of Criminal Psychiatry / Sex Offender Medical Center（犯罪 psychiatry 研究院 / 性犯罪医疗中心） ； Department of Neuropsychiatry, Kyoto University（京都大学神经精神病学系） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 通过构建数字文字表示指数（DSRI）评估300种文字系统的数字支持，发现仅9.7%得到完全支持；四种LLM在172个特征项上出现一致错误模式，表明历史帝国造成的结构性不平等通过共享训练语料库持续影响当代模型。

Comments Part II of the Kotonoha Series. Companion paper: arXiv:2604.10957 (q-bio.PE). 35 pages, 8 figures, 3 tables. 12,000 API calls across 4 LLM families (Anthropic, OpenAI, xAI, DeepSeek); cross-architecture convergence of typological knowledge biases (Spearman rho = 0.85-0.98, all p < 0.002)

MCP Server Architecture Patterns for LLM-Integrated Applications

面向LLM集成应用的MCP服务器架构模式

Carson Rodrigues, Oysturn Vas

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过分析15个MCP服务器，归纳出五种架构模式和四种反模式，并评估了分类可靠性、传输开销和工具选择准确性。

Comments 9 pages, IEEEtran conference format, 2 figures. Extended version; a condensed version is under review at IEEE Software. Replication package: https://github.com/rodriguescarson/mcp-patterns-icsme2026

How much of an LLM-generated clinical corpus is actually new? A production-scale measurement of content redundancy for provenance classification

LLM生成的临床语料库中实际有多少是新内容？用于溯源分类的内容冗余的生产规模测量

Ali H. Lazem, William J. Teahan

机构 * University of Thi-Qar（提-卡大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过多智能体临床提取管道的完整输出，引入基于溯源冗余分解方法，发现仅10.9%的token是训练唯一内容，79.4%是冗余的，原始token计数高估信息量约9倍。

VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition

VIB-AVSR：基于变分信息瓶颈的噪声鲁棒LLM视听语音识别

Piyush Arora, Navlika Singh, Umberto Cappellazzo, Stavros Petridis, Maja Pantic

机构 * Imperial College London（帝国理工学院伦敦分校） ； NatWest AI Research（NatWest人工智能研究） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 提出VIB-AVSR，通过在LLM骨干中插入变分信息瓶颈层来正则化表示，无需架构修改或额外数据，即可在多种噪声条件下提升AVSR鲁棒性。

Comments Accepted to INTERSPEECH 2026. Our code is available at https://github.com/PiyushArora1010/VIB-AVSR

Budgeted Act-or-Defer Multi-Agent LLM Deliberation with Local Reliability Bounds

预算约束下的多智能体LLM“行动或延迟”协商与局部可靠性界限

Mengdie Flora Wang, Haochen Xie, Guanghui Wang, Devin Zhang, Jae Oh Woo

机构 * AWS Generative AI Innovation Center（AWS生成式AI创新中心） ； General Motors (GM)（通用汽车（GM）） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种预算约束下的“行动或延迟”决策框架，通过k近邻下置信界评估LLM协商的可靠性，在满足用户指定的错误行动预算时自动执行，否则延迟人工审核，并在六个基准上验证了有效性和安全性。

SurrogateShield: Beyond Redaction for High-Utility, Privacy-Preserving LLM Interactions

SurrogateShield：超越脱敏的高效用隐私保护LLM交互

Sherwin Vishesh Jathanna

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出客户端代理SurrogateShield，用本地生成的类型一致替代值替换检测到的PII，在保护隐私的同时保持语义效用，在1124条查询语料上F1达98.87%，BERTScore提升13.26个百分点。

Comments 14 pages, 1 figure, 9 tables. Code and dataset: https://github.com/sherwinvishesh/SurrogateShield

Hierarchical Experimentalist Agents

分层实验者智能体

Abhranil Chandra, Sankaran Vaidyanathan, Utsav Dhanuka, Varun Gandhi, Scott Niekum

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出HExA框架，通过主动实验迭代设计实验、学习可复用技能，无需训练或外部监督，在Interphyre基准上将Claude Sonnet成功率从2%提升至77%。

On the Nonlinearity of Learning Rate Scaling for LLM Training

关于大语言模型训练中学习率缩放的非线性研究

Zaiwen Yang, Huaqing Zhang, Jing Xu, Jingzhao Zhang

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过实验发现，在大规模训练中，最优学习率呈现向上弯曲的非线性缩放，而使用有效学习率（归一化权重空间的步长）和数据量外推可消除该非线性，并解释了其成因。

MACROCAST: A Vintage-Consistent Time Series Foundation Model for Real-Time Macroeconomic Forecasting

MACROCAST: 一种用于实时宏观经济预测的年份一致时间序列基础模型

Andrea Carriero, Davide Pettenuzzo, Shubhranshu Shekhar

机构 * School of Economics and Finance, Queen Mary University of London（伦敦大学玛丽女王学院经济与金融学院） ； School of Business and Economics, Brandeis University（布兰迪大学商学院与经济学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出MACROCAST，一种轻量级时间序列基础模型，通过纯合成数据预训练和年份特定数据微调，避免时间污染和修正偏差，在实时预测中优于现有模型。

SpeakerCard-1M: An Evidence-Grounded Corpus for In-the-Wild Speaker Verification

SpeakerCard-1M：面向野外说话人确认的基于证据的说话人卡片语料库

Junyi Peng, Oldřich Plchot, Xiao Song, Dading Chong, Lichun Fan, Hang Su, Themos Stafylakis, Junjie Li, Kong Aik Lee, Shuai Wang, Jian Luan, Jan Černocký

机构 * Brno University of Technology, Czechia（布拉格技术大学，捷克） ； Peking University, China（北京大学，中国） ； Xiaomi, China（小米，中国） ； Athens University of Economics and Business, Greece（雅典经济与商业大学，希腊） ； The Hong Kong Polytechnic University, Hong Kong（香港理工大学，香港） ； Nanjing University, China（南京大学，中国） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；language model(abstract)

AI总结 提出SpeakerCard-1M双语说话人资源，通过声学探针和受限LLM生成结构化说话人卡片，并定义跨模态协议以支持基于证据的说话人确认。

Comments Corpus and protocols at https://junyipeng00.github.io/SpeakerCard-1M-page

SonoCLIP: Mask-Guided Region-Aware Vision-Language Pretraining for Fetal Ultrasound Analysis

SonoCLIP: 面向胎儿超声分析的掩码引导区域感知视觉-语言预训练

Hang Su, Chao Sun, Zhaofan Li, Wei Hu, Juhua Liu, Bo Du

机构 * School of Computer Science, Wuhan University, Wuhan, China（武汉大学计算机学院，武汉，中国） ； Institute of Artificial Intelligence, Wuhan University, Wuhan, China（武汉大学人工智能研究院，武汉，中国） ； Department of Ultrasound, Renmin Hospital of Wuhan University, Wuhan, China（武汉大学仁民医院超声科，武汉，中国） ； National Engineering Research Center for Multimedia Software, Wuhan University, Wuhan, China（武汉大学多媒体软件国家工程研究中心，武汉，中国） ； Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University, Wuhan, China（湖北省多媒体与网络通信工程重点实验室，武汉大学，武汉，中国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 提出SonoCLIP，首个百万级区域可控胎儿超声视觉-语言基础模型，通过掩码引导的全局-局部对比学习，提升对临床关键局部结构的敏感性，在零样本迁移中表现优异。

Towards Evaluating Data Priors for Tabular Foundation Models

面向表格基础模型的数据先验评估

Zeynep Türkmen, Kürşat Kaya, Alexander Pfefferle, Frank Hutter

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出一种统一接口，比较不同表格基础模型的数据先验对下游分类任务的影响，发现先验偏好不同且数据相似性仅部分解释下游行为。

SCARCE: Scalable Cascade Analysis for Rare-event Characterisation via Embeddings

SCARCE: 基于嵌入的可扩展级联分析用于罕见事件表征

Yingjie Wang, Yi Dong, Edmund Lau, Jie Meng, Taylor T Johnson, Xiaowei Huang

机构 * University of Liverpool, UK（利物浦大学） ； UK AI Security Institute, UK（英国人工智能安全研究所） ； Loughborough University, UK（洛桑大学） ； Department of Computer Science, Vanderbilt University, USA（范德比大学计算机科学系） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出SCARCE方法，用学习到的潜在表示和几何标尺替代传统子集模拟中的性能函数，通过自适应阈值构建嵌套事件，在MNIST误分类和LLM越狱任务中实现更低的估计误差和更好的可迁移性。

Comments 23 pages, 11 figures, 5 tables

Behavior Prompting Policy: Demonstrations as Prompts for Manipulation

行为提示策略：将演示作为操作提示

Austin Patel, Ben Pekarek, Joel Enrique Castro Hernandez, Shuran Song

机构 * Stanford University（斯坦福大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)

AI总结 提出行为提示策略（BPP），通过单次人类演示（行为提示）使机器人推理时执行新任务，结合手持操作接口iPhUMI收集多样化数据，在DrawAnything和LIBERO-Gen基准上验证零样本适应能力。

CORTEX: High-Quality Cross-Domain Organization of Web-Scale Corpora through Ontological Corpus Graph

CORTEX：通过本体语料图实现网络规模语料库的高质量跨领域组织

Chengtao Gan, Xiaoke Guo, Yushan Zhu, Zhaoyan Gong, Zhiqiang Liu, Songze Li, Huajun Chen, Wen Zhang

机构 * Zhejiang University（浙江大学） ； JIUTIAN Research（JIUTIAN研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出CORTEX框架，利用本体语料图（OCG）将网络规模语料构建从扁平文档筛选提升为结构化知识组织，实现质量精炼、层次化本体和跨领域对齐，并构建CortexBench基准验证有效性。

When AI Reviews Its Own Code: Recursive Self-Training Collapse in Code LLMs

当AI审查自己的代码：代码大语言模型中的递归自训练崩溃

Xinyuan Song, Zekun Cai, Liang Zhao

机构 * Emory University（埃默里大学） ； The University of Tokyo（东京大学） ； LocationMind 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究代码LLM在递归自训练中因缺乏外部质量控制而崩溃的风险，对比无审查、人工门控和AI自门控三种机制，发现AI自门控会退化为无门控自训练，需外源验证。

Comments Under Review

Thunder-KoNUBench: A Corpus-Aligned Benchmark for Korean Negation Understanding

Thunder-KoNUBench: 一个与语料库对齐的韩语否定理解基准

Sungmok Jung, Yeonkyoung So, Joonhak Lee, Sangho Kim, Yelim Ahn, Jaejin Lee

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本文提出Thunder-KoNUBench，通过分析韩语否定现象，评估47个LLM在否定理解上的表现，揭示模型大小和指令微调的影响，并展示微调提升韩语否定理解和上下文理解的效果。

Comments Accepted to Findings of ACL 2026

DyGnROLE: Asymmetric Pretraining for Edge Classification on Dynamic Graphs

DyGnROLE：动态图上边分类的非对称预训练

Tyler Bonnet, Marek Rei

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DyGnROLE，通过非对称预训练学习动态图中源节点与目标节点的异构表示，解决边分类中源目标节点行为不对称性问题，实验表明其在有限标注数据下表现优异。

REAR: Test-time Preference Realignment through Reward Decomposition

REAR: 通过奖励分解实现测试时偏好重对齐

Fuxiang Zhang, Pengcheng Wang, Chenran Li, Yi-Chen Li, Yuxin Chen, Lang Feng, Chenfeng Xu, Masayoshi Tomizuka, Bo An

机构 * Nanyang Technological University（新加坡国立大学） ； Nanjing University（南京大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 提出REAR框架，通过将奖励函数分解为问题相关和偏好相关两部分，推导出可线性组合的对齐奖励，实现无需训练的测试时偏好重对齐，适用于多种任务。

Comments Accepted by ICML 2026

TAP-VLA: Tactile Annotation Prompting for Vision Language Action Models

TAP-VLA：面向视觉语言动作模型的触觉标注提示

Mark Van der Merwe, Mohamad Louai Shehab, Jayjun Lee, Youngsun Wi, Yinpei Dai, Dmitry Berenson, Nima Fazeli

机构 * Robotics Department, University of Michigan（密歇根大学机器人系） ； Computer Science and Engineering Department, University of Michigan（密歇根大学计算机科学与工程系） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)

AI总结 提出TAP-VLA框架，通过将触觉剪切场叠加到RGB图像上作为视觉增强，无需修改架构或触觉预训练，即可将触觉反馈融入VLA模型，在接触丰富任务中成功率78%，显著优于基线。

Comments 8 pages + references

CLIMP: Contrastive Language-Image Mamba Pretraining

CLIMP：对比语言-图像Mamba预训练

Nimrod Shabtay, Itamar Zimerman, Eli Schwartz, Raja Giryes

机构 * Tel-Aviv University（特拉维夫大学） ； IBM Research（IBM研究院） 纠错

专题命中 预训练与数据 ：pretraining(title)；language model(abstract)

AI总结 CLIMP是首个全Mamba架构的对比视觉语言模型，通过Mamba替代视觉和文本编码器，提升跨模态检索和鲁棒性，优于CLIP-ViT-B 7.5%。

MixSarc: A Bangla-English Code-Mixed Corpus for Implicit Meaning Identification

MixSarc：一种用于隐含意义识别的孟加拉-英语混合语料库

Kazi Samin Yasar Alam, Md Tanbir Chowdhury, Tamim Ahmed, Ajwad Abrar, Md Rafid Haque

机构 * Department of Computer Science and Engineering, Islamic University of Technology, Dhaka, Bangladesh（伊斯兰科技大学计算机科学与工程系，达卡，孟加拉国） ； Department of Computer Science, University of Illinois Chicago, Chicago, Illinois, United States of America（伊利诺伊大学芝加哥分校计算机科学系，芝加哥，伊利诺伊州，美国） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 MixSarc通过构建首个孟加拉-英语混合语料库，解决隐含意义识别中的多语言切换与文化差异问题，验证了模型在幽默检测上的有效性，但发现讽刺等类别因不平衡和复杂性而表现欠佳。

Comments Under Review

ANVIL: Anomaly-based Vulnerability Identification without Labelled Training Data

ANVIL：无需标记训练数据的基于异常的漏洞识别

Weizhou Wang, Eric Liu, Xiangyu Guo, Xiao Hu, Ilya Grishchenko, David Lie

机构 * University of Toronto（多伦多大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出ANVIL，通过将漏洞检测转化为异常检测，利用大语言模型对代码进行掩码重建，结合多种指标提升检测性能，在PrimeVul数据集上优于现有监督检测器。

GPC: Large-Scale Generative Pretraining for Transferable Motor Control

GPC：面向可迁移运动控制的大规模生成式预训练

Yi Shi, Yifeng Jiang, Chen Tessler, Xue Bin Peng

专题命中 预训练与数据 ：pretraining(title)；分类 cs.AI、cs.LG

AI总结 提出生成式预训练控制器（GPC），通过令牌化和下一令牌建模从大规模运动数据集中学习通用控制器，结合有限标量量化（FSQ）和自回归Transformer，实现高成功率运动复现和鲁棒的下游适应。

Journal ref SIGGRAPH 2026 Conference Proceedings