语言大模型 / LLM

Prompting is not enough: supervised baselines and leakage control for measuring shared decision-making with LLMs in pediatric encounters

仅靠提示是不够的：儿科诊疗场景中利用大语言模型（LLM）衡量共同决策（SDM）的有监督基线与泄漏控制

Bernardo Modenesi, Jody Lin, Kimberly Kaphingst, Angela Zhu, Maya Wheeler, Peilu Zhang, Angela Fagerlin

机构 * University of Utah（犹他大学） ； University of Utah Spencer Fox Eccles School of Medicine（犹他大学斯宾塞·福克斯·埃克尔斯医学院） ； Kahlert School of Computing, University of Utah（犹他大学卡勒特计算机学院） ； Huntsman Cancer Institute, University of Utah（犹他大学亨茨曼癌症研究所） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究针对儿科外科决策诊疗场景，对比零样本LLM、有监督分类器及二者的堆叠模型衡量SDM行为的效果，发现零样本提示不足，还识别出数据泄漏路径，为相关评估提供了基线与泄漏控制依据。

Train Yourself as an LLM: Exploring Effects of AI Literacy on Persuasion via Role-playing LLM Training

通过角色扮演训练LLM：探索AI素养对说服力的影响

Qihui Fan, Min Ge, Chenyan Jia, Weiyan Shi

机构 * Institute for Clarity in Documentation（文档清晰研究所） ； Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康库尔中心） ； Rajiv Gandhi University（拉吉夫·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕默研究实验室） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过角色扮演训练LLMimic，提升用户AI素养，减少AI说服力效果，并增强诚实与社会责任感。

Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data

超出界限：评估LLM训练数据中极端主义言论的流行程度与内容

Dmitry Nikolaev, Ashley A. Mattheis

机构 * University of Manchester（曼彻斯特大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本研究针对LLM训练数据的极端主义言论问题，以Dolma语料库为对象，经多步骤提取得出其含数十万份极端主义文档的下限，并探讨相关数据整理与预训练影响。

Comments Accepted to the CPSS workshop @ KONVENS 2026

Single-Round Vector RAG vs an LLM-Compiled Wiki: A Preregistered Comparison on a Small Multi-Domain Research Corpus

向量RAG与LLM编写的维基：在小型多领域研究上的预注册比较

Theodore O. Cochran

机构 * AI for Altruism (A4A)（AI为利他主义（A4A）） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文通过预注册比较，研究了向量RAG系统与LLM编写的维基在小型多领域研究中的表现，发现两者在跨论文连接、答案组织和成本等方面各有优劣，没有单一系统在所有指标上最优。

Comments v2: two-judge reanalysis of the decomposition-RAG ablation (groundedness advantage +1.15 to +0.15); H3a adjudicated; one registered-plan deviation disclosed; artifact deposit at osf.io/j37b8; title corrected

6G Native AI and Channel Foundation Models

6G原生AI与信道基础模型

Shugong Xu, Jun Jiang, Yuan Gao

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文从系统设计视角界定6G原生AI的内涵，提出信道基础模型（CFMs）作为6G原生AI的技术范式，阐明其类型与优势，验证其在标注有限时可提升定位与波束预测性能。

Comments Awesome GitHub: https://github.com/GREAT-ISAC/Awesome-Channel-Foundation-Models

Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models

Yi-Cheng Lin, Wei-Chih Chen, Hung-yi Lee

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Journal ref 2024 IEEE Spoken Language Technology Workshop (SLT), Macao, 2024, pp. 871-878

Beyond Natural-Image Foundation Models: Benchmarking Satellite Pretraining for Ophthalmic Image Analysis

超越自然图像基础模型：针对眼科图像分析的卫星图像预训练基准测试

Lovre Antonio Budimir, Mingya Alexa Gong, Alyssa Foong Quinney, Ivana Matovinović, Yukun Zhou, Pearse A. Keane, Sven Lončarić, Marinko V. Šarunić

机构 * Faculty of Electrical Engineering and Computing, University of Zagreb（萨格勒布大学电气工程与计算机学院） ； University College London（伦敦大学学院） ； Institute of Ophthalmology, University College London（伦敦大学学院眼科研究所） ； Department of Computer Science, University College London（伦敦大学学院计算机科学系） ； NIHR Moorfields Biomedical Research Centre（NIHR穆尔菲尔德生物医学研究中心） ； Hawkes Institute, University College London（伦敦大学学院霍克斯研究所） ； Moorfields Eye Hospital NHS Foundation Trust（穆尔菲尔德眼科医院NHS基金会信托） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

AI总结 本文针对眼科图像分析，对比卫星图像与自然图像预训练的视觉基础模型，发现卫星图像预训练在眼科任务上表现优于自然图像，部分任务可媲美医学专家模型。

Comments Accepted at the ECCV 2026 Workshop on Medical Foundation Models and Benchmarks (MEDFMB)

Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments

这会改变你的答案吗？通过反事实实验评估现实场景中大语言模型（LLM）行为的解释

Adam Karvonen, Euan Ong, Subhash Kantamneni, Samuel Marks

机构 * Anthropic 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出CHIVE流程，通过反事实实验评估大语言模型行为的解释，发现常见可解释性技术无预测提升，且CHIVE生成的训练数据可实现分布外泛化。

Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors

语义老虎机：上下文内的探索-利用受语义先验的偏置

David Eric Austin, Kaheer Suleman, Jackie Chi Kit Cheung

机构 * Mila – Quebec AI Institute（米拉-魁北克人工智能研究所） ； Skyfall AI（天空fall人工智能公司） ； McGill University（麦吉尔大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出语义老虎机框架，发现LLM的探索-利用受语义先验偏置，语义标签对齐奖励可提升性能，负奖励比同等正奖励触发更多探索，为LLM智能体决策可靠性提供了新见解。

Comments 10 pages, 5 figures in main body

Unsupervised Improvement of Factual Knowledge in Language Models

Nafis Sadeq, Byungkyu Kang, Prarit Lamba, Julian McAuley

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；分类 cs.CL

Journal ref Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2023)

GigaBrain-0.7: Scaling Embodied Foundation Models to Emergent Capabilities with a Three-System Architecture

GigaBrain-0.7：采用三系统架构扩展具身基础模型以获得涌现能力

GigaBrain Team, Angen Ye, Axiang Sun, Can Jin, Chenxi Cheng, Chong Shi, Dengke Shang, Dingqian Zhang, Guan Huang, Guangqiang Wang, Guangqing Ding, Guo Li, Hangcong Li, Hengyu Zhong, Hongtao Lu, Jianbo Qin, Jiming Mao, Jing Zhu, Jindi Lv, Jingzhi Cui, Junjie Xie, Junyi Bao, Kai Liu, Lei Yuan, Limin Long, Lv Feng, Mingming Yu, Peng Li, Pengfei Yi, Qi Li, Qianli Zhang, Qingfang Li, Qitang Hu, Rui Zhang, Shaoyan Sun, Shibo Sun, Shiying Duan, Tenghui Chen, Tianze Liu, Weijie Ke, Wenyao Xue, Xiaofeng Wang, Xiaoyu Tian, Xinyu Liu, Xinze Chen, Yang Wang, Yankai Wang, Yejun Zeng, Yifan Li, Yifei Nie, Yilong Li, Yilong Liu, Yongchao Feng, Yumeng Wang, Yun Ye, Zhichao Liu, Ziheng He, Zonghai Yang, Zheng Zhu

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；post-training(abstract)

AI总结 研究针对VLA模型泛化不足问题，提出三系统架构的GigaBrain-0.7具身基础模型，扩展至37000小时异质具身数据，实现零样本等能力显著提升，将开源代码与权重。

Comments https://gigaai.cc/blog/gigabrain07

Invariant Pretraining for Robust Code Representations

用于鲁棒代码表示的不变预训练

Yifeng He, Yundi Xu, Christopher Castro Gaw Gonzalo, Zili Wang, Hao Chen

机构 * University of California at Davis（加州大学戴维斯分校） ； The University of Hong Kong（香港大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对代码表示模型在不变程序下鲁棒性退化问题，提出仅基于代码的不变预训练（InvPT）方法，在克隆检测、代码分类任务上分别提升鲁棒性最高11、19个百分点，同时保持或提升标准准确率。

Comments To appear in LMPL 2026

The First ChineseBabyLM Challenge: training data-efficient and cognitively plausible language models for Chinese

首个中文BabyLM挑战：训练数据高效且认知合理的中文语言模型

Siyuan Song, Zhiheng Qian, Yunhao Zhang, Linyang He, Xiaozhe Ji, Yingxin Lin, Hongao Zhu, Chongtian Shao, Chuhan Lang, Luan Li, Rui Wang, Renfen Hu, Shaonan Wang, Hai Hu

机构 * Princeton University（普林斯顿大学） ； Shanghai Jiao Tong University（上海交通大学） ； Chinese Academy of Sciences（中国科学院） ； Columbia University（哥伦比亚大学） ； Beijing Normal University（北京师范大学） ； Tsinghua University（清华大学） ； University of California San Diego（加利福尼亚大学圣地亚哥分校） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 首个中文BabyLM挑战将在2026年自然语言处理与中文计算会议举办，要求用1亿中文词元从头训练语言模型，在自然语言理解、认知对齐和汉字知识三轨道评估，不限分词器、模型架构和训练轮数。

Comments 13 pages

PaSTel: Anchoring Histology in Spatial Transcriptomics via Multi-Scale Hierarchical Bio-Prior Contrastive Pretraining

PaSTel：通过多尺度层级生物先验对比预训练锚定空间转录组学中的组织学

Azim Dehghani Amirabad, Junchao Zhu, Pushpak Pati, Walid Abdelmoula, Tommaso Mansi, Rui Liao

机构 * Johnson & Johnson Innovative Medicine（强生创新医药） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI；large language model(comments)；language model(comments)

AI总结 PaSTel是一种整合多尺度生物先验的层级多模态预训练框架，通过三层生物先验设计解决现有空间转录组学方法的局限，在多个下游任务中性能优于现有编码器。

Comments This paper was accepted to the 3rd ICML 2026 Workshop on Multi-modal Foundation Models and Large Language Models for Life Sciences

CytoFormer: A Molecularly Supervised Cell Foundation Model for Histopathology Cell Classification

CytoFormer：用于组织病理学细胞分类的分子监督细胞基础模型

Jialu Yao, Songhao Li, Alina Yu, Zhi Huang

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Germantown Friends School（日耳曼敦贵格会学校） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 CytoFormer利用配对H&E染色与空间转录组学数据训练细胞基础模型，在细胞分类、迁移学习及主动学习中表现优异，为常规组织学的细胞分析提供高效可复用表示。

Comments 20 pages, 5 figures, 2 extended data figures

Beyond Accuracy: Assessing Calibration of Geospatial Foundation Models and Their Sensitivity to Distribution Shifts

超越准确率：评估地理空间基础模型的校准度及其对分布偏移的敏感性

Nils Lehmann, Jakob Gawlikowski, Burak Ekim, Isaac Corley, Xiao Xiang Zhu

机构 * Technical University of Munich (TUM)（慕尼黑工业大学） ； German Aerospace Center (DLR)（德国航空航天中心） ； Massachusetts Institute of Technology (MIT)（麻省理工学院） ； Taylor Geospatial（泰勒地理空间公司） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 该研究指出GeoFMs仅用准确率排序的不足，分析其校准度与分布偏移敏感性，发现EO预训练模型更易过度自信，提出需多条件多指标评估以缩小实际部署差距。

SymbolicLight V1: Spike-Gated Dual-Path Language Modeling at High Activation Sparsity

SymbolicLight V1: 一种具有高激活稀疏性和亚十亿级预训练证据的脉冲门双路径语言建模

Ting Liu

机构 * SymbolicLight Research（SymbolicLight研究院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SymbolicLight V1，一种结合二进制Leaky Integrate-and-Fire脉冲动力学与连续残差流的脉冲门双路径语言模型，通过长程记忆的指数衰减聚合路径和短程精度的脉冲门局部注意力路径，实现了高激活稀疏性和亚十亿级预训练证据。

Comments 25 pages, 4 figures, 24 tables. Revised preprint: quality-gap framing, token-weighted versus unweighted domain PPL, and tightened architecture claims. Code and checkpoints: AGI/SymbolicLight-V1" target="_blank" rel="noopener">https://github.com/SymbolicLight-AGI/SymbolicLight-V1

jina-vlm: Small Multilingual Vision Language Model

Jina-VLM：小规模多语言视觉语言模型

Andreas Koukounas, Georgios Mastrapas, Florian Hönicke, Sedigheh Eslami, Guillaume Roncari, Han Xiao

机构 * Jina AI 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 Jina-VLM是一款24亿参数的多语言视觉语言模型，通过结合SigLIP2视觉编码器与Qwen3语言主干，实现了高效多语言视觉问答性能。

Comments 23 pages, 1-10 main content, 11-23 references and appendix

Cross-Entropy Risk Estimation for Language Models: Inconsistency Must Be Dense, and the Holdout Method Is No Exception

语言模型的交叉熵风险估计：不一致性必然是稠密的，留出法也不例外

Hanti Lin

机构 * University of California, Davis（加利福尼亚大学戴维斯分校） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 该研究指出语言模型的每词交叉熵风险无法被一致估计，即使采用留出法也存在稠密的不一致状态，提出两种需付出代价的解决途径。

Spectral Saliency for Machine Unlearning

用于机器遗忘的光谱显著性

Cedar Site Bai, Amber Yijia Zheng, Raymond A. Yeh, Brian Bullins

机构 * Purdue University（普渡大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)；分类 cs.AI、cs.LG

AI总结 该研究针对机器遗忘问题，受Muon启发提出光谱显著性遗忘（SSU）方法，通过对弱奇异分量设阈值更新，在图像分类器、扩散模型和LLM上验证了其有效性。

LENS: In-Context Search via Latent Evidence Exploration over Dynamic Raw Documents

LENS：基于动态原始文档的潜在证据探索的上下文内搜索

Xingjun Wang, Gongsheng Li, Qi Fan, Yunlin Mao, Luyan Su, Yingda Chen

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对动态原始文档的上下文内搜索问题，提出无索引框架LENS，通过迭代选择候选证据并更新置信度实现预算约束下的证据定位，在多组实验中其证据召回率和答案依据表现优于基线方法。

Skill2Query: Exploiting Skill Structure to Generate Pseudo-Queries for Agent Skill Retrieval

Skill2Query：利用技能结构生成智能体技能检索的伪查询

Lihui Ding, Zihan Guo, Bingwei Lu, Chenyu Zhou, Yuanjian Zhou, Weinan Zhang, Jianghao Lin, Dongdong Ge

机构 * Fudan University（复旦大学） ； Sun Yat-sen University（中山大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 Skill2Query是利用技能知识图谱生成伪查询的框架，可提升多类检索性能，生成的训练数据表现最优，还能提高智能体任务成功率。

DuplexGen: Decoupling Content, Timing, and Acoustics for Synthetic Dialogue Speech

DuplexGen：为合成对话语音解耦内容、时序与声学

Pengcheng Wang, Sheng Li, Jiyi Li, Takahiro Shinozaki

机构 * Institute of Science Tokyo（科学东京大学） ； Hokkaido University（北海道大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 DuplexGen框架通过解耦对话的内容、时序与声学，生成更贴近真实对话的合成语音，构建了带多类标注的医患对话语料库，性能优于传统拼接式合成方法。

Euclid-Omni : A Unified Neuro-Symbolic Framework for Plane Geometry

Euclid-Omni：面向平面几何的统一神经符号框架

Zhaoyu Li, Hangrui Bi, Youyuan Zhang, Wenjie Ma, Zenan Li, Zhaolei Zhang, Xujie Si, Kaiyu Yang

机构 * Apodex ； University of Toronto（多伦多大学） ； UC Berkeley（加州大学伯克利分校） ； ETH Zürich（苏黎世联邦理工学院） ； Meta FAIR 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出Euclid-Omni统一神经符号框架，结合形式几何系统与LLMs、VLMs，核心为符号几何求解器Euclidea，生成合成数据训练模型，在竞赛级几何问题上性能优异且成本更低。

SocialCoach: Personalized Social Skill Learning with Agentic Tutoring and Practice

SocialCoach: 基于强化学习的智能辅导与练习的个性化社交技能学习

Tianfu Wang, Max Xiong, Jianxun Lian, Hongyuan Zhu, Zhengyu Hu, Yuxuan Lei, Linxiao Gong, Dapeng Hu, Xiaofang Li, Peiting Tsai, Nicholas Jing Yuan, Qi Zhang

机构 * HKUST (GZ)（香港科技大学（广州）） ； Duke University（杜克大学） ； MSRA Beijing（微软研究院北京） ； Microsoft Beijing（微软北京） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出SocialCoach系统，利用多智能体管道构建知识语料库、强化学习优化自适应练习调度，并结合沉浸式实践与反思辅导，以解决社交技能学习中专家辅导稀缺和知行差距问题。

ContextClaim: A Context-Driven Paradigm for Verifiable Claim Detection

ContextClaim: 一种基于上下文的可验证声明检测范式

Yufeng Li, Rrubaa Panchendrarajan, Arkaitz Zubiaga

机构 * School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦玛丽女王大学电子工程与计算机科学学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出ContextClaim范式，通过提取实体、检索维基知识并生成上下文摘要，提升可验证声明检测的可靠性，验证其在不同领域和模型设置下的有效性。

Self-Bootstrapping Automated Program Repair: Using LLMs to Generate and Evaluate Synthetic Training Data for Bug Repair

自bootstrap自动程序修复：利用LLMs生成和评估合成训练数据以修复bug

David de-Fitero-Dominguez, Antonio Garcia-Cabot, Eva Garcia-Lopez

机构 * Departamento de Ciencias de la Computación, Universidad de Alcalá（阿尔卡拉大学计算机科学系） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种利用LLMs生成合成数据提升自动程序修复的方法，通过生成和评估代码bug与修复代码的配对示例，提升修复准确率，实验显示在VulRepair数据集上Top@1和Top@5表现显著提升。

Comments Final published version in the Expert Systems with Applications journal. Volume 319, 5 July 2026, 132154. DOI: https://doi.org/10.1016/j.eswa.2026.132154

Journal ref Expert Systems with Applications (5 July 2026), Volume 319, 132154

KaLM-Embedding-V2: Superior Training Techniques and Data Inspire A Versatile Embedding Model

Xinping Zhao, Xinshuo Hu, Zifei Shan, Shouzheng Huang, Yao Zhou, Xin Zhang, Zetian Sun, Zhenyu Liu, Dongfang Li, Xinyuan Wei, Youcheng Pan, Yang Xiang, Meishan Zhang, Haofen Wang, Jun Yu, Baotian Hu, Min Zhang

机构 * Shenzhen Loop Area Institute (SLAI)（深圳环湖区研究所） ； Tencent（腾讯） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Published as a conference paper at ICLR 2026

Learning the Macroeconomic Language

学习宏观经济语言

Siddhartha Chib, Fei Tan, Zhixun Zhang

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 本文提出了一种结合DSGE模型与大型语言模型的混合预测方法，用于有效预测宏观经济数据。

Can LLMs Replace Economic Choice Prediction Labs? The Case of Language-based Persuasion Games

LLMs能否替代经济选择预测实验室？语言基于说服游戏的案例

Eilam Shapira, Omer Madmon, Roi Reichart, Moshe Tennenholtz

机构 * Technion - Israel Institute of Technology（技术离子-以色列理工学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究探讨LLMs在语言基于说服游戏中能否替代人类进行选择预测，并发现LLMs生成的数据能有效预测人类行为，甚至优于真实人类数据。