语言大模型 / LLM

Can Safety Emerge from Weak Supervision? A Systematic Analysis of Small Language Models

安全能否从弱监督中涌现？小型语言模型的系统分析

Punyajoy Saha, Sudipta Halder, Debjyoti Mondal, Subhadarshi Panda

机构 * Samsung Research Institute（三星研究院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；preference optimization(abstract)

AI总结 Self-MOA通过弱监督实现小型语言模型的安全对齐，显著提升安全性的同时保持有用性，减少对人工标注数据的依赖。

Comments 19 pages, 10 tables, 7 figures, under Review

Diffusion-Guided Pretraining for Brain Graph Foundation Models

基于扩散的脑图基础模型预训练

Xinxu Wei, Rong Zhou, Lifang He, Yu Zhang

机构 * Department of Electrical and Computer Engineering, Lehigh University, Bethlehem, PA, USA（电气与计算机工程系，莱维大学） ； Department of Computer Science and Engineering, Lehigh University, Bethlehem, PA, USA（计算机科学与工程系，莱维大学） ； Department of Psychiatry and Behavioral Sciences, Stanford University School of Medicine, Stanford, CA, USA（精神病学与行为科学系，斯坦福大学医学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于扩散的预训练框架，通过结构感知的掩码策略和拓扑感知的图级读出，提升脑图表示的鲁棒性和有效性。

Comments Paper has some mistakes

PonderLM-2: Pretraining LLM with Latent Thoughts in Continuous Space

PonderLM-2: 在连续空间中通过潜在思想预训练语言模型

Boyi Zeng, He Li, Shixiang Song, Yixuan Wang, Zitong Wang, Ziwei He, Xinbing Wang, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院） ； Sun Yat-sen University（中山大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(title)；language model(abstract)；分类 cs.CL

AI总结 PonderLM-2通过在预训练过程中引入潜在思想的连续空间优化，提升了语言模型的生成能力与下游任务表现。

When Machines Get It Wrong: Large Language Models Perpetuate Autism Myths More Than Humans Do

当机器出错时：大型语言模型传播自闭症谬误的程度超过人类

Eduardo C. Garrido-Merchán, Adriana Constanza Cirera Tirschtigel

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本研究发现大型语言模型在传播自闭症谬误方面比人类更严重，揭示了AI系统在知识表征上的缺陷。

Agentic Critical Training

代理批判训练

Weize Liu, Minghui Liu, Sy-Tuyen Ho, Souradip Chakraborty, Xiyao Wang, Furong Huang

机构 * University of Maryland College Park（马里兰大学学院公园分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 代理批判训练（ACT）是一种强化学习方法，通过奖励模型判断替代行为的正确性，使模型自主发展对行为质量的推理，从而提升代理性能和泛化能力。

Comments Project page: https://attention-is-all-i-need.github.io/ACT/

DualTurn: Learning Turn-Taking from Dual-Channel Generative Speech Pretraining

DualTurn: 从双通道生成式语音预训练中学习轮流对话

Shangeth Rajaa

机构 * Anyreach AI 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 DualTurn通过双通道生成式语音预训练，实现了更自然的轮流对话处理，优于现有方法在代理动作预测和词级轮流预测上的表现。

Comments Submitted to Interspeech 2026

MINT: Molecularly Informed Training with Spatial Transcriptomics Supervision for Pathology Foundation Models

MINT: 通过空间转录组监督进行病理基础模型的分子引导训练

Minsoo Lee, Jonghyun Kim, Juseung Yun, Sunwoo Yu, Jongseong Jang

机构 * LG AI Research（LG人工智能研究） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 MINT通过整合空间转录组监督提升病理基础模型的分子信息捕捉能力，实现基因表达预测和病理任务的性能优化。

SIGMAE: A Spectral-Index-Guided Foundation Model for Multispectral Remote Sensing

SIGMAE：一种用于多光谱遥感的基于频谱指数的基础模型

Xiaokang Zhang, Bo Li, Chufeng Zhou, Weikang Yu, Lefei Zhang

机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； School of Artificial Intelligence and Automation, Wuhan University of Science and Technology（武汉科技大学人工智能与自动化学院） ； School of Electronic Information, Wuhan University of Science and Technology（武汉科技大学电子信息学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 SIGMAE通过引入频谱指数引导动态令牌遮蔽，提升多光谱遥感图像预训练效果，实现更优的空谱特征学习和复杂目标识别。

Comments 17pages,10figures

DeepSparse: A Foundation Model for Sparse-View CBCT Reconstruction

DeepSparse: 一种用于稀疏视图CBCT重建的基础模型

Yiqun Lin, Jixiang Chen, Hualiang Wang, Jiewen Yang, Jiarong Guo, Yi Zhang, Xiaomeng Li

机构 * Department of Electronic and Computer Engineering, the Hong Kong University of Science and Technology（电子与计算机工程系，香港科学与技术大学） ； School of Cyber Science and Engineering, Sichuan University（网络科学与工程学院，四川大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 DeepSparse是一种用于稀疏视图CBCT重建的基础模型，通过DiCE网络和HyViP框架提升重建质量与泛化能力。

Neuro-Symbolic Synergy for Interactive World Modeling

神经符号协同用于交互世界建模

Hongyu Zhao, Siyu Zhou, Haolin Yang, Zengyi Qin, Tianyi Zhou

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 NeSyS通过结合LLMs的概率语义先验与可执行符号规则，实现交互世界建模的表达力与鲁棒性，提升预测准确性和数据效率。

CauKer: Classification Time Series Foundation Models Can Be Pretrained on Synthetic Data

CauKer：分类时间序列基础模型可以在合成数据上进行预训练

Shifeng Xie, Vasilii Feofanov, Ambroise Odonnat, Lei Zan, Marius Alonso, Jianfeng Zhang, Themis Palpanas, Lujia Pan, Keli Zhang, Ievgen Redko

机构 * Université Paris Cité（巴黎大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 CauKer通过生成因果一致的合成时间序列数据，实现对分类时间序列基础模型的样本高效预训练。

Comments This manuscript combines material from the ICML 2025 TSFM Workshop paper and the ICLR 2026 Main Track paper

Journal ref ICLR 2026 Oral

How Private Are DNA Embeddings? Inverting Foundation Model Representations of Genomic Sequences

DNA嵌入的隐私性如何？逆向基础模型对基因组序列的表示

Sofiane Ouaari, Jules Kreuer, Nico Pfeifer

机构 * Methods in Medical Informatics, Department of Computer Science, University of Tuebingen, Germany（图宾根大学医学信息学方法系，计算机科学系） ； Institute for Bioinformatics and Medical Informatics (IBMI), University of Tuebingen, Germany（图宾根大学生物信息学与医学信息学研究所） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究评估了DNA基础模型在逆向攻击下的隐私安全性，发现嵌入相似性与序列相似性密切相关，DNABERT-2的分词方法更具隐私保护性。

FOMO-3D: Using Vision Foundation Models for Long-Tailed 3D Object Detection

FOMO-3D：利用视觉基础模型进行长尾3D目标检测

Anqi Joyce Yang, James Tu, Nikita Dvornik, Enxu Li, Raquel Urtasun

机构 * Waabi ； University of Toronto（多伦多大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)

AI总结 FOMO-3D通过利用视觉基础模型的丰富先验知识和多模态融合设计，提升长尾3D目标检测的性能。

Comments Published at 9th Annual Conference on Robot Learning (CoRL 2025)

Pretrain Finite Element Method: A Pretraining and Warm-start Framework for PDEs via Physics-Informed Neural Operators

预训练有限元法：通过物理信息神经算子实现的PDEs预训练和热启动框架

Yizheng Wang, Zhongkai Hao, Mohammad Sadegh Eshaghi, Cosmin Anitescu, Xiaoying Zhuang, Timon Rabczuk, Yinghua Liu

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 该研究提出预训练有限元法，通过物理信息神经算子结合FEM，提升PDEs求解效率与精度。

Bee: A High-Quality Corpus and Full-Stack Suite to Unlock Advanced Fully Open MLLMs

Bee：一个高质量语料库和全栈工具包，解锁高级完全开放的多模态大语言模型

Yi Zhang, Bolin Ni, Xin-Sheng Chen, Heng-Rui Zhang, Yongming Rao, Houwen Peng, Qinglin Lu, Han Hu, Meng-Hao Guo, Shi-Min Hu

机构 * Tsinghua University（清华大学） ； Tencent Hunyuan Team（腾讯文英团队） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI

AI总结 Bee通过高质量数据集和全栈工具包，提升完全开放多模态大语言模型的性能，达到与半开放模型相当甚至超越的水平。

Comments homepage: https://open-bee.github.io/

Scaling Laws in the Tiny Regime: How Small Models Change Their Mistakes

小规模 regime 中的缩放规律：小型模型如何改变其错误

Mohammed Alnemari, Rizwan Qureshi, Nader Begrazadah

机构 * Faculty of Computer Science and Information Technology, University of Tabuk（计算机科学与信息科技学院，塔布克大学） ； AIST Research Center, University of Tabuk（AIST研究中心，塔布克大学） ； Department of Computer Science, Salim Habib University（计算机科学系，Salim Habib大学） ； University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了小规模模型在 CIFAR-100 上的误差率缩放规律，发现小型模型在准确率、误差结构和校准方面有独特表现，且幂律关系在不同规模下不一致。

Comments 17 pages, 6 figures, 2 tables. Submitted to MDPI Machine Learning and Knowledge Extraction (MAKE)

Test-Time Meta-Adaptation with Self-Synthesis

测试时元适应与自合成

Zeyneb N. Kaya, Nick Rui

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MASS通过自动生成问题特定的合成训练数据，实现大语言模型在测试时的自我适应与优化，提升下游任务性能。

Comments 5 pages, 2 figures, 1 table. Accepted to AI with Recursive Self-Improvement (RSI) Workshop @ ICLR 2026

Adaptive Collaboration with Humans: Metacognitive Policy Optimization for Multi-Agent LLMs with Continual Learning

适应性协作与人类：多智能体大语言模型的元认知策略优化与持续学习

Wei Yang, Defu Cao, Jiacheng Pang, Muyan Weng, Yan Liu

机构 * University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 HILA框架通过元认知策略优化与持续学习，实现多智能体与人类的协同协作，提升复杂任务处理能力。

Resource-Adaptive Federated Text Generation with Differential Privacy

具有差分隐私的资源自适应联邦文本生成

Jiayi Wang, John Gounley, Heidi Hanson

机构 * Oak Ridge National Laboratory（奥克伍德国家实验室） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出了一种资源自适应的联邦文本生成框架，通过差分隐私机制和轻量级投票机制，提升在计算异质性和隐私保护下的分布对齐和下游任务鲁棒性。

Comments Accepted by DATA-FM workshop @ ICLR 2026

Scaling Data Difficulty: Improving Coding Models via Reinforcement Learning on Fresh and Challenging Problems

数据难度的扩展：通过在新鲜且具有挑战性的问题上进行强化学习来改进编码模型

Zongqian Li, Tengchao Lv, Shaohan Huang, Yixuan Su, Qinzheng Sun, Qiufeng Yin, Ying Xin, Scarlett Li, Lei Cui, Nigel Collier, Furu Wei

机构 * Microsoft Research（微软研究院） ； University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 通过强化学习在新鲜且具有挑战性的问题上改进编码模型，MicroCoder数据集通过系统化数据处理和难度扩展实现了显著的性能提升。

Distilling and Adapting: A Topology-Aware Framework for Zero-Shot Interaction Prediction in Multiplex Biological Networks

知识蒸馏与适应：一种拓扑感知的框架用于多重生物网络中的零样本交互预测

Alana Deng, Sugitha Janarthanan, Yan Sun, Zihao Jing, Pingzhao Hu

机构 * Department of Computer Science, Western University（计算机科学系，西部大学） ； Department of Biochemistry, Western University（生物化学系，西部大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种拓扑感知的框架，通过上下文感知表示学习和知识蒸馏，提升多重生物网络中零样本交互预测的性能。

Comments Accepted by ICLR 2026

Scale Dependent Data Duplication

规模依赖的数据复制

Joshua Kazdan, Noam Levi, Rylan Schaeffer, Jessica Chudnovsky, Abhay Puri, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho

机构 * Department of Statistics, Stanford University ； AI4Science, EPFL ； Department of Computer Science, Stanford University ； ServiceNow Research ； Department of XXX, University of YYY, Location, Country ； School of ZZZ, Institute of WWW, Location, Country ； École Polytechnique F\'ed\'erale de Lausanne (EPFL), CH-1015 Lausanne, Switzerland 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现数据复制在不同规模下表现不同，模型能力提升导致语义相似性梯度一致，大规模下语义碰撞加速，提出明确的规模定律以提高预测准确性。

ALOOD: Exploiting Language Representations for LiDAR-based Out-of-Distribution Object Detection

ALOOD：利用语言表示进行基于LiDAR的分布外物体检测

Michael Kösel, Marcel Schreiber, Michael Ulrich, Claudius Gläser, Klaus Dietmayer

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 ALOOD通过整合语言表示，提出了一种基于LiDAR的分布外物体检测新方法，利用视觉-语言模型实现零样本分类。

Comments Accepted for publication at the 2025 IEEE Intelligent Transportation Systems Conference (ITSC)

How Much Noise Can BERT Handle? Insights from Multilingual Sentence Difficulty Detection

BERT能容忍多少噪声？来自多语言句子难度检测的见解

Nouran Khallaf, Serge Sharoff

机构 * Centre for Translation, Localisation and Interpreting Studies（翻译、本地化与诠释研究中心） ； School of Languages, Cultures and Societies（语言、文化和社会学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 研究探讨了BERT在噪声下的鲁棒性，通过多语言句子难度检测验证了去噪策略的效果，发现GMM在小数据集上效果显著，而大语料库中预训练模型的正则化更具优势。

Journal ref Proceedings of the International Conference on Language Resources and Evaluation (LREC), 2026

EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video

EgoDex: 从大规模第一人称视频中学习灵巧操作

Ryan Hoque, Peide Huang, David J. Yoon, Mouli Sivapurapu, Jian Zhang

机构 * Apple（苹果公司） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 EgoDex通过大规模第一人称视频数据集推动灵巧操作研究，提供3D手部跟踪数据及模仿学习评估框架。

Comments ICLR 2026

Holi-Spatial: Evolving Video Streams into Holistic 3D Spatial Intelligence

Holi-Spatial: 将视频流转化为整体3D空间智能

Yuanyuan Gao, Hao Li, Yifei Liu, Xinhao Ji, Yuning Gong, Yuanjun Liao, Fangfu Liu, Manyuan Zhang, Yuchen Yang, Dan Xu, Xue Yang, Huaxi Huang, Hongjie Zhang, Ziwei Liu, Xiao Sun, Dingwen Zhang, Zhihang Zhong

机构 * Shanghai AI Lab（上海人工智能实验室） ； Northwestern Polytechnical University（西北工业大学） ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； Nanyang Technological University（南洋理工大学） ； Beihang University（北京航空航天大学） ； Sichuan University（四川大学） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） ； Fudan University（复旦大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 Holi-Spatial通过自动化方法构建大规模多模态3D空间数据集，提升空间推理任务的模型性能。

Comments project page: https://visionary-laboratory.github.io/holi-spatial/

ACD-U: Asymmetric co-teaching with machine unlearning for robust learning with noisy labels

ACD-U: 用机器遗忘进行不对称共教学以实现鲁棒学习的噪声标签

Reo Fukunaga, Soh Yoshida, Mitsuji Muneyasu

机构 * Kansai University（关西大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 ACD-U通过不对称共教学和机器遗忘技术，有效纠正噪声标签带来的学习误差，提升模型在高噪声环境下的鲁棒性。

More Women, Same Stereotypes: Unpacking the Gender Bias Paradox in Large Language Models

更多女性，相同刻板印象：解构大型语言模型中的性别偏见悖论

Evan Chen, Run-Jun Zhan, Yan-Bai Lin, Hung-Hsuan Chen

机构 * Computer Science and Information Engineering（计算机科学与信息工程系） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SFT(abstract)

AI总结 本研究通过自由叙事揭示大型语言模型中的性别偏见，发现其在职业性别分布上更接近人类刻板印象，而非现实数据，强调了平衡缓解措施的重要性。

In-Context Reinforcement Learning for Tool Use in Large Language Models

上下文强化学习用于大型语言模型中的工具使用

Yaoqi Ye, Yiran Zhao, Keyu Duan, Zeyu Zheng, Kenji Kawaguchi, Cihang Xie, Michael Qizhe Shieh

机构 * National University of Singapore（新加坡国立大学） ； Salesforce AI Research（Salesforce AI研究） ； University of California Berkeley（加州大学伯克利分校） ； University of California, Santa Cruz（加州大学圣克ruz分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；prompting(abstract)

AI总结 本文提出ICRL框架，通过强化学习无需微调即可实现大型语言模型的工具使用能力，实验显示其在推理和工具任务中表现优异。

Helping Large Language Models Protect Themselves: An Enhanced Filtering and Summarization System

帮助大语言模型自我保护：一种增强的过滤与摘要系统

Sheikh Samit Muhaimin, Spyridon Mastorakis

机构 * University of Notre Dame（诺特大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出一种无需重新训练的LLM自我防护系统，通过过滤模块检测恶意输入并摘要模块提供上下文知识，有效提升对抗性攻击的防御能力。

Journal ref Proceedings of the 2025 IEEE 7th International Conference on Trust, Privacy and Security in Intelligent Systems and Applications (TPS-ISA), Pittsburgh, PA, USA, November 12-14, 2025. IEEE