语言大模型 / LLM

CoPeP: Benchmarking Continual Pretraining for Protein Language Models

CoPeP：蛋白质语言模型持续预训练基准测试

Darshan Patil, Pranshu Malviya, Mathieu Reymond, Quentin Fournier, Sarath Chandar

机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； Polytechnique Montréal（蒙特利尔理工学院） ； Chandar Research Lab（昌达尔研究实验室） ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 CoPeP基准测试通过评估持续学习方法在蛋白质语言模型中的表现，揭示了整合时间元信息对模型性能的提升效果。

Comments 29 pages, 25 figures

Beyond Language Modeling: An Exploration of Multimodal Pretraining

超越语言模型：多模态预训练的探索

Shengbang Tong, David Fan, John Nguyen, Ellis Brown, Gaoyue Zhou, Shengyi Qian, Boyang Zheng, Théophane Vallaeys, Junlin Han, Rob Fergus, Naila Murray, Marjan Ghazvininejad, Mike Lewis, Nicolas Ballas, Amir Bar, Michael Rabbat, Jakob Verbeek, Luke Zettlemoyer, Koustuv Sinha, Yann LeCun, Saining Xie

机构 * FAIR, Meta（FAIR、Meta） ； New York University（纽约大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(title)；foundation model(abstract)

AI总结 本文通过多模态预训练探索，揭示了视觉与语言数据的互补性及统一预训练对世界建模的促进作用，并提出MoE架构解决多模态扩展的不对称性问题。

Comments Project website at https://beyond-llms.github.io/

D2E: Scaling Vision-Action Pretraining on Desktop Data for Transfer to Embodied AI

D2E：在桌面数据上扩展视觉-动作预训练以迁移到具身AI

Suhwan Choi, Jaeyoon Jung, Haebin Seong, Minchan Kim, Minyeong Kim, Yongjun Cho, Yoonshik Kim, Yubeen Park, Youngjae Yu, Yunsung Lee

机构 * Stanford University（斯坦福大学） ； Seoul National University（首尔国立大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 D2E通过桌面数据预训练，实现了具身AI任务的有效迁移，其框架包含三个组件，展示了在物理操作和导航任务中的高性能表现。

Comments Accepted to ICLR 2026

Adapting Time Series Foundation Models through Data Mixtures

通过数据混合适应时间序列基础模型

Thomas L. Lee, Edoardo M. Ponti, Amos Storkey

机构 * School of Informatics, University of Edinburgh（爱丁堡大学信息学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 MixFT通过数据混合重新划分数据，以更好地适应不同子领域，提升时间序列基础模型的零样本预测性能。

Comments Preprint, 8 pages

A Natural Language Agentic Approach to Study Affective Polarization

一种自然语言代理方法研究情感极化

Stephanie Anneris Malvicini, Ewelina Gajewska, Arda Derbent, Katarzyna Budzynska, Jarosław A. Chudziak, Maria Vanina Martinez

机构 * Warsaw University of Technology (WUT)（华沙技术大学） 纠错

专题命中 预训练与数据 ：language agent(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种基于自然语言代理的多代理模型，用于研究社交媒体中的情感极化现象，通过虚拟社区模拟和实验分析，提供新的研究视角和方法。

Comments Accepted at ICAART 2026 (18th International Conference on Agents and Artificial Intelligence). The final published version is available in the conference proceedings (SCITEPRESS)

Journal ref In Proceedings of the 18th International Conference on Agents and Artificial Intelligence (ICAART 2026), Vol. 1, pp. 339-346. SCITEPRESS, 2026

3D Modality-Aware Pre-training for Vision-Language Model in MRI Multi-organ Abnormality Detection

面向MRI多器官异常检测的3D模态感知预训练

Haowen Zhu, Ning Yin, Xiaogen Zhou

机构 * School of Electronic, Electrical Engineering and Physics, Fujian University of Technology（福建工程学院电子电气工程学院） ； School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院） ； Department of Medical Imaging, Suzhou Traditional Chinese Medicine Hospital, China（苏州中医医院影像科） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出MedMAP框架，通过3D MRI的模态感知预训练提升多器官异常检测性能，实验表明其优于现有视觉-语言模型。

Rethinking the Role of LLMs in Time Series Forecasting

重新思考LLMs在时间序列预测中的作用

Xin Qiu, Junlong Tong, Yirong Sun, Yunpu Ma, Wei Zhang, Xiaoyu Shen

机构 * Ningbo Key Laboratory of Spatial Intelligence（空间智能 Ningbo 关键实验室） ； Digital Derivative, Institute of Digital Twin, Eastern Institute of Technology, Ningbo（数字衍生，数字孪生研究所，东部技术研究所，Ningbo） ； Zhejiang University（浙江大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文研究了LLMs在时间序列预测中的作用，发现其在跨域泛化和复杂动态建模中表现优异，提供了有效模型设计的指导。

Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects

刻画扩散语言模型中的记忆化：通用提取与采样效应

Xiaoyu Luo, Wenrui Yu, Qiongxiu Li, Johannes Bjerva

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本文研究了扩散语言模型的记忆化现象，提出通用概率提取框架并验证其理论，显示DLMs在记忆化信息泄露方面优于自回归模型。

Comments 21 pages, 9 figures

NeighborMAE: Exploiting Spatial Dependencies between Neighboring Earth Observation Images in Masked Autoencoders Pretraining

NeighborMAE: 利用邻近遥感图像间的空间依赖性在掩码自编码器预训练中进行建模

Liang Zeng, Valerio Marsocci, Wufan Zhao, Andrea Nascetti, Maarten Vergauwen

机构 * KU Leuven（卢森堡大学） ； ESA Φ \Phi -lab（欧洲航天局Φ实验室） ； HKUST(GZ)（香港科技大学（珠海）） ； KTH（皇家理工学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 NeighborMAE通过联合重建邻近遥感图像，利用空间依赖性提升掩码自编码器在遥感图像预训练中的性能。

Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation

学习解决与验证：一种用于代码和测试生成的自博弈框架

Zi Lin, Sheng Shen, Ilia Kulikov, Jingbo Shang, Jason Weston, Yixin Nie

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究提出Sol-Ver框架，通过自博弈方式提升代码和测试生成能力，无需人工标注或大模型，实现代码生成和测试生成的性能提升。

Comments 14 pages, 5 figures

UniG2U-Bench: Do Unified Models Advance Multimodal Understanding?

UniG2U-Bench: 统一模型是否能提升多模态理解？

Zimo Wen, Boxiu Li, Wanbo Zhang, Junxiang Lei, Xiaoyu Chen, Yijia Fan, Qi Zhang, Yujiang Wang, Lili Qiu, Bo Li, Ziwei Liu, Caihua Shan, Yifan Yang, Yifei Shen

机构 * Microsoft Research Asia（微软亚洲研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； Fudan University（复旦大学） ； University of Oxford（牛津大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 UniG2U-Bench通过系统评估生成到理解的任务，揭示统一模型在多模态理解中的局限性和改进方向。

Video TokenCom: Textual Intent-Guided Multi-Rate Video Token Communications with UEP-Based Adaptive Source-Channel Coding

视频令牌通信：基于UEP的自适应源信道编码的文本意图引导多速率视频令牌通信

Jingxuan Men, Mahdi Boloursaz Mashhadi, Ning Wang, Yi Ma, Mike Nilsson, Rahim Tafazolli

机构 * GIC & 6GIC, Institute for Communication Systems (ICS), University of Surrey（5GIC与6GIC，通信系统研究所（ICS），塞夫尔大学） ； Smart Internet Lab, University of Bristol（智能互联网实验室，布里斯托尔大学） ； British Telecom Research Lab, BT Group plc（英国电信研究实验室，BT集团） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出基于UEP的自适应源信道编码的视频令牌通信框架，通过文本意图引导的多速率视频通信提升语义保真度和传输效率。

ScribeTokens: Fixed-Vocabulary Tokenization of Digital Ink

ScribeTokens: 数字墨迹的固定词汇分词

Douglass Wang

机构 * Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 ScribeTokens通过固定词汇表的分词方法，有效提升了数字墨迹的生成和识别性能，尤其在无需预训练的情况下超越向量表示。

Extending the Formalism and Theoretical Foundations of Cryptography to AI

扩展密码学形式化和理论基础以适应人工智能

Federico Villa, F. Betül Durak, Tadayoshi Kohno, Tapdig Maharramli, Franziska Roesner

专题命中 预训练与数据 ：language model(abstract)

AI总结 本文提出了一种基于形式化方法的代理访问控制框架，通过统一保密性、完整性和可用性，解决了现有授权机制缺乏共享基础的问题，并证明了模块化分解在代理系统安全性中的重要性。

Relevance Matters: A Multi-Task and Multi-Stage Large Language Model Approach for E-commerce Query Rewriting

相关性至关重要：一种多任务和多阶段大型语言模型方法用于电子商务查询重写

Aijun Dai, Jixiang Zhang, Haiqing Hu, Guoyu Tang, Lin Liu, Ziguang Cheng

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)

AI总结 本文提出一种基于多任务和多阶段的大型语言模型方法，用于提升电子商务查询重写的相关性和用户转化效果。

Comments Accepted for publication at ICDE 2026

You Only Fine-tune Once: Many-Shot In-Context Fine-Tuning for Large Language Models

你只需微调一次：用于大型语言模型的多示例上下文微调

Wenchong He, Liqian Peng, Zhe Jiang, Alex Go

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出多示例上下文微调方法，通过扩展上下文学习原理，显著提升大型语言模型在多任务处理中的性能，接近专门微调水平并缓解灾难性遗忘问题。

Comments 20 pages, 6 figures, 12 tables

BitBypass: A New Direction in Jailbreaking Aligned Large Language Models with Bitstream Camouflage

BitBypass：一种新的方向：利用位流伪装进行对齐大语言模型的黑盒劫持

Kalyan Nakka, Nitesh Saxena

机构 * SPIES Research Lab, Dept. of CSE, Texas A&M University（SPIES研究实验室，计算机科学与工程系，德克萨斯A&M大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 BitBypass通过位流伪装技术，提出了一种新的黑盒劫持方法，有效绕过对齐大语言模型的安全机制，展现出更高的隐蔽性和攻击成功率。

Comments 27 pages, 27 figures, and 4 tables

A Fingerprint for Large Language Models

大型语言模型的指纹

Zhiguang Yang, Hanzhou Wu

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出了一种新型黑盒指纹技术，用于检测大型语言模型的侵权行为，通过分析模型输出的向量空间相似性，实现高效且鲁棒的指纹验证。

Comments Updated by Hanzhou Wu, 8 pages

Journal ref IS&T Electronic Imaging, Media Watermarking, Security, and Forensics (2026)

Compact Prompting in Instruction-tuned LLMs for Joint Argumentative Component Detection

在指令调优的LLM中使用紧凑提示进行联合论证组件检测

Sofiane Elguendouze, Erwan Hain, Elena Cabrio, Serena Villata

机构 * Université Côte d’Azur, I3S, CNRS, Inria（法国埃克塞特大学、I3S研究所、国家科学研究中心、法国国家信息与自动化研究所） 纠错

专题命中 指令微调 ：prompting(title)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本文提出利用指令调优的LLM和紧凑提示，将论证组件检测重新建模为生成任务，提升从文本中直接识别论证组件的性能。

Comments Under Review (COLM 2026)

OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging

OptMerge: 通过模型融合统一多模态大语言模型的能力与模态

Yongxian Wei, Runxi Cheng, Weike Jin, Enneng Yang, Li Shen, Lu Hou, Sinan Du, Chun Yuan, Xiaochun Cao, Dacheng Tao

机构 * Tsinghua University（清华大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 OptMerge通过模型融合统一多模态大语言模型的能力与模态，提出基准和算法提升性能2.48%

MuxTune: Efficient Multi-Task LLM Fine-Tuning in Multi-Tenant Datacenters via Spatial-Temporal Backbone Multiplexing

MuxTune: 通过时空骨干多路复用实现多租户数据中心中的高效多任务LLM微调

Chunyu Xue, Yi Pan, Weihao Cui, Quan Chen, Shulai Zhang, Bingsheng He, Minyi Guo

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 MuxTune通过时空骨干多路复用实现多租户数据中心中多个PEFT任务的高效并发执行，显著提升吞吐量和内存利用率。

InstructVLA: Vision-Language-Action Instruction Tuning from Understanding to Manipulation

InstructVLA: 从理解到操作的视觉-语言-动作指令微调

Shuai Yang, Hao Li, Bin Wang, Yilun Chen, Yang Tian, Tai Wang, Hanqing Wang, Feng Zhao, Yiyi Liao, Jiangmiao Pang

机构 * University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；language model(abstract)

AI总结 InstructVLA通过视觉-语言-动作指令微调，实现了在多模态推理和动作生成之间的平衡，提升了机器人在复杂任务中的操控性能和泛化能力。

Comments 48 pages

Does Fine-tuning by Reinforcement Learning Improve Generalization in Binary Speech Deepfake Detection?

基于强化学习的微调是否能提高二元语音深度伪造检测的泛化能力？

Xin Wang, Ge Wanying, Junichi Yamagishi

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；SFT(abstract)

AI总结 本文研究了基于GRPO的强化学习微调对二元语音深度伪造检测泛化能力的提升作用，发现其在无领域测试集上表现优于传统SFT方法。

Comments Submitted to Interspeech 2026; put on arxiv based on requirement of paper open-access rule; quote from Interspeech: "Interspeech no longer enforces an anonymity period for submissions. While uploading a version online is permitted, your official submission to Interspeech must not contain any author-identifying information"

Silent Sabotage During Fine-Tuning: Few-Shot Rationale Poisoning of Compact Medical LLMs

细调过程中的无声破坏：紧凑型医学LLM的少样本推理污染

Jingyuan Xie, Wenjie Wang, Ji Wu, Jiandong Gao

机构 * Department of Electronics Engineering, Tsinghua University, Beijing, China（清华大学电子工程系） ； College of AI, Tsinghua University, Beijing, China（清华大学人工智能学院） ； Beijing National Research Center for Information Science and Technology, Beijing, China（北京信息科学国家研究中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种针对医学LLM在细调过程中的推理污染攻击，通过注入污染的推理样本导致模型在特定医学主题上的性能下降，揭示了细调阶段存在的安全风险。

DiaBlo: Diagonal Blocks Are Sufficient For Finetuning

DiaBlo: 对角块足以用于微调

Selcuk Gurses, Aozhong Zhang, Yanxia Deng, Xun Dong, Xin Li, Naigang Wang, Penghang Yin, Zi Yang

机构 * University at Albany, SUNY（纽约州立大学阿尔巴尼分校） ； IBM T. J. Watson Research Center（IBM 汤普逊·杰·沃森研究中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 DiaBlo是一种仅更新模型权重矩阵对角块的参数高效微调方法，通过消除低秩矩阵乘积需求，实现稳定收敛和高效训练。

Comments Accepted by ICLR 2026

Make LoRA Great Again: Boosting LoRA with Adaptive Singular Values and Mixture-of-Experts Optimization Alignment

让LoRA更出色：通过自适应奇异值和专家混合优化对齐提升LoRA

Chenghao Fan, Zhenyi Lu, Sichen Liu, Chengfeng Gu, Xiaoye Qu, Wei Wei, Yu Cheng

机构 * School of Computer Science \& Technology, Huazhong University of Science ； The Chinese University of Hong Kong ； Zhejiang University 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 GOAT通过自适应奇异值和专家混合优化对齐提升LoRA性能，实现在多个任务上的最优表现。

Comments Accepted by ICML 2025

WAFFLE: Finetuning Multi-Modal Models for Automated Front-End Development

WAFFLE：针对自动化前端开发的多模态模型微调

Shanchao Liang, Nan Jiang, Shangshu Qian, Lin Tan

机构 * Purdue University（普渡大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 WAFFLE通过结构感知注意力机制和对比微调方法，提升多模态模型在UI到HTML代码生成中的表现。

DMTrack: Spatio-Temporal Multimodal Tracking via Dual-Adapter

DMTrack: 基于双适配器的时空多模态跟踪

Weihong Li, Shaohua Dong, Haonan Lu, Yanhao Zhang, Heng Fan, Libo Zhang

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； Department of Computer Science and Engineering, University of North Texas（北卡罗来纳州立大学计算机科学与工程系） ； OPPO AI Center（OPPO人工智能中心） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.AI

AI总结 DMTrack通过双适配器架构实现时空多模态跟踪，利用STMA和PMCA模块提升跨模态融合效果，达到先进性能。

Comments Accepted by ICRA 2026

CAPT: Confusion-Aware Prompt Tuning for Reducing Vision-Language Misalignment

CAPT：基于混淆的提示微调以减少视觉-语言不一致

Maoyuan Shao, Yutong Gao, Xinyang Huang, Chuang Zhu, Lijuan Sun, Guoshun Nan

机构 * School of Information Engineering, Minzu University of China（中国民族大学信息工程学院） ； School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） ； National Library of China, Beijing, China（中国国家图书馆） ； School of Cyberspace Security, Beijing University of Posts and Telecommunications（北京邮电大学网络安全学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 CAPT通过引入混淆感知的提示微调框架，有效减少视觉-语言模型中的混淆误差，提升模型判别能力和泛化性能。

Comments Accepted by CVPR2026

SiNGER: A Clearer Voice Distills Vision Transformers Further

SiNGER：一种更清晰的声音蒸馏进一步视觉变换器

Geunhyeok Yu, Sunjae Jeong, Yoonyoung Choi, Jaeseung Kim, Hyoseok Hwang

机构 * Kyung Hee University（庆熙大学） ； MOBILTECH CO., LTD（MOBILTECH公司） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI

AI总结 SiNGER通过奇异空心引导能量再分配框架，在抑制伪影的同时保留信息信号，提升学生模型性能。

Comments Main paper: 12 pages (including 3 pages of references), 6 figures, 6 tables. Appendix: 9 pages, 7 figures. ICLR 2026 accepted