语言大模型 / LLM

Toward Training Superintelligent Software Agents through Self-Play SWE-RL

通过自我对弈SWE-RL训练超级智能软件代理

Yuxiang Wei, Zhiqing Sun, Emily McMilin, Jonas Gehring, David Zhang, Gabriel Synnaeve, Daniel Fried, Lingming Zhang, Sida Wang

机构 * Meta FAIR ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta TBD Lab（Meta TBD 实验室） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出自我对弈SWE-RL（SSR）方法，通过强化学习在自对弈环境中训练单一LLM代理，使其在无需人工标注问题或测试的情况下，在真实代码库中迭代注入和修复软件缺陷，在SWE-bench基准上实现显著自我改进并超越人类数据基线。

Comments Accepted to ICML 2026

Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews

大规模监控AI修改内容：ChatGPT对AI会议同行评审影响的案例研究

Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A. McFarland, James Y. Zou

机构 * Department of Computer Science, Stanford University（斯坦福大学计算机科学系） ； Machine Learning Department, NEC Labs America（NEC美国实验室机器学习部门） ； Department of Biomedical Data Science, Stanford University（斯坦福大学生物医学数据科学系） ； Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系） ； Graduate School of Education, Stanford University（斯坦福大学教育研究生院） ； Department of Sociology, Stanford University（斯坦福大学社会学系） ； Graduate School of Business, Stanford University（斯坦福大学商学院） ； Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系） ； Department of Computer Science, UC Santa Barbara（加州大学圣芭芭拉分校计算机科学系） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种方法，用于估计大规模语料库中可能被大语言模型（LLM）显著修改或生成的文本比例。通过专家撰写和AI生成的参考文本，该最大似然模型能够高效地在语料库层面考察实际的LLM使用情况。研究以ChatGPT发布后举行的AI会议同行评审（ICLR 2024、NeurIPS 2023、CoRL 2023和EMNLP 2023）为案例，发现6.5%至16.9%的提交文本可能被LLM显著修改。生成文本的情境揭示了用户行为：在信心较低、接近截止日期或回复作者反驳较少的评审中，估计的LLM生成文本比例更高。此外，观察到语料库层面的趋势可能过于微妙，无法在个体层面检测到，并讨论了这些趋势对同行评审的影响。呼吁未来跨学科研究探讨LLM使用如何改变我们的信息和知识实践。

Comments 46 pages, 31 figures, ICML '24

CasualSynth: Generating Structurally Sound Synthetic Data

CasualSynth: 生成结构上合理的合成数据

Zehua Cheng, Wei Dai, Jiahao Sun, Thomas Lukasiewicz

机构 * Department of Computer Science, University of Oxford（牛津大学计算机科学系） ； Institute of Logic and Computation, TU Wien（维也纳技术大学逻辑与计算研究所） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CasualSynth框架，通过解耦因果结构生成与语义实现，生成既符合因果机制又语义丰富的合成数据，解决了LLM在生成合成数据时无法保证因果正确性的问题。

Comments 15 pages

Reconstructing Sepsis Trajectories from Clinical Case Reports using LLMs: the Textual Time Series Corpus for Sepsis

利用大语言模型从临床病例报告中重建脓毒症轨迹：脓毒症的文本时间序列语料库

Shahriar Noroozizadeh, Jeremy C. Weiss

机构 * Machine Learning Department and Heinz College Carnegie Mellon University（卡内基梅隆大学机器学习系和海恩兹学院） ； National Library of Medicine National Institutes of Health（美国国家医学图书馆） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出利用大语言模型构建脓毒症文本时间序列语料库，通过提取病例报告中的时间局部发现，验证了LLM在时间局部化方面的有效性，并指出多模态整合的改进方向。

Comments Conference on Health, Inference, and Learning (CHIL 2026)

DisastRAG: A Multi-Source Disaster Information Integration and Access System Based on Retrieval-Augmented Large Language Models

DisastRAG：基于检索增强大语言模型的多源灾害信息整合与访问系统

Bo Li, Zhitong Chen, Kai Yin, Junwei Ma, Yiming Xiao, Ali Mostafavi

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出DisastRAG系统，整合结构化、非结构化和上下文灾害信息，通过多路径架构支持文档检索、结构化访问和外部网络回退，提升灾害管理信息获取效率。

Revisiting Sentiment Analysis for Software Engineering in the Era of Large Language Models

重新审视大规模语言模型时代软件工程中的情感分析

Ting Zhang, Ivana Clairine Irsan, Ferdian Thung, David Lo

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文研究了大规模语言模型在解决软件工程任务中标注数据不足问题的效果，比较了大模型与微调小模型在零样本和少样本场景下的表现。

Comments Accepted by ACM Transactions on Software Engineering and Methodology

Generative Event Pretraining with Foundation Model Alignment

基于基础模型对齐的生成事件预训练

Jianwen Cao, Jiaxu Xing, Nico Messikommer, Davide Scaramuzza

机构 * Robotics and Perception Group, University of Zurich（苏黎世大学机器人感知组） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

AI总结 本文提出GEP框架，通过将互联网级图像数据集中的语义知识迁移到事件数据，并学习事件特有的时间动态，提升事件视觉基础模型在跨任务迁移学习中的性能。

Journal ref CVPR 2026 Findings

Learning to See through Illumination Extremes with Event Streaming in Multimodal Large Language Models

通过事件流学习在极端光照下视觉感知

Baoheng Zhang, Jiahui Liu, Gui Zhao, Weizhou Zhang, Yixuan Ma, Jun Jiang, Yingxian Chen, Wilton W. T. Fok, Xiaojuan Qi, Hayden Kwok-Hay So

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出Event-MLLM，通过动态融合事件流与RGB帧进行全光视觉推理，引入光照指示器和光照校正损失，解决极端光照下多模态大语言模型的感知与推理问题。

Comments IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026

Know3D: Prompting 3D Generation with Knowledge from Vision-Language Models

Know3D: 通过视觉-语言模型的知识提示3D生成

Wenyue Chen, Wenjue Chen, Peng Li, Qinghe Wang, Xu Jia, Heliang Zheng, Rongfei Jia, Yuan Liu, Ronggang Wang

机构 * Peking University（北京大学） ； Math Magic（数学魔术） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology（广东省超高清沉浸媒体技术重点实验室） ； Dalian University of Technology（大连理工大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；prompting(title)；large language model(abstract)

AI总结 本文提出Know3D框架，利用多模态大语言模型的知识提升3D生成的可控性，通过潜在状态注入实现语言可控的后视图生成，改进3D生成的几何细节与一致性。

Comments page: https://xishuxishu.github.io/Know3D.github.io/

Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining

通过重构理解：为LLM预训练反转软件开发过程

Zhiyuan Zeng, Yichi Zhang, Yong Shan, Kai Hua, Siyuan Fang, Zhaiyu Liu, Jiaheng Liu, Haozhe Wang, Yining Zheng, Ming Ding, Ke Shen, Ge Zhang, Wenhao Huang, Xipeng Qiu

专题命中 预训练与数据 ：LLM(title)；pretraining(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出通过重构软件开发过程来提升LLM性能，通过模拟多智能体轨迹生成更丰富的监督信号，实验显示在多个基准测试中效果显著。

Harvest Video Foundation Models via Efficient Post-Pretraining

通过高效后预训练收获视频基础模型

Yizhuo Li, Kunchang Li, Yinan He, Yi Wang, Yali Wang, Limin Wang, Yu Qiao, Ping Luo

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

AI总结 本文提出一种高效框架，通过随机丢弃视频片段和遮蔽文本来从图像基础模型中获取视频基础模型，提升了训练效率并强化了跨模态融合，实验表明其在多种视频-语言任务中达到SOTA性能。

When Machines Get It Wrong: Large Language Models Perpetuate Autism Myths More Than Humans Do

当机器出错时：大型语言模型传播自闭症谬误的程度超过人类

Eduardo C. Garrido-Merchán, Adriana Constanza Cirera Tirschtigel

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本研究发现大型语言模型在传播自闭症谬误方面比人类更严重，揭示了AI系统在知识表征上的缺陷。

Scaling Dense Event-Stream Pretraining from Visual Foundation Models

从视觉基础模型扩展密集事件流预训练

Zhiwen Chen, Junhui Hou, Zhiyu Zhu, Jinjian Wu, Guangming Shi

机构 * City University of Hong Kong（香港城市大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

AI总结 本文提出一种基于视觉基础模型的自监督预训练方法，通过结构感知的蒸馏损失优化密集事件表示，显著提升下游任务性能。

Beyond Language Modeling: An Exploration of Multimodal Pretraining

超越语言模型：多模态预训练的探索

Shengbang Tong, David Fan, John Nguyen, Ellis Brown, Gaoyue Zhou, Shengyi Qian, Boyang Zheng, Théophane Vallaeys, Junlin Han, Rob Fergus, Naila Murray, Marjan Ghazvininejad, Mike Lewis, Nicolas Ballas, Amir Bar, Michael Rabbat, Jakob Verbeek, Luke Zettlemoyer, Koustuv Sinha, Yann LeCun, Saining Xie

机构 * FAIR, Meta（FAIR、Meta） ； New York University（纽约大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(title)；foundation model(abstract)

AI总结 本文通过多模态预训练探索，揭示了视觉与语言数据的互补性及统一预训练对世界建模的促进作用，并提出MoE架构解决多模态扩展的不对称性问题。

Comments Project website at https://beyond-llms.github.io/

SLM-S2ST: A multimodal language model for direct speech-to-speech translation

SLM-S2ST: 一种用于直接语音到语音翻译的多模态语言模型

Yuxuan Hu, Haibin Wu, Ruchao Fan, Xiaofei Wang, Heng Lu, Yao Qian, Jinyu Li

专题命中 预训练与数据 ：language model(title,abstract)；SLM(title,abstract)

AI总结 SLM-S2ST是一种多模态语言模型，通过音频转换器头和流式 vocoder 实现高效的语音到语音翻译，实验表明其性能优于现有模型。

Comments Accepted by ASRU 2025

Chain-of-Caption: Training-free improvement of multimodal large language model on referring expression comprehension

Chain-of-Caption: 无需训练提升多模态大语言模型的指称表达理解

Yik Lung Pang, Changjae Oh

机构 * Queen Mary University of London（伦敦女王学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出无需训练的Chain-of-Caption框架，通过结合多种上下文提升多模态大语言模型在指称表达理解任务中的性能。

Comments 4 pages, 5 figures, 2 tables

Detecting Training Data of Large Language Models via Expectation Maximization

通过期望最大化检测大型语言模型的训练数据

Gyuwan Kim, Yang Li, Evangelia Spiliopoulou, Jie Ma, William Yang Wang

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） ； AWS AI Lab（AWS人工智能实验室） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出EM-MIA方法，通过期望最大化策略检测大型语言模型的训练数据，实验表明其在分布重叠明显时表现优异，揭示了当前方法的局限性。

Comments EACL 2026

Ethical AI prompt recommendations in large language models using collaborative filtering

在大型语言模型中使用协同过滤进行伦理AI提示推荐

Jordan Nelson, Almas Baimagambetov, Konstantinos Avgerinakis, Nikolaos Polatidis

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出利用协同过滤技术在大型语言模型中提升伦理提示推荐，通过合成数据集和用户互动减少偏见，解决伦理AI中的透明度和公平性问题。

Comments This paper has been accepted to by the International Journal of Parallel, Emergent & Distributed Systems (Taylor and Francis) and has an assigned DOI. We have already chose to make this open access using CC BY. The article is not yet available online on the publisher's website. The DOI is: doi.org/10.1080/17445760.2025.2573086

KinGuard: Hierarchical Kinship-Aware Fingerprinting to Defend Against Large Language Model Stealing

KinGuard：分层的亲属意识指纹法用于防御大语言模型窃取

Zhenhua Xu, Xiaoning Tian, Wenjun Zeng, Wenpeng Xing, Tianliang Lu, Gaolei Li, Chaochao Chen, Meng Han

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 KinGuard通过构建基于亲属叙述的知识库，利用增量预训练内化知识，实现对大语言模型的高效且安全的指纹保护。

Comments Accepted by ICASSP2026

Are Large Language Models able to Predict Highly Cited Papers? Evidence from Statistical Publications

大语言模型能否预测高被引论文？来自统计出版物的证据

Zhanshuo Ye, Yiming Hou, Rui Pan, Tianchen Gao, Hansheng Wang

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文通过大语言模型预测高被引论文，利用文本信息和结构化提示设计，展示了其在预测长期引用影响方面的有效性及局限性。

From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition

从 hype 到 insight：重新思考大型语言模型在视觉语音识别中的整合

Rishabh Jain, Naomi Harte

专题命中 预训练与数据 ：language model(title,abstract)；large language model(title)；LLM(abstract)

AI总结 本研究通过系统评估发现，LLM解码器通过优化上下文推理提升性能，而非依赖视觉特征，强调需强化视觉编码器以推动VSR进展。

Comments Accepted for publication in ICASSP 2026

Large Language Models to Enhance Multi-task Drone Operations in Simulated Environments

大语言模型提升模拟环境中的多任务无人机操作

Yizhan Feng, Hichem Snoussi, Jing Teng, Abel Cherouat, Tian Wang

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出利用大语言模型提升模拟环境中的无人机多任务操作效率，通过微调CodeT5模型实现自然语言到可执行代码的自动化翻译。

Comments 1st International Conference on Drones and Unmanned Systems (DAUS' 2025)

KidVis: Do Multimodal Large Language Models Possess the Visual Perceptual Capabilities of a 6-Year-Old?

KidVis: 多模态大语言模型是否具备六岁儿童的视觉感知能力？

Xianfeng Wang, Kaiwei Zhang, Qi Jia, Zijian Chen, Guangtao Zhai, Xiongkuo Min

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 KidVis研究通过对比人类儿童与多模态大语言模型在视觉能力上的表现，揭示了当前模型在基础视觉感知上的不足。

MoFa: A Unified Performance Modeling Framework for LLM Pretraining

MoFa: 一种统一的LLM预训练性能建模框架

Lu Zhao, Rong Shi, Shaoqing Zhang, Shangchao Su, Ziqing Yin, Zhiyan Cui, Hongfeng Sun, Baoguo He, Yueqiang Chen, Liang Dong, Xiyuan Li, Lingbin Wang, Lijun Ma, Qiang Huang, Ting Liu, Chong Wang, Can Wei

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(title,abstract)

AI总结 MoFa提出一种统一的LLM预训练性能建模框架，整合多维优化特征和容错机制，通过增强的成本模型和调优系统，提升预训练性能预测精度并提供系统设计指导。

Part-X-MLLM: Part-aware 3D Multimodal Large Language Model

Chunshi Wang, Junliang Ye, Yunhan Yang, Yang Li, Zizhuo Lin, Jun Zhu, Zhuo Chen, Yawei Luo, Chunchao Guo

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文言） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

DualSpeechLM: Towards Unified Speech Understanding and Generation via Dual Speech Token Modeling with Large Language Models

Yuanyuan Wang, Dongchao Yang, Yiwen Shao, Hangting Chen, Jiankun Zhao, Zhiyong Wu, Helen Meng, Xixin Wu

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

Comments Accepted by AAAI 2026

LongCat-Audio-Codec: An Audio Tokenizer and Detokenizer Solution Designed for Speech Large Language Models

Xiaohan Zhao, Hongyu Xiang, Shengze Ye, Song Li, Zhengkun Tian, Guanyu Chen, Ke Ding, Guanglu Wan

机构 * LongCat Team（LongCat团队） ； Meituan（美团） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

Diversity-oriented Data Augmentation with Large Language Models

Zaitian Wang, Jinghan Zhang, Xinhao Zhang, Kunpeng Liu, Pengfei Wang, Yuanchun Zhou

机构 * Computer Network Information Center, CAS（中国科学院计算机网络信息中心） ； University of Chinese Academy of Sciences（中国科学院大学） ； Portland State University（波特兰州立大学） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to ACL 2025

How human is the machine? Evidence from 66,000 Conversations with Large Language Models

Antonios Stamatogiannakis, Arsham Ghodsinia, Sepehr Etminanrad, Dilney Gonçalves, David Santos

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

DermINO: Hybrid Pretraining for a Versatile Dermatology Foundation Model

Jingkai Xu, De Cheng, Xiangqian Zhao, Jungang Yang, Zilong Wang, Xinyang Jiang, Xufang Luo, Lili Chen, Xiaoli Ning, Chengxu Li, Xinzhu Zhou, Xuejiao Song, Ang Li, Qingyue Xia, Zhou Zhuang, Hongfei Ouyang, Ke Xue, Yujun Sheng, Rusong Meng, Feng Xu, Xi Yang, Weimin Ma, Yusheng Lee, Dongsheng Li, Xinbo Gao, Jianming Liang, Lili Qiu, Nannan Wang, Xianbo Zuo, Cui Yong

机构 * Microsoft Research Asia（微软亚洲研究院） ； Peking University China-Japan Friendship School of Clinical Medicine（北京大学中国日友好临床医学学院） ； Scientific-skincare Innovation Alliance (SIA)（科学护肤创新联盟（SIA）） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)