语言大模型 / LLM

Investigating Gender Stereotypes in Large Language Models via Social Determinants of Health

通过社会健康决定因素探讨大型语言模型中的性别刻板印象

Trung Hieu Ngo, Adrien Bazoge, Solen Quiniou, Pierre-Antoine Gourraud, Emmanuel Morin

机构 * Nantes Université, École Centrale Nantes, CNRS, LS2N, UMR 6004（南特大学，中央理工学院，国家科学研究中心，LS2N，UMR 6004） ； Nantes Université, CHU Nantes, Clinique des données, INSERM, CIC 1413（南特大学，南特大学医院，数据诊所，国家健康与医学研究院，CIC 1413） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过分析法语患者记录中的性别与社会健康决定因素的关系，揭示了LLM在性别决策中依赖嵌入刻板印象的现象，并提出评估SDoH因素相互作用以补充现有偏见评估方法。

Comments Accepted as Findings at EACL 2026

Pretraining with Token-Level Adaptive Latent Chain-of-Thought

基于令牌级适应性潜在链式思维的预训练

Boyi Zeng, Yiqin Hao, He Li, Shixiang Song, Feichen Song, Zitong Wang, Siyuan Huang, Yi Xu, ZiWei He, Xinbing Wang, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Al Laboratory（上海Al实验室） ； Sun Yat-sen University（中山大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究提出了一种基于令牌级适应性潜在链式思维的预训练方法，通过内部化潜在链式思维来提高模型性能，减少计算成本，并在语言建模和下游任务中取得显著改进。

Comments 15pages

Lightweight Time Series Data Valuation on Time Series Foundation Models via In-Context Finetuning

基于上下文微调的轻量时间序列数据估值方法

Shunyu Wu, Tianyue Li, Yixuan Leng, Jingyi Suo, Jian Lou, Dan Li, See-Kiong Ng

机构 * Sun Yat-sen University State Key Laboratory of Internet Architecture（中山大学互联网架构国家重点实验室） ； Tsinghua University（清华大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LTSV方法，通过上下文微调实现轻量时间序列数据估值，有效解决传统方法的计算瓶颈和时间依赖性问题。

Comments Accepted as a full paper at DASFAA 2026 (The 31st International Conference on Database Systems for Advanced Applications)

Towards Robust Retrieval-Augmented Generation Based on Knowledge Graph: A Comparative Analysis

基于知识图谱的鲁棒检索增强生成：一种比较分析

Hazem Amamou, Stéphane Gagnon, Alan Davoust, Anderson R. Avila

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文基于知识图谱改进RAG系统，通过比较分析评估其在噪声、信息整合、负样本拒绝和反事实鲁棒性方面的性能提升。

Comments Accepted at IEEE SMC 2025 (International Conference on Systems, Man, and Cybernetics)

N-gram Injection into Transformers for Dynamic Language Model Adaptation in Handwritten Text Recognition

基于N-gram注入的Transformer在手写文本识别中的动态语言模型适应

Florent Meyer, Laurent Guichard, Yann Soullard, Denis Coquenet, Guillaume Gravier, Bertrand Coüasnon

机构 * ANTAI, Rennes, France（ANTAI研究院，法国里昂） ； Univ Rennes, CNRS, IRISA - UMR 6074, Rennes, France（里昂大学，法国国家科学研究中心，IRISA-UMR 6074，法国里昂） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 本文提出N-gram注入方法，用于在手写文本识别中动态调整Transformer的语言模型，以应对目标语料分布偏移问题，提升识别精度。

Comments Fix order of authors

Human-CLAP: Human-perception-based contrastive language-audio pretraining

基于人类感知的对比语言-音频预训练：Human-CLAP

Taisei Takano, Yuki Okamoto, Yusuke Kanamori, Yuki Saito, Ryotaro Nagase, Hiroshi Saruwatari

机构 * The University of Tokyo, Japan（东京大学） ； Ritsumeikan University, Japan（立命馆大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 Human-CLAP通过引入人类主观评价分数提升CLAPScore与人类评价的相关性

Comments Submitted to APSIPA ASC 2025

MedKCO: Medical Vision-Language Pretraining via Knowledge-Driven Cognitive Orchestration

MedKCO：通过知识驱动的认知协调进行医学视觉-语言预训练

Chenran Zhang, Ruiqi Wu, Tao Zhou, Yi Zhou

机构 * School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Ministry of Education, China（教育部新一代人工智能技术及其交叉应用重点实验室） ； School of Computer Science and Engineering, Nanjing University of Science and Technology, China（南京理工大学计算机科学与工程学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 MedKCO通过知识驱动的认知协调优化医学视觉-语言预训练，提升模型在分布偏移下的泛化能力。

Comments CVPR2026

ConLID: Supervised Contrastive Learning for Low-Resource Language Identification

ConLID：面向低资源语言识别的监督对比学习

Negar Foroutan, Jakhongir Saydaliev, Ye Eun Kim, Antoine Bosselut

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ConLID通过监督对比学习方法，提升低资源语言在领域外数据上的识别性能，同时保持高资源语言的识别效果。

Comments EACL 2026 - Main Conference

Speech-Omni-Lite: Portable Speech Interfaces for Vision-Language Models

Speech-Omni-Lite: 用于视觉-语言模型的便携式语音接口

Dehua Tao, Xuan Luo, Daxin Tan, Kai Chen, Lanqing Hong, Jing Li, Ruifeng Xu, Xiao Chen

专题命中 预训练与数据 ：language model(title)

AI总结 Speech-Omni-Lite通过轻量模块扩展视觉-语言模型，实现低成本语音理解和生成，同时保持原有性能，实验显示其在少量语音数据下表现优异。

DEO: Training-Free Direct Embedding Optimization for Negation-Aware Retrieval

DEO：无训练直接嵌入优化用于否定感知检索

Taegyeong Lee, Jiwon Park, Seunghyun Hwang, JooYoung Jang

机构 * Department of Industrial Engineering, Hanyang University（工业工程系，翰阳大学） ； Department of Applied Data Science, Sungkyunkwan University（应用数据科学系，成均馆大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DEO通过无训练的直接嵌入优化方法，提升了否定和排除感知检索的性能，尤其在多模态检索中表现突出。

VistaWise: Building Cost-Effective Agent with Cross-Modal Knowledge Graph for Minecraft

VistaWise: 构建低成本代理的跨模态知识图谱用于Minecraft

Honghao Fu, Junlong Ren, Qi Chai, Deheng Ye, Yujun Cai, Hao Wang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； University of Queensland（昆士兰大学） ； Tencent（腾讯） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 VistaWise通过整合跨模态知识图谱和专用模型，实现低成本、高效率的Minecraft代理构建。

Comments Accepted by EMNLP 2025 main

A Decentralized Frontier AI Architecture Based on Personal Instances, Synthetic Data, and Collective Context Synchronization

基于个人实例、合成数据和集体上下文同步的去中心化前沿AI架构

Jacek Małecki, Alexander Mathiesen-Ohman, Katarzyna Tworek

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 本文提出基于个人实例、合成数据和集体上下文同步的去中心化AI架构，旨在实现隐私保护的集体学习和可持续的AI发展。

Comments 38 pages, 2 figures

You Didn't Have to Say It like That: Subliminal Learning from Faithful Paraphrases

你无需那样说：从忠实的同义词中学习的潜意识学习

Isaia Gisler, Zhonghao He, Tianyi Qiu

机构 * ETH Zürich（苏黎世联邦理工学院） ； University of Cambridge（剑桥大学） ； Peking University（北京大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究通过自然语言同义词的潜意识学习，发现即使内容与教师偏好矛盾，学生模型仍能继承偏好，揭示了训练数据中潜在影响的隐蔽性。

Comments Accepted for Spotlight presentation at EACL 2026 SRW. 5 pages, 2 figures, plus appendix. Equal supervision by Zhonghao He and Tianyi Qiu

Surgical Repair of Collapsed Attention Heads in ALiBi Transformers

在ALiBi变换器中修复塌陷的注意力头

Palmer Schallon

机构 * Independent researcher（独立研究者） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 在ALiBi变换器中，通过手术重新初始化修复塌陷的注意力头，恢复98.7%的操作能力，并发现预训练配置可能为次优局部极小值。

Comments 15 pages, 7 figures, 2 supplementary figures. Code: https://github.com/Palmerschallon/bloom-head-surgery Checkpoints: https://huggingface.co/TheNexus42/bloom-1b7-head-surgery

ThinkQE: Query Expansion via an Evolving Thinking Process

ThinkQE: 通过演进的思考过程实现查询扩展

Yibin Lei, Tao Shen, Andrew Yates

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 ThinkQE通过演进的思考过程和语料库交互策略，在测试时实现更全面的查询扩展，优于传统密集检索器和重排序器。

Comments EMNLP 2025 Findings

GeoAlignCLIP: Enhancing Fine-Grained Vision-Language Alignment in Remote Sensing via Multi-Granular Consistency Learning

GeoAlignCLIP: 通过多粒度一致性学习增强遥感中的细粒度视觉-语言对齐

Xiao Yang, Ronghao Fu, Zhuoran Duan, Zhiwen Lin, Xueyan Liu, Bo Yang

机构 * College of Computer Science and Technology, Jilin University, Changchun 130012, China（吉林大学计算机科学与技术学院，长春130012，中国） ； Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education Jilin University（教育部符号计算与知识工程重点实验室，吉林大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 GeoAlignCLIP通过多粒度一致性学习提升遥感中细粒度视觉-语言对齐，构建RSFG-100k数据集并优于现有方法。

EasyText: Controllable Diffusion Transformer for Multilingual Text Rendering

EasyText: 用于多语言文本渲染的可控扩散变换器

Runnan Lu, Yuxuan Zhang, Jiaming Liu, Haofan Wang, Yiren Song

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 EasyText提出了一种基于DiT的可控扩散变换器，用于多语言文本渲染，通过字符位置编码和插值技术实现精确生成，并利用大规模数据集提升性能。

Small Language Models for Efficient Agentic Tool Calling: Outperforming Large Models with Targeted Fine-tuning

小型语言模型用于高效的代理工具调用：通过针对性微调超越大模型

Polaris Jhandi, Owais Kazi, Shreyas Subramanian, Neel Sendas

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；large language model(abstract)

AI总结 本文通过针对性微调小型语言模型，在工具调用任务中超越大模型，展示了SLMs在成本优化和效率提升方面的潜力。

Comments Accepted at AAAI 2026 Workshop on Agentic AI Benchmarks and Applications for Enterprise Tasks

Evaluating Large Language Models for Multilingual Vulnerability Detection at Dual Granularities

评估大型语言模型在双粒度多语言漏洞检测中的性能

Honglin Shu, Michael Fu, Junji Yu, Dong Wang, Chakkrit Tantithamthavorn, Junjie Chen, Yasutaka Kamei

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

AI总结 本研究评估了大型语言模型在多语言漏洞检测中的性能，发现GPT-4o在函数级和行级检测中表现优异，优于其他模型。

Comments 53 pages, 10 figures

GAST: Gradient-aligned Sparse Tuning of Large Language Models with Data-layer Selection

GAST：基于梯度对齐的大型语言模型稀疏调优与数据层选择

Kai Yao, Zhenghan Song, Kaixin Wu, Mingjie Zhong, Danzhao Cheng, Zhaorui Tan, Yixin Ji, Penglei Gao

机构 * Ant Group（蚂蚁集团） ； Cornell University（康奈尔大学） ； University of Liverpool（利物浦大学） ； Soochow University（苏州大学） ； Cleveland Clinic Lerner Research Institution（克利夫兰诊所勒纳研究机构） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 GAST通过同时进行数据和层维度的选择性微调，解决现有方法忽略数据对不同层贡献差异的问题，提升大型语言模型的微调效果。

Hindsight Credit Assignment for Long-Horizon LLM Agents

长远时间LLM智能体的回顾信用分配

Hui-Ze Tan, Xiao-Wen Yang, Hao Chen, Jie-Jing Shao, Yi Wen, Yuteng Shen, Weihong Luo, Xiku Du, Lan-Zhe Guo, Yu-Feng Li

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 HCAPO通过整合回顾信用分配提升LLM智能体在长期任务中的探索效率和决策简洁性。

MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning

MSSR: 为持续LLM微调的内存感知自适应回放

Yiyang Lu, Yu He, Jianlong Chen, Hongyuan Zha

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MSSR通过估计样本级别的记忆强度并自适应地安排复习，有效缓解持续LLM微调中的灾难性遗忘问题，同时保持快速适应能力。

Bioalignment: Measuring and Improving LLM Disposition Toward Biological Systems for AI Safety

Bioalignment: 评估和改进LLM对生物系统的倾向以提高AI安全性

Trent R Northen, Mingxun Wang

机构 * Bioaligned Labs（Bioaligned实验室） ； Lawrence Berkeley National Lab（伯克利国家实验室） ； Computer Science & Engineering Dept, UC Riverside（加州大学河滨分校计算机科学与工程系） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过微调改进LLM对生物解决方案的偏好，表明少量微调可提升模型对生物与合成方法的权衡能力。

Comments 17 pages, 4 figures

GameVerse: Can Vision-Language Models Learn from Video-based Reflection?

GameVerse: 视觉-语言模型能否通过视频反思学习？

Kuan Zhang, Dongchen Liu, Qiyue Zhao, Jinkun Hou, Xinran Zhang, Qinlei Xie, Miao Liu, Yiming Li

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract)；分类 cs.AI

AI总结 GameVerse通过反思-重试范式评估视觉-语言模型在视频反思中的学习能力，结合失败轨迹和专家教程提升模型性能。

Comments https://gameverse-bench.github.io/

A Consensus-Driven Multi-LLM Pipeline for Missing-Person Investigations

基于共识的多语言模型流水线用于失踪人员调查

Joshua Castillo, Ravi Mukkamala

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种基于共识的多语言模型流水线，用于失踪人员调查，通过协调多个任务专用的 LLM 模型和共识引擎，提升信息提取和处理的效率与准确性。

Comments Accepted to CAC: Applied Computing & Automation Conferences 2026. 16 pages, 6 figures

Censored LLMs as a Natural Testbed for Secret Knowledge Elicitation

被屏蔽的LLM作为秘密知识提取的自然测试场

Helena Casademunt, Bartosz Cywiński, Khoi Tran, Arya Jakkli, Samuel Marks, Neel Nanda

机构 * Harvard University（哈佛大学） ； Warsaw University of Technology（华沙理工大学） ； IDEAS Research Institute（IDEAS研究所） ； CentraleSupélec（中央理工学院） ； Anthropic（Anthropic公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究利用被屏蔽的LLM测试秘密知识提取技术，发现开放式权重模型在诚实提取和谎言检测中存在局限性，且无法完全消除虚假回应。

Fairness-Aware Fine-Tuning of Vision-Language Models for Medical Glaucoma Diagnosis

面向医疗青光眼诊断的公平性感知视觉语言模型微调

Zijian Gu, Yuxi Liu, Zhenhao Zhang, Song Wang

机构 * Department of Computer Science, University of Rochester, NY, USA（罗切斯特大学计算机科学系） ； Biostatistics and Health Data Science, School of Medicine, Indiana University, Indianapolis, IN, USA（印第安纳大学医学院生物统计学与健康数据科学系） ； Department of Computer Science, University of Central Florida, FL, USA（佛罗里达州立大学计算机科学系） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出公平性感知的低秩适应方法，通过三种机制减少医疗影像诊断中的种族差异，实现高效公平的青光眼诊断。

Comments AMIA 2026 Amplify Informatics Conference (Poster), Denver, CO, May 18-21, 2026. 10 pages, 3 tables

ESAinsTOD: A Unified End-to-End Schema-Aware Instruction-Tuning Framework for Task-Oriented Dialog Modeling

ESAinsTOD: 一种统一的端到端模式感知指令微调框架用于任务导向对话建模

Dechuan Teng, Chunlin Lu, Libo Qin, Wanxiang Che

机构 * Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology（社会科学与信息检索研究中心，哈尔滨工业大学） ； School of Computer Science and Engineering, Central South University（计算机科学与工程学院，中南大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 ESAinsTOD提出一种统一的端到端模式感知指令微调框架，提升任务导向对话建模的性能与泛化能力。

Comments Published at International Journal of Machine Learning and Cybernetics (IJMLC)

Journal ref Int. J. Mach. Learn. & Cyber. 17, 127 (2026)

Beyond Fine-Tuning: Robust Food Entity Linking under Ontology Drift with FoodOntoRAG

超越微调：在本体漂移下利用FoodOntoRAG实现鲁棒的食品实体链接

Jan Drole, Ana Gjorgjevikj, Barbara Korouši'c Seljak, Tome Eftimov

机构 * Computer Systems Department, Jožef Stefan International Postgraduate School, Ljubljana, Slovenia（卢布尔雅那，斯洛文尼亚乔泽夫·斯蒂芬国际研究生学院计算机系统系） ； Computer Systems Department, Jožef Stefan Institute, Ljubljana, Slovenia（卢布尔雅那，斯洛文尼亚乔泽夫·斯蒂芬研究所计算机系统系） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出FoodOntoRAG，通过检索本体和结构化证据实现鲁棒的食品实体链接，避免微调并提高本体漂移的鲁棒性。

Comments Preprint

Let's Reward Step-by-Step: Step-Aware Contrastive Alignment for Vision-Language Navigation in Continuous Environments

逐步奖励：面向连续环境的视觉语言导航中的步骤感知对比对齐

Haoyuan Li, Rui Liu, Hehe Fan, Yi Yang

机构 * College of Computer Science and Technology, Zhejiang University, Hangzhou, China（浙江大学计算机科学与技术学院，杭州，中国） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出SACA框架，通过步骤感知对比对齐提升连续环境中视觉语言导航的性能，解决传统方法在错误恢复和训练稳定性方面的不足。

Comments 28 pages, 10 figures