语言大模型 / LLM

Are you speaking my languages? On spoken language adherence in multimodal LLMs

你在说我的语言吗？多模态大语言模型中的口语遵循问题

Hyungwon Kim, Kandarp Joshi, Lillian Zhou, Pavel Golik, Petar Aleksic

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对多模态大语言模型在自动语音识别中输出语言识别错误的问题，提出软提示方法、监督微调和思维链推理三种缓解策略，并引入新指标量化语言违背，比较各方法在减少违规和保持ASR性能上的效果。

Comments 7 pages, 3 tables in the main body

Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models

深度残差注入：多模态大语言模型的全频谱取证信号感知

Kaiqing Lin, Zhiyuan Yan, Ruoxin Chen, Ke-Yue Zhang, Yue Zhou, Caiyong Piao, Bin Li, Taiping Yao, Bo Wang, Youchang Xiao, Shouhong Ding

机构 * National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） ； University of Electronic Science and Technology of China（电子科技大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对多模态大语言模型在取证中难以同时保留语义知识和捕获低级生成器伪影的问题，提出Deep-VRM方法，通过将伪影特定视觉信号作为残差路径注入中间层，实现全频谱信号感知，达到鲁棒检测性能。

Comments Accepted at ICML 2026

Acoustic Prompting via Stage-wise Modulation for Few-Shot Learning in Audio Language Models

通过阶段调制进行声学提示以实现音频语言模型中的少样本学习

Hyebin Cho, Jaehyuk Jang, Changick Kim, Joon Son Chung

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 指令微调 ：language model(title,abstract)；prompting(title,abstract)；分类 cs.LG

AI总结 提出在音频编码器中引入可训练提示以捕获任务特定声学特征，与文本提示结合提升少样本适应性能，在11个数据集上验证有效性。

Comments Accepted to INTERSPEECH 2026

Conflict-Aware Federated Fine-Tuning of Large Language Models with Mixture-of-Experts

基于混合专家的大语言模型冲突感知联邦微调

Yijun Lu, Zihan Fang, Pengpeng Qiao, Zheng Lin, Jing Yang, Yuxin Zhang, Por Lip Yee, Zhe Chen, Jun Luo

机构 * Nanyang Technological University（南洋理工大学） ； University of Malaya（马来亚大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 针对联邦学习中混合专家模型因数据异质性导致的专家优化冲突问题，提出FC-MoE框架，通过重要性加权、梯度共识投影和局部知识保留机制，实现稳定优化并提升非独立同分布环境下的模型性能。

Comments 6 pages, 4 figures

ChatPlanner: A Large Language Model Framework for Personalized Public Transit Routing

ChatPlanner: 一个用于个性化公共交通路线规划的大型语言模型框架

Tingting Yang, Chenhao Xue, Jun Chen

机构 * School of Engineering and Materials Science, Queen Mary University of London（伦敦玛丽女王大学工程与材料科学学院） ； Department of Engineering Science, University of Oxford（牛津大学工程科学系） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出ChatPlanner框架，利用大型语言模型和检索增强生成技术从自然语言查询中提取用户偏好并融入路线规划算法，实验证明其能生成更符合个性化需求的可行路线方案。

Comments Under Review at Transportation Research Part C

Small LLMs for Biomedical Claim Verification: Cost-Effective Fine-Tuning, Structural Dataset Shortcuts, and Cross-Domain Generalization

小型LLM用于生物医学声明验证：成本效益微调、结构性数据集捷径与跨域泛化

Gaurav Kumar

机构 * Moveworks AI ； University of California San Diego（加州大学圣迭戈分校） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过QLoRA微调小型LLM（Phi-3-mini、Qwen2.5-3B、Mistral-7B），在生物医学声明验证中超越GPT-4o和GPT-5（F1提升12%），并发现SciFact数据集的结构性伪影，提出基于结构稳健数据的跨域迁移方法。

Comments 8 pages, 2 figures, 12 tables. To appear at BioNLP Workshop, ACL 2026

Are you Talking Logic to Me? Assessing Language Models Syllogistic Reasoning Capabilities

你在跟我讲逻辑吗？评估语言模型的三段论推理能力

Hanna Abi Akl, Fabien Gandon, Catherine Faron, Pierre Monnin

机构 * Université Côte d’Azur（科特阿祖尔大学） ； Inria（法国国家信息与自动化研究所） ； CNRS（法国国家科学研究中心） ； I3S（信息科学与系统实验室） ； Data ScienceTech Institute（数据科学技术学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；small language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过扩展FOLIO和P-FOLIO数据集，探究不同KR符号对SLMs三段论推理的影响，提出SEF分类法并开源CLGC框架，为提升小型模型推理能力提供了新方法。

Comments Accepted to the International Joint Conference on Rules and Reasoning (RuleML+RR) 2026

Beyond the Capability Boundary: Zeroth-Order Optimization for Self-Evolving LLM Agents

超越能力边界：用于自进化大语言模型智能体的零阶优化

Bingzhen Liu, Xiaomeng Fan, Yuwei Wu, Zhi Gao, Mingyang Gao, Chuanhao Li, Yunde Jia

机构 * Beijing Institute of Technology（北京理工大学） ； Shenzhen MSU-BIT University（深圳北理莫斯科大学） ； Alaya Lab（阿莱亚实验室） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；分类 cs.CL、cs.LG

AI总结 本文提出零阶自进化框架，通过扰动LLM的LoRA参数形成闭环自进化循环，结合并行扰动推理等机制，在多基准实验中显著提升了LLM智能体在困难样例上的表现。

CosmosAlign: Adapting a World Foundation Model for Generative Traffic Video Forecasting

CosmosAlign：适配世界基础模型用于生成式交通视频预测

Quang Minh Dinh, Tuan Kiet Doan

机构 * Simon Fraser University（西蒙菲莎大学） ； Institut Polytechnique de Paris（巴黎综合理工学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出基于Cosmos3-Nano的CosmosAlign框架，通过两阶段LoRA适配与推理优化，在AI City Challenge 2026 Track 5基准中获76.49分排名第一，实现了高质量交通视频预测。

Comments Accepted at ECCVW 2026

State2State: Environment-Derived Mid-Training for LLM Agents

State2State：面向大语言模型智能体的环境衍生式中间训练

Xuanyu Lei, Yiqi Zhu, Chenliang Li, Kaiming Liu, Peng Li, Ming Yan, Jieping Ye, Ya-Qin Zhang, Yang Liu

机构 * Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； Institute for AI, Tsinghua University（清华大学人工智能研究院） ； Institute of Intelligent Computing, Alibaba Group（阿里巴巴集团智能计算研究院） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；分类 cs.CL、cs.LG

AI总结 该研究提出State2State环境衍生式中间训练方法，无需外部任务与监督，可提升LLM智能体性能及学习效率，具备跨环境泛化潜力。

Comments Work in progress

Scores Are Not Decisions: Cost-Aware Stopping for Tool Acquisition in LLM Agents

分数并非决策：大语言模型智能体工具获取的成本感知停止策略

Yicheng Feng, Yan Zhang, Yan Cheng, Wei Qi

专题命中 指令微调 ：LLM(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 针对LLM智能体工具获取的异构成本问题，提出CAM-DF及其轻量变体，通过训练停止决策的离线差距实现成本感知停止，在1343个任务上验证其优于基线，减少工具接触量的同时保持任务成功率。

Discrete Diffusion Language Models for Interactive Radiology Report Drafting

离散扩散语言模型用于交互式放射报告草稿生成

Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert

机构 * Stanford University School of Medicine（斯坦福大学医学院） ； Ghent University（根特大学） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出将离散扩散语言模型用于放射报告草稿生成，利用其任意顺序填充能力实现交互式编辑，在医学VQA任务上达到或超越自回归模型，解码速度快3.5-4.4倍。

Breaking Safety at the Token Boundary: How BPE Tokenization Creates Exploitable Gaps in LLM Alignment

在Token边界打破安全：BPE分词如何在LLM对齐中制造可利用的漏洞

Tung-Ling Li, Hongliang Liu, Yuhao Wu

机构 * Palo Alto Networks 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究发现BPE分词将安全关键词拆分为子词，导致对齐数据集缺乏此类碎片化输入，通过优化碎片化可绕过80-100%的安全拒绝，并定位到模型最后约30%层。

Minibatch Selection for Language Models via Partition Matroid Constrained Gradient Matching

基于划分拟阵约束梯度匹配的小批量选择

Prayas Agrawal, Prateek Chanda, Ishita Khatri, Ganesh Ramakrishnan, Bamdev Mishra, Pratik Jawanpuria

机构 * Indian Institute of Technology Bombay（印度理工学院班加罗尔） ； Department of Computer Science and Engineering（计算机科学与工程系） ； Centre for Machine Intelligence and Data Science（机器智能与数据科学中心） ； Microsoft Research India（微软印度研究院） ； Microsoft India（微软印度） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(summary_cn)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出PartitionSel方法，通过划分拟阵约束下的梯度匹配效用最大化，实现跨域小批量选择，减少冗余并提升训练兼容性，在LLM微调中取得鲁棒性提升。

Comments 28 pages, 12 figures, ICML 2026

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026), Seoul, South Korea, PMLR 306, 2026

Two to Tango: Coupled Task-Reference Selection for Safe LLM Fine-tuning

双人探戈：面向安全LLM微调的耦合任务-参考选择

Xinrui Chen, Jianhao Zhang, Ou Wu, Di Gao

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出DualSelect框架，通过耦合任务与安全参考选择，在微调时保持安全对齐，提升安全评分至少5.10点。

Separating Clicks from Baits: Using Large Language Models to Detect Misleading YouTube Thumbnails

从诱饵中分离点击：使用大语言模型检测误导性的YouTube缩略图

Wajiha Naveed, Muhammad Muneeb Pervez, Zaeem Mohtashim Khan, Zafar Ayyub Qazi, Zartash Afzal Uzmi

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究针对YouTube等平台误导性缩略图问题，提出用大语言模型的多模态检测管道，构建数据集并评估多个模型，发现Claude 3.5 Sonnet性能突出，通过失败分析为视频平台发展提供方向。

Comments Accepted to the 21st International AAAI Conference on Web and Social Media (ICWSM 2027)

Journal ref Proceedings of the International AAAI Conference on Web and Social Media, 2027

From Geometric Labels to Semantic Understanding of Indoor Building Components Using Multimodal Large Language Models

使用多模态大语言模型从几何标签到室内建筑组件的语义理解

Shuju Jing, Chao Yin

机构 * School of Qilu Transportation, Shandong University（山东大学齐鲁交通学院） ； Guangzhou Institute of Geography, Guangdong Academy of Sciences（广东省地理研究所） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究针对室内建筑组件，提出以点云为中心的多模态大语言模型Building-MLLM，通过特定机制解决语义集中问题，开发引擎编译数据集，实验表明其在多任务上表现优异，提升室内组件语言理解。

Comments 46 pages, 13 figures, accepted by Automation in Construction journal

Fine-tuning a multimodal large language model for clinician-grade autism behavioral scoring from short home videos

微调多模态大语言模型用于从短视频中对自闭症行为进行临床级评分

Mohammadmahdi Honarmand, Parnian Azizian, Aaron Kline, Kae Nurge, Zerin Nasrin Tumpa, Saimourya Surabhi, Kaitlyn Dunlap, Yang Qian, Ali Kargarandehkordi, Sameer Neupane, Peter Washington, Dennis P. Wall

机构 * Stanford University（斯坦福大学） ； University of Hawaii at Manoa（夏威夷大学马诺阿分校） ； University of California San Francisco（加利福尼亚大学旧金山分校） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)

AI总结 微调Gemini 2.5 Pro模型，从400个临床评分的家庭视频中提取30个行为特征，在99名儿童上实现与临床医生评分的一致性提升40%，并零样本达到53%的自闭症诊断F1提升。

Exploring Multi-Modal Large Language Models and Two-Stage Fine-Tuning for Fashion Image Retrieval

探索多模态大语言模型与两阶段微调在时尚图像检索中的应用

Nguyen Cao Hoang, Hoang Bui Le, Nam Vo Hoang, Trung-Nghia Le

机构 * University of Science, VNU-HCM（胡志明市国家大学下属理科大学） ； Vietnam National University, Ho Chi Minh（胡志明市国家大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出融合多模态大语言模型（LLaVA）生成属性感知三元组，并采用两阶段微调策略增强对比学习，以解决时尚图像检索中标注数据稀缺和负采样简单的问题。

Comments SOICT 2025

Dual-Node NVIDIA DGX Spark over Tailscale: A Remote-Access Testbed for Distributed LLM Training and Cyber-Threat-Intelligence Fine-Tuning

基于Tailscale的双节点NVIDIA DGX Spark：用于分布式大语言模型训练和网络威胁情报微调的远程访问测试平台

Vasanth Iyer

专题命中 指令微调 ：LLM(title,abstract)；SFT(abstract,abstract_cn)；pretraining(abstract)；分类 cs.LG

AI总结 本研究展示了双节点NVIDIA DGX Spark通过Tailscale VPN实现分布式NanoChat预训练，构建网络安全微调数据集并验证其效果，同时该集群可支持研究与教学，证明适度本地基础设施的可行性。

Comments 12 pages, 3 figures, 4 tables. Deployment runbook and code: https://github.com/viyer-research/dual-dgx-spark-tailscale-testbed

Beyond Routing Saturation: A Long-Horizon Class-Incremental Perspective on Expert Routing in Multimodal Continual Instruction Tuning

超越路由饱和：多模态持续指令调优中专家路由的长程类增量视角

Huiyu Yi, Yongqi Xu, Bogang Zhang, Dunwei Tu, Xu Zhiming, Zhen-Hao Xie, Baile Xu, Furao Shen

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对多模态持续指令调优中专家路由的任务识别问题，构建含34个任务的FLEX基准，提出MCIL框架，适配CIL方法后使LoRA匹配和MacroScore分别提升最高16.3个百分点、4.6个点

Bridging Scientific Heritage: An Arabic--Russian Parallel Corpus and LLM Benchmark for Sustainable Knowledge Transfer

连接科学遗产：面向可持续知识转移的阿拉伯语-俄语平行语料库与LLM基准

M. K. Arabov

机构 * Kazan Federal University（喀山联邦大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 为解决阿拉伯语和俄语科学交流的语言障碍，构建了约2.7万句对的混合平行语料库，微调mT5、NLLB和Qwen2.5-7B模型，Qwen2.5-7B+QLoRA达到BLEU 23.15，推动跨语言知识转移与可持续发展。

Comments Preprint

Yuvion VL: A Multimodal Foundation Model for Adversarial Content and AI Safety

Yuvion VL：面向对抗性内容和AI安全的多模态基础模型

Shikai Qiu, Xiaowen Xu, Benlei Cui, Ting Ma, Xiufeng Huang, Wenjing Jiang, Shaoxuan He, Haolei Xu, Chunyang Chai, Yujian Li, Yiliang Zhang, Guanghui Wang, Ziheng Wang, Ziwen Xu, Zhaoyu Fan, Jinhao Chen, Ruijie Jian, Hongxing Li, Chuxi Xiao, Xinyue Chen, Wenxuan Liu, Libin Dong, Yupeng Cao, Xiaoqian Xia, Jing Wang, Zhe Jiang, Zhenan Ye, Guang Yang, Bin Liu, Wei Peng, Ziqiang Zhu, Meihui Lian, Kaiwen Lv Kacuila, Haidong Ding, Dongjie Zhang, Yangfan Zhou, Bingyu Zhu, Yan Wang, Hai Zhao, Xuan Jin, Wei Zhao, Pengfei Sun, Huiming Zhang, Wei Wang, Xipeng Cao, Jialun Chen, Xiao Chen, Shaola Ren, Yunqing Hu, Bin Li, Chengwen Yao, Meng Huang, Xianfeng Li, Bin Tang, Chao Liu, Hui Xue, Longtao Huang, Haiwen Hong

机构 * Alibaba Security AGI Lab（阿里巴巴安全AGI实验室） 纠错

专题命中 指令微调 ：foundation model(title)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出Yuvion VL系列多模态大语言模型，通过对抗性感知数据合成、三阶段训练和混淆对比微调，在内容和AI安全任务上达到行业领先性能，同时保持通用能力。

Paved with True Intents: Intent-Aware Training Improves LLM Safety Classification Across Training Regimes

以真实意图铺路：意图感知训练提升跨训练机制下的LLM安全分类

Jeremias Ferrao, Niclas Müller-Hof, Iustin Sîrbu, Traian Rebedea, Yftah Ziser

机构 * University of Groningen（格罗宁根大学） ； University Politehnica of Bucharest（布加勒斯特理工大学） ； NVIDIA（英伟达） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 提出意图感知训练方法，通过显式建模用户意图信号提升安全分类器鲁棒性，在多个训练机制下取得最优平均性能。

CORTIS: Text-Only Adaptation of Spoken Language Models for Task-Oriented Voice Agents

CORTIS：面向任务型语音代理的纯文本口语语言模型适配

Youngwon Choi, Hyeonyu Kim, Taeyoun Kwon, Donghyuk Jung, Myeongkyun Cho

机构 * Maum AI Inc.（马姆人工智能公司） ； Seoul National University（首尔国立大学） ； Korea Culture Technology Institute（韩国文化科技研究所） ； KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；SLM(abstract_cn)；分类 cs.AI

AI总结 提出CORTIS框架，通过纯文本任务监督微调口语语言模型，实现推理时直接生成结构化输出，无需配对语音-目标数据，在声学退化下优于级联方法。

Comments Submitted to EMNLP 2026 Industry Track

FAPO: Fully Automated Prompt Optimization of Multi-Step LLM Pipelines

FAPO：多步骤LLM流水线的全自动提示优化

Paul Kassianik, Baturay Saglam, Huaibo Zhao, Blaine Nelson, Supriti Vijay, Aman Priyanshu, Amin Karbasi

机构 * Foundation AI–Cisco Systems Inc.（基础AI–思科系统公司） ； Yale University（耶鲁大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出FAPO框架，通过自动诊断流水线瓶颈并迭代优化提示或链结构，在18个模型-基准比较中15次优于基线GEPA，平均提升14.1个百分点。

Online Dynamic Batching with Formal Guarantees for LLM Training

面向LLM训练的具有形式保证的在线动态批处理

Dian Li, Zekun Wang, Yaoru Wang, Jiahong Yan

机构 * Tencent（腾讯） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出在线动态批处理（ODB）系统，在数据加载器侧将批构建延迟到样本真实成本可观测时，解决离线批采样中预处理成本不可见问题，实现1.58-4.43x吞吐量提升，并提供无死锁有界终止的形式化保证。

Comments 29 pages, 3 figures, 21 tables

ProductConsistency: Improving Product Identity Preservation in Instruction-Based Image Editing via SFT and RL

ProductConsistency：通过SFT和RL改进基于指令的图像编辑中的产品身份保持

Mukund Khanna, Raj Singh Yadav, Kunal Singh

机构 * Fractal Analytics 纠错

专题命中 指令微调 ：SFT(title,title_cn)；分类 cs.AI

AI总结 针对基于指令的图像编辑中产品特征保持不足的问题，提出ProductConsistency数据集和循环一致性奖励，结合监督微调与强化学习，显著提升产品一致性、文本渲染和视觉质量。

Comments CVPR HiGen 2026

Environment-Grounded Automated Prompt Optimization for LLM Game Agents

面向LLM游戏智能体的环境驱动自动提示优化

Rean Clive Fernandes, Lukas Fehring, Theresa Eimer, Marius Lindauer, Matthias Feurer

机构 * Lamarr institute for ML and AI（拉马尔机器学习与人工智能研究所） ； TU Dortmund University（多特蒙德工业大学） ； Leibniz University Hannover（莱布尼茨汉诺威大学） ； L3S Research Center（L3S研究中心） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出一种自动提示优化框架，将观察-动作管道分解为描述器和选择器，通过环境回报驱动的进化循环迭代优化提示，在BabyAI任务中显著提升成功率。

From Shortcuts to Reasoning: Robust Post-Training of Theory of Mind with Reinforcement Learning

从捷径到推理：基于强化学习的心理理论鲁棒后训练

Jike Zhong, Yuxiang Lai, Ming Li, Yuheng Li, Wuao Liu, Behzad Dariush, Konstantinos Psounis, Shao-Yuan Lo

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：post-training(title,abstract)；SFT(abstract,abstract_cn)；foundation model(abstract)；分类 cs.LG

AI总结 针对心理理论后训练中的捷径问题，提出Thinking-RFT方法，结合可验证奖励和显式推理链，在多个无捷径数据集上显著提升推理能力，尤其在复杂高阶推理和多模态场景中表现优异。

Comments Accepted by ICML 2026