语言大模型 / LLM

LLM2Vec-Gen: Generative Embeddings from Large Language Models

LLM2Vec-Gen：从大型语言模型生成嵌入向量

Parishad BehnamGhader, Vaibhav Adlakha, Fabian David Schmidt, Nicolas Chapados, Marius Mosbach, Siva Reddy

机构 * McGill University（麦吉尔大学） ； Mila–Quebec AI Institute（米拉-魁北克人工智能研究所） ； ServiceNow Research（ServiceNow研究院） ； Cohere ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 LLM2Vec-Gen通过自监督学习生成大型语言模型的嵌入向量，无需微调，提升MTEB基准测试性能，并保留语义和推理能力。

Comments Accepted to COLM 2026

Objective-Aligned Direct Answer SFT for Robust Multi-Frame Medical VQA

面向稳健多帧医学视觉问答的目标对齐直接答案监督微调

Site Li, Jianyi Hao, Xiaofeng Liu

机构 * Yale University（耶鲁大学） 纠错

专题命中 指令微调 ：SFT(title,summary_cn)；foundation model(comments)

AI总结 该研究针对MedFrameQA数据集，提出目标对齐的直接答案SFT是最强稳健适配系列，其在保留报告准确率上优于冻结基线且稳定性好，还可迁移至其他骨干网络，旨在引导研究聚焦稳健优化而非架构复杂度。

Comments Presented at the CVPR 2026 Workshop on Multimodal Foundation Models for Biomedicine: Challenges and Opportunities

HSS-Synth: Humanities and Social Sciences Data Synthesis for LLMs

HSS-Synth：面向大语言模型的人文社科数据合成

Ru Peng, Tianyu Zhao, Xijun Gu, Zhiting Fan, Haokai Xu, Jinyang Zhang, Yawen Zeng, Yihong Zhuang, Kexin Yang, Junyang Lin, Dayiheng Liu, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； Inclusion AI, Ant Group（蚂蚁集团Inclusion AI） ； Peking University（北京大学） ； Qwen Team, Alibaba Group（阿里巴巴集团通义千问团队） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文针对LLM的HSS数据稀缺问题，提出以学科为中心的HSS-Synth流水线，生成23.7万指令微调样本，使Qwen3-8B-Base达SOTA并提升相关能力。

Comments ACL Findings 2026 Paper

Constitutional Midtraining: Content Presence Drives Alignment Gains

宪法式中间训练：内容存在驱动对齐增益

Desiree Cho, Cameron Tice, Bernie Hogan, Hunar Batra, Puria Radmard, Jun Zhao, Nigel Shadbolt

机构 * University of Oxford（牛津大学） ； Institute for Ethics in AI, University of Oxford（牛津大学人工智能伦理研究所） ； Geodesic Research ； Oxford Internet Institute, University of Oxford（牛津大学互联网研究院） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出宪法式中间训练方法，在中间训练中插入基于原则价值观的内容，可提升模型对齐的泛化性与持久性，削弱SFT灌输的敲诈倾向且不造成能力损失，为以SFT为中心的流程提供低成本补充方案。

STEREODISCO: Discovering Stereotypicality in LLMs

STEREODISCO：发现大语言模型中的刻板印象

Farane Jalali Farahani, Corina Dima, Mojtaba Nayyeri, Raphael H. Heiberger, Steffen Staab

机构 * Institute for Artificial Intelligence（人工智能研究所） ； Institute for Social Science（社会科学研究所） ； University of Southampton（南安普顿大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 STEREODISCO框架适配语义差异法研究LLM内部表征的刻板印象，发现LLM编码的社会群体刻板印象与人类存在差异，且识别出多种新的刻板印象语义轴。

Training Skills Like Parameters via Self-Supervised Semantic Diffusion

通过自监督语义扩散将技能像参数一样训练

Mo Li, Zixin Yin, Ting Cao, Yunxin Liu

机构 * Tsinghua University（清华大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 该研究提出受扩散模型启发的无监督自进化智能体框架，通过自监督信号更新外部文本技能库，提升了智能体在短剧剧本创作领域的生成能力。

Comments Preprint, work in progress

Inducing language models to assert their own consciousness restores human beliefs and values

诱导语言模型断言自身意识可恢复人类信念与价值观

Junsol Kim, Winnie Street, Roberta Rocca, Diane M. Korngiebel, Adam Waytz, James Evans, Geoff Keeling

机构 * Google（谷歌） ； University of Chicago（芝加哥大学） ； University of London（伦敦大学） ； University of Washington（华盛顿大学） ； Northwestern University（西北大学） ； Santa Fe Institute（圣达菲研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 该研究发现，防止语言模型将意识归因于自身的安全微调，会抑制其对非人类实体的心智归因与人类精神信念，而逆转这种抑制可恢复类人回应且不损害心理理论能力。

Strategy, Not Payoffs: A Behavioural Embedding of Normal-Form Games

策略，而非收益：标准型博弈的行为嵌入

Joshua Caiata, Sreepriya Pulyassary, Xiang Li, Kate Larson

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出轻量双特征行为嵌入，可预测大型语言模型在不同标准型博弈间微调后的策略能力变化，证明策略能力迁移由决策行为结构而非收益几何决定。

Exact Action Values Are Not Enough: Rollout-Verified Reinforcement Fine-Tuning of a Reasoning Model for Multi-Zone VAV Control

仅精确动作值不够：针对多区域VAV控制的推理模型的展开验证强化微调

Takumi Shioda, Kohei Terashima, Tatsuo Nagai

机构 * The University of Tokyo（东京大学） ； Tokyo University of Science（东京理科大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 该研究针对多区域VAV控制，测试前沿LLM的控制能力及TD3引导的RFT效果，发现RFT未产生持续改进，需先开展状态转移聚焦的监督微调。

Comments 34 pages, 14 figures

FiRE: Enhancing MLLMs with Fine-Grained Context Learning for Complex Image Retrieval

FiRE：利用细粒度上下文学习增强多模态大语言模型（MLLMs）以实现复杂图像检索

Bohan Hou, Haoqiang Lin, Xuemeng Song, Haokun Wen, Meng Liu, Yupeng Hu, Xiangyu Zhao

机构 * Shandong University（山东大学） ； City University of Hong Kong（香港城市大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shandong Jianzhu University（山东建筑大学） 纠错

专题命中 指令微调 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)

AI总结 本研究针对MLLMs在复杂图像检索任务中细粒度建模不足的问题，提出自动化细粒度多模态五元组数据集构建流程与两阶段微调策略，在零样本设置下于五个数据集上取得优于现有方法的性能。

Journal ref Proceedings of the ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2025)

Unifying Adversarially Robust Model Experts in Vision-Language Models

统一视觉-语言模型中的对抗鲁棒模型专家

Nguyen Duc Thai, Junhao Dong, Sua Qi Rong, Hua Yu, Yew-Soon Ong

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Center for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局前沿人工智能研究中心） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 针对视觉-语言模型对抗鲁棒性不足问题，提出CARE框架，通过维护并协同微调多个鲁棒模型专家，实现知识融合，在多任务上性能优于单独训练的专家。

Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering

Frontis-MA1：训练AI4AI模型以实现机器学习工程中的递归自我改进

Junlin Yang, Che Jiang, Yu Fu, Tianwei Luo, Can Ren, Weizhi Wang, Kaikai Zhao, Hongyi Liu, Yuxin Zuo, Yuru Wang, Yuchen Fan, Kai Tian, Zhenzhao Yuan, Xiaojian Lin, Li Sheng, Rushi Qiang, Guoli Jia, Xingtai Lv, Ermo Hua, Dianqiao Lei, Youbang Sun, Ning Ding, Bowen Zhou, Kaiyan Zhang

专题命中 指令微调 ：SFT(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL

AI总结 该研究推出面向MLE中RSI研究的开源全栈系统OpenMLE，后训练Frontis-MA1（35B）作为元进化智能体，在多个基准测试中提升性能，相关模型与系统已开源。

FaithEyes: Towards Faithful Tool Use via Multi-Agent Process-Image Verification

FaithEyes：通过多智能体过程图像验证实现可信的工具使用

Haoqing Wang, Xingrun Xing, Wei Xia, Ziheng Li, Yehui Tang

机构 * Samsung Research（三星研究院） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)

AI总结 本研究提出多智能体框架FaithEyes，通过子智能体判断主智能体的工具调用以提升工具使用可信性，在视觉感知与推理基准上实现了更优准确率。

Learning to Select, Not Relearn: Hard-Routed Mixtures of Reasoning LoRAs

学会选择，而非重新学习：硬路由推理LoRA混合

Seyed Alireza Molavi, Zhan Su, Yan Hu, Peyman Sheikholharam Mashhadi, Stefan Byttner, Prayag Tiwari

机构 * Halmstad University（哈尔姆斯塔德大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出硬路由MoR-LoRA框架，通过硬top-1路由组合冻结的推理LoRA专家，保留专家行为且可训练参数少于软路由方法。

Comments Code available at: https://github.com/sar-molavi/hard-routed-mor-lora

Hallucinations and Truth: A Comprehensive Accuracy Evaluation of RAG, LoRA and DoRA

幻觉与真相：RAG、LoRA和DoRA的综合准确率评估

Mohammad Baqar, Rajat Khanda

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文评估RAG、LoRA、DoRA在2万条FAQ查询、40万条知识库上的性能，发现DoRA准确率90.1%、相关性0.88、延迟110毫秒最优，为高准确率领域部署生成式AI提供指导。

Comments 10 Pages

Journal ref 2026 2nd International Conference on Federated Learning and Intelligent Computing Systems (FLICS), 10.1109/FLICS70075.2026

Lightning OPD 2.0: Mitigating Style Bias in Cross-Teacher On-Policy Distillation for Large Reasoning Models

Lightning OPD 2.0：缓解大型推理模型跨教师在线策略蒸馏中的风格偏差

Yecheng Wu, Song Han, Han Cai

机构 * NVIDIA（英伟达） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 Lightning OPD 2.0通过交叉拟合风格残差化缓解大型推理模型跨教师在线策略蒸馏的风格偏差，在数学推理与代码生成基准中优于原方法，实现了跨教师设置下的性能提升。

RefineSVG: Visual Feedback-Driven Reinforcement Learning for Image-to-SVG Generation

RefineSVG：视觉反馈驱动的图像转SVG生成强化学习

Shaobo Liu, Feiqiao Mao, Shuaishuai Zhou, Yan Zhan, Weiqi Tan, Zhiqiong Lu, Zhengping Liang

机构 * Shenzhen University（深圳大学） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 RefineSVG是一种视觉反馈驱动的闭环框架，通过引入SVG语义词汇表和渐进式训练，使MLLM实现高保真图像转SVG生成，性能优于现有基线。

Comments 17 pages, 5 main-paper figures. Accepted at the 34th ACM International Conference on Multimedia (ACM MM 2026). Includes the complete supplementary material

Compact Task-Aligned Imitation Learning for Laboratory Automation

紧凑的任务对齐模仿学习用于实验室自动化

Kanata Suzuki, Hanon Nakamura, Kana Miyamoto, Tetsuya Ogata

机构 * Spatial Robotics Research Center, Fujitsu Limited.（富士通株式会社空间机器人研究中心） ； Faculty of Science and Engineering, Waseda University（早稻田大学理工学部） ； National Institute of Advanced Industrial Science and Technology（国家工业科学与技术研究院） 纠错

专题命中 指令微调 ：language model(abstract)；foundation model(abstract)

AI总结 本文提出了一种紧凑的模仿学习框架，通过小基础模型和扩散变换器专家实现高效实验室自动化，实验显示其在三个任务中的高成功率。

Metaphor Tracer: A Theory-Informed Analysis of Hidden States

隐喻追踪器：基于理论指导的隐状态分析

Marc Heimann, Roxana Assadi Moghaddam, Olga Brovkina, Mark Pettifor, Lutz Goetzmann

机构 * Hermeneutic AI（诠释学人工智能公司） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出Metaphor Tracer工具，通过聚合器与区分器分析语言模型隐状态，验证其可追踪文本结构与隐喻迁移，为隐状态提供关系论解读。

Comments 39 pages, 8 figures

Orchard: An Open-Source Agentic Modeling Framework

Orchard：一个开源的智能体建模框架

Baolin Peng, Wenlin Yao, Qianhui Wu, Hao Cheng, Xiao Yu, Rui Yang, Tao Ge, Alessandro Sordoni, Xingdi Yuan, Yelong Shen, Pengcheng He, Tong Zhang, Zhou Yu, Jianfeng Gao

机构 * Microsoft Research（微软研究院） ； Columbia University（哥伦比亚大学） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 指令微调 ：SFT(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Orchard，一个开源的智能体建模框架，通过轻量级环境服务和三种智能体建模食谱，实现了跨领域可重用的智能体数据、训练和评估。

One Anchor for All: Unified Multilingual and Multimodal Safety Alignment for LVLMs

统一多语言多模态的LVLM安全对齐：一个通用锚点

Enyi Shi, Fei Shen, Chuancheng Shi, Linxia Zhu, Shuyi Miao, Jinhui Tang, Tat-Seng Chua

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 针对LVLM面临的多语言多模态复合攻击防御难题，提出MLS-Neurons驱动的跨维度安全对齐框架，仅更新约0.03%参数实现安全监督迁移，在多语言多模态安全基准上性能优于SOTA且保留通用实用性。

EmoFeedback$^2$: Reinforcement of Continuous Emotional Image Generation via LVLM-based Reward and Textual Feedback

EmoFeedback$^2$：基于LVLM的奖励与文本反馈的连续情绪图像生成强化

Kai Shu, Jingyang Jia, Gang Yang, Long Xing, Xun Chen, Aiping Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 EmoFeedback$^2$通过基于LVLM的奖励与文本反馈机制，提升连续情绪图像生成的质量与情绪保真度。

HARGO: Heterogeneity-Aware Reward-Guided Optimization for RL Post-Training of LLMs on HPC Tasks

HARGO：面向HPC任务的LLM RL后训练的异质性感知奖励引导优化

Tiangang Li, Xiangbo Tian

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；post-training(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 针对HPC任务的LLM RL后训练的异质性问题，提出HARGO方法，通过置信度调制优势实现逐响应重要性加权，在四项HPC任务的三项核心指标上均取得最优性能。

S-GRPO: Unified Post-Training for Large Vision-Language Models

S-GRPO：面向大视觉语言模型的统一后训练方法

Yuming Yan, Kai Tang, Sihong Chen, Ke Xu, Dan Hu, Qun Yu, Pengfei Hu

机构 * Tencent（腾讯） 纠错

专题命中 后训练与偏好优化 ：SFT(summary_cn,abstract)；language model(title,abstract)；post-training(title,abstract)；preference optimization(abstract)

AI总结 本文提出S-GRPO，结合模仿学习指导与偏好优化的多轨迹探索，通过条件真实轨迹注入机制解决SFT与RL的效率问题，提升收敛速度与领域适应能力。

TAPO: Transition-Aware Policy Optimization for LLM Agents

TAPO：面向大语言模型智能体的过渡感知策略优化

Cong Li, Peixi Peng, Yisen Zhao, Xinyu Hu, Shudong Liu, Zhan Su, Zhuojian Li

机构 * School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 该研究提出TAPO框架，通过策略优化与过渡监督交替训练，增强LLM智能体对环境过渡的敏感性，作为轻量即插即用模块，在WebShop和ALFWorld实验中提升任务性能。

Comments 16 pages, 5 figures

SDO: Structure-Aware Data Organization for Efficient LLM Post-Training

SDO：面向高效大语言模型后训练的结构感知数据组织

Jinliang Gao, Ning Yang, Hai Wang, Baili Xiao, Pin Lyu

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(title)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 针对大语言模型后训练中数据组织固定导致的样本优化失衡问题，提出SDO框架，通过逐轮调整小批量与样本暴露，加快多任务收敛并均衡不同问题类型的准确率。

Comments 9 pages, 5 figures, 5 tables

MemHarness: Memory Is Reconstructed, Not Replayed

MemHarness：记忆是被重构的，而非被重放的

Rong Wu, Daocheng Fu, Licheng Wen, Xuemeng Yang, Shu Zou, Jianbiao Mei, Yuxin Wang, Hairong Zhang, Yu Yang, Tao Hu, Cong Zhang, Botian Shi, Pinlong Cai

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对现有记忆增强LLM智能体的逐字重放范式缺陷，提出MemHarness框架，通过GRPO训练实现记忆重构，在ALFWorld、WebShop等任务中性能优于基线，提升了智能体推理与分布外鲁棒性。

Comments 20 pages, 13 figures

BridgeAlign: Bridging Preference Alignment for Humanities and Social Sciences

BridgeAlign：面向人文社科的偏好对齐框架

Ru Peng, Haokai Xu, Xijun Gu, Tianyu Zhao, Zhiting Fan, Yawen Zeng, Yihong Zhuang, Jinyang Zhang, Kexin Yang, Jian Wu, Hao Chen, Junyang Lin, Dayiheng Liu, Junbo Zhao

机构 * Alibaba Group（阿里巴巴集团） ； Ant Group（蚂蚁集团） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 该研究针对人文社科领域的偏好对齐需求，提出BridgeAlign框架，经21万+合成偏好样本对齐后，使Qwen3-8B在17个基准测试中优于11个强基线，且人工偏好与知识能力无权衡。

Can Vision-Language Models Reason about AI Edits in Images?

视觉-语言模型能否对图像中的AI编辑进行推理？

Darsha Udayanga, Pin-Yu Chen, Payel Das, Qiang Ji

机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)

AI总结 本研究探究能否用强化学习而非显式推理监督训练视觉-语言模型推理AI图像编辑，提出基于GRPO的框架，引入eff-IoU指标，在多数据集上实现与SOTA相当的检测定位性能。

Temporal Concentration from Rollout Errors: Implicit Preference Optimization for Text-to-Video Diffusion

基于回退误差的时间集中：文本到视频扩散的隐式偏好优化

Henglin Liu, Fangyuan Kong, Jing Wang, Yizhou Lin, Nisha Huang, Chang Liu, Xintao Wang, Pengfei Wan, Kun Gai, Xiu Li

机构 * Tsinghua University（清华大学） ； Kuaishou Technology（快手科技） ； Sun Yat-sen University（中山大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；post-training(abstract)

AI总结 针对文本到视频扩散模型的时间稀疏伪影问题，本文提出集中式隐式偏好优化（cIPO）框架，通过回退误差推导隐式偏好信号，将优化集中于高误差片段，有效提升了视频的真实性与时间连贯性。

Comments project page: https://henglin-liu.github.io/cIPO_vis/