语言大模型 / LLM

Models for minimalist RAG: B1ade 335M Embedding and 1B Parameter Small Language Models

极简RAG的模型：B1ade 335M嵌入模型与1B参数小型语言模型

Shreyas Subramanian, Mecit Gungor, Vikram Elango

机构 * Amazon（亚马逊公司） 纠错

专题命中 指令微调 ：language model(title)；small language model(title)；SLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 该研究提出含B1ade-embed嵌入模型与B1ade-1B小型语言模型的高效极简RAG架构，其在多QA基准及RAG评估中表现优异，还涌现出无明确监督的来源引用能力，验证了资源高效RAG的可行路径。

Comments 28 pages, 3 figures. Submitted to COLM 2026

SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD

SLAI T-Rex：在升腾超级集群上对DeepSeek-V4系列进行全参数训练后优化

Dongfang Li, Xiaodong Luo, Ruoyu Sun, Xuhui Chen, Linyuan Qiu, Jian Meng, Zhengxuan Lu, Yiting Wang, Yucheng Xie, Tao Guo, Tianxiang Fang, Jing Li, Sihang Chen, Shihao Hong, Chang Liu, Weihua Dai, Zirong Zeng, Ziwei Zhu, Zhuohan Wang, Zhengjun Yue, Igor Vasilyev, Min Liu, Weijian Sun, Xin Chen, Yingmeng Gao, Jinhua Zhou, Taolue Chen, Chenwei Wu, Dong Zhang, Wenlong Jin, Jinmin Xiang, Barkova Maria, Ushakov Anton, Xianfei Jin, Tian Ding, Zhihang Lin, Qian Chen, Linxin Yang, Mingzhe Yang, Bingwei Zhang, Hongzhang Yang, Fangxue Zhang, Shijun Qin, Jie Yu, Cuihua Hu, Tolstykh Vasiliy, Nosov Ivan, Abdullin Amir, Zhicheng Zhou, Xin Zhang, Zhixiong Ning, Xutong Zhao, Junjie Huang, Jiajun Liu, Weiyan Kong, Zheng Zhang, Wenhan Luo, Lin Hu, Yangbo Guo, Li Zeng, Shihao Zhang, Baotian Hu, Min Zhang, Haizhou Li, Zhiquan Luo

专题命中 指令微调 ：SFT(summary_cn,abstract)；post-training(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究针对万亿参数规模MoE模型全参数训练后优化的系统挑战，在升腾NPU超级集群上以DeepSeek-V4为目标工作负载开发分层优化框架，建立CPT和SFT工作流程，提升模型性能，推动复杂推理前沿模型系统发展。

Comments 73 pages, 22 figures, 20 tables

Leveraging Trajectory Graphs for Pre-Execution Error Diagnosis in Agentic LLM Systems

利用轨迹图实现智能体大语言模型系统的预执行错误诊断

Xu Zheng, Zhuomin Chen, Chaohao Lin, Hua Wei, Haifeng Chen, Wei Cheng, Dongsheng Luo

机构 * Florida International University（佛罗里达国际大学） ； Arizona State University（亚利桑那州立大学） ； NEC Laboratories America（美国 NEC 实验室） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 该研究提出Trajectory Graph Copilot框架，以Graph Debugger为核心，通过预执行错误诊断提升LLM智能体完成长周期任务的能力，在多基准测试中平均提升14.69%通过率。

IFHierBench: Hierarchical Instruction Following for Large Language Models

IFHierBench：面向大语言模型的分层指令遵循基准

Yuetian Mao, Chunyang Chen

机构 * Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出分层指令遵循基准IFHierBench，评估发现现有大语言模型遵循嵌套约束的能力不足，为提升指令遵循能力的训练方法提供了研究方向。

Leveraging Fine-Tuned Large Language Models for Interpretable Pancreatic Cystic Lesion Feature Extraction and Risk Categorization

Ebrahim Rasromani, Stella K. Kang, Yanqi Xu, Beisong Liu, Garvit Luhadia, Wan Fung Chui, Felicia L. Pasadyn, Yu Chih Hung, Julie Y. An, Edwin Mathieu, Zehui Gu, Carlos Fernandez-Granda, Ammar A. Javed, Greg D. Sacks, Tamas Gonda, Chenchan Huang, Yiqiu Shen

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Journal ref American Journal of Roentgenology, 2026

RetiBridge: Bridging Quantitative Retinal Biomarkers and Qualitative Diagnosis with a Knowledge-Guided Multimodal Large Language Model

RetiBridge：用知识引导的多模态大语言模型连接定量视网膜生物标志物与定性诊断

Zhuangzhi Gao, Hongyi Qin, He Zhao, Qinkai Yu, Feixiang Zhou, Fu Wang, Jinru Ding, Eduard Shantsila, Uazman Alam, Alena Shantsila, Wahbi El-Bouri, Gregory Y. H. Lip, Yalin Zheng

机构 * University of Liverpool（利物浦大学） ； Institute of Life Course & Medical Sciences（生命课程与医学科学研究院） ； Department of Eye and Vision Sciences（眼科与视觉科学系） ； Computer Science Department（计算机科学系） ； Cardiovascular & Metabolic Medicine（心血管与代谢医学） ； Liverpool Centre for Cardiovascular Science（利物浦心血管科学中心） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；分类 cs.AI

AI总结 该研究提出RetiBridge模型，结合CFP、OCT数据与文本，通过知识引导微调学习定量到定性诊断路径，在眼科理解基准上表现优于开源基线及OpenAI o3，代码数据已公开。

Comments 10 pages, 4 figures, 3 table. Equal contribution: Zhuangzhi Gao and Hongyi Qin. Corresponding author: Yalin Zheng (yzheng@liverpool.ac.uk)

LLM2Vec-Gen: Generative Embeddings from Large Language Models

LLM2Vec-Gen：从大型语言模型生成嵌入向量

Parishad BehnamGhader, Vaibhav Adlakha, Fabian David Schmidt, Nicolas Chapados, Marius Mosbach, Siva Reddy

机构 * McGill University（麦吉尔大学） ； Mila–Quebec AI Institute（米拉-魁北克人工智能研究所） ； ServiceNow Research（ServiceNow研究院） ； Cohere ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 LLM2Vec-Gen通过自监督学习生成大型语言模型的嵌入向量，无需微调，提升MTEB基准测试性能，并保留语义和推理能力。

Comments Accepted to COLM 2026

Objective-Aligned Direct Answer SFT for Robust Multi-Frame Medical VQA

面向稳健多帧医学视觉问答的目标对齐直接答案监督微调

Site Li, Jianyi Hao, Xiaofeng Liu

机构 * Yale University（耶鲁大学） 纠错

专题命中 指令微调 ：SFT(title,summary_cn)；foundation model(comments)

AI总结 该研究针对MedFrameQA数据集，提出目标对齐的直接答案SFT是最强稳健适配系列，其在保留报告准确率上优于冻结基线且稳定性好，还可迁移至其他骨干网络，旨在引导研究聚焦稳健优化而非架构复杂度。

Comments Presented at the CVPR 2026 Workshop on Multimodal Foundation Models for Biomedicine: Challenges and Opportunities

HSS-Synth: Humanities and Social Sciences Data Synthesis for LLMs

HSS-Synth：面向大语言模型的人文社科数据合成

Ru Peng, Tianyu Zhao, Xijun Gu, Zhiting Fan, Haokai Xu, Jinyang Zhang, Yawen Zeng, Yihong Zhuang, Kexin Yang, Junyang Lin, Dayiheng Liu, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； Inclusion AI, Ant Group（蚂蚁集团Inclusion AI） ； Peking University（北京大学） ； Qwen Team, Alibaba Group（阿里巴巴集团通义千问团队） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文针对LLM的HSS数据稀缺问题，提出以学科为中心的HSS-Synth流水线，生成23.7万指令微调样本，使Qwen3-8B-Base达SOTA并提升相关能力。

Comments ACL Findings 2026 Paper

Constitutional Midtraining: Content Presence Drives Alignment Gains

宪法式中间训练：内容存在驱动对齐增益

Desiree Cho, Cameron Tice, Bernie Hogan, Hunar Batra, Puria Radmard, Jun Zhao, Nigel Shadbolt

机构 * University of Oxford（牛津大学） ； Institute for Ethics in AI, University of Oxford（牛津大学人工智能伦理研究所） ； Geodesic Research ； Oxford Internet Institute, University of Oxford（牛津大学互联网研究院） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出宪法式中间训练方法，在中间训练中插入基于原则价值观的内容，可提升模型对齐的泛化性与持久性，削弱SFT灌输的敲诈倾向且不造成能力损失，为以SFT为中心的流程提供低成本补充方案。

STEREODISCO: Discovering Stereotypicality in LLMs

STEREODISCO：发现大语言模型中的刻板印象

Farane Jalali Farahani, Corina Dima, Mojtaba Nayyeri, Raphael H. Heiberger, Steffen Staab

机构 * Institute for Artificial Intelligence（人工智能研究所） ； Institute for Social Science（社会科学研究所） ； University of Southampton（南安普顿大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 STEREODISCO框架适配语义差异法研究LLM内部表征的刻板印象，发现LLM编码的社会群体刻板印象与人类存在差异，且识别出多种新的刻板印象语义轴。

Training Skills Like Parameters via Self-Supervised Semantic Diffusion

通过自监督语义扩散将技能像参数一样训练

Mo Li, Zixin Yin, Ting Cao, Yunxin Liu

机构 * Tsinghua University（清华大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 该研究提出受扩散模型启发的无监督自进化智能体框架，通过自监督信号更新外部文本技能库，提升了智能体在短剧剧本创作领域的生成能力。

Comments Preprint, work in progress

Inducing language models to assert their own consciousness restores human beliefs and values

诱导语言模型断言自身意识可恢复人类信念与价值观

Junsol Kim, Winnie Street, Roberta Rocca, Diane M. Korngiebel, Adam Waytz, James Evans, Geoff Keeling

机构 * Google（谷歌） ； University of Chicago（芝加哥大学） ； University of London（伦敦大学） ； University of Washington（华盛顿大学） ； Northwestern University（西北大学） ； Santa Fe Institute（圣达菲研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 该研究发现，防止语言模型将意识归因于自身的安全微调，会抑制其对非人类实体的心智归因与人类精神信念，而逆转这种抑制可恢复类人回应且不损害心理理论能力。

Strategy, Not Payoffs: A Behavioural Embedding of Normal-Form Games

策略，而非收益：标准型博弈的行为嵌入

Joshua Caiata, Sreepriya Pulyassary, Xiang Li, Kate Larson

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出轻量双特征行为嵌入，可预测大型语言模型在不同标准型博弈间微调后的策略能力变化，证明策略能力迁移由决策行为结构而非收益几何决定。

Exact Action Values Are Not Enough: Rollout-Verified Reinforcement Fine-Tuning of a Reasoning Model for Multi-Zone VAV Control

仅精确动作值不够：针对多区域VAV控制的推理模型的展开验证强化微调

Takumi Shioda, Kohei Terashima, Tatsuo Nagai

机构 * The University of Tokyo（东京大学） ； Tokyo University of Science（东京理科大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 该研究针对多区域VAV控制，测试前沿LLM的控制能力及TD3引导的RFT效果，发现RFT未产生持续改进，需先开展状态转移聚焦的监督微调。

Comments 34 pages, 14 figures

FiRE: Enhancing MLLMs with Fine-Grained Context Learning for Complex Image Retrieval

FiRE：利用细粒度上下文学习增强多模态大语言模型（MLLMs）以实现复杂图像检索

Bohan Hou, Haoqiang Lin, Xuemeng Song, Haokun Wen, Meng Liu, Yupeng Hu, Xiangyu Zhao

机构 * Shandong University（山东大学） ； City University of Hong Kong（香港城市大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shandong Jianzhu University（山东建筑大学） 纠错

专题命中 指令微调 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)

AI总结 本研究针对MLLMs在复杂图像检索任务中细粒度建模不足的问题，提出自动化细粒度多模态五元组数据集构建流程与两阶段微调策略，在零样本设置下于五个数据集上取得优于现有方法的性能。

Journal ref Proceedings of the ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2025)

Unifying Adversarially Robust Model Experts in Vision-Language Models

统一视觉-语言模型中的对抗鲁棒模型专家

Nguyen Duc Thai, Junhao Dong, Sua Qi Rong, Hua Yu, Yew-Soon Ong

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Center for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局前沿人工智能研究中心） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 针对视觉-语言模型对抗鲁棒性不足问题，提出CARE框架，通过维护并协同微调多个鲁棒模型专家，实现知识融合，在多任务上性能优于单独训练的专家。

Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering

Frontis-MA1：训练AI4AI模型以实现机器学习工程中的递归自我改进

Junlin Yang, Che Jiang, Yu Fu, Tianwei Luo, Can Ren, Weizhi Wang, Kaikai Zhao, Hongyi Liu, Yuxin Zuo, Yuru Wang, Yuchen Fan, Kai Tian, Zhenzhao Yuan, Xiaojian Lin, Li Sheng, Rushi Qiang, Guoli Jia, Xingtai Lv, Ermo Hua, Dianqiao Lei, Youbang Sun, Ning Ding, Bowen Zhou, Kaiyan Zhang

专题命中 指令微调 ：SFT(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL

AI总结 该研究推出面向MLE中RSI研究的开源全栈系统OpenMLE，后训练Frontis-MA1（35B）作为元进化智能体，在多个基准测试中提升性能，相关模型与系统已开源。

FaithEyes: Towards Faithful Tool Use via Multi-Agent Process-Image Verification

FaithEyes：通过多智能体过程图像验证实现可信的工具使用

Haoqing Wang, Xingrun Xing, Wei Xia, Ziheng Li, Yehui Tang

机构 * Samsung Research（三星研究院） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)

AI总结 本研究提出多智能体框架FaithEyes，通过子智能体判断主智能体的工具调用以提升工具使用可信性，在视觉感知与推理基准上实现了更优准确率。

Learning to Select, Not Relearn: Hard-Routed Mixtures of Reasoning LoRAs

学会选择，而非重新学习：硬路由推理LoRA混合

Seyed Alireza Molavi, Zhan Su, Yan Hu, Peyman Sheikholharam Mashhadi, Stefan Byttner, Prayag Tiwari

机构 * Halmstad University（哈尔姆斯塔德大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出硬路由MoR-LoRA框架，通过硬top-1路由组合冻结的推理LoRA专家，保留专家行为且可训练参数少于软路由方法。

Comments Code available at: https://github.com/sar-molavi/hard-routed-mor-lora

Hallucinations and Truth: A Comprehensive Accuracy Evaluation of RAG, LoRA and DoRA

幻觉与真相：RAG、LoRA和DoRA的综合准确率评估

Mohammad Baqar, Rajat Khanda

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文评估RAG、LoRA、DoRA在2万条FAQ查询、40万条知识库上的性能，发现DoRA准确率90.1%、相关性0.88、延迟110毫秒最优，为高准确率领域部署生成式AI提供指导。

Comments 10 Pages

Journal ref 2026 2nd International Conference on Federated Learning and Intelligent Computing Systems (FLICS), 10.1109/FLICS70075.2026

Lightning OPD 2.0: Mitigating Style Bias in Cross-Teacher On-Policy Distillation for Large Reasoning Models

Lightning OPD 2.0：缓解大型推理模型跨教师在线策略蒸馏中的风格偏差

Yecheng Wu, Song Han, Han Cai

机构 * NVIDIA（英伟达） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 Lightning OPD 2.0通过交叉拟合风格残差化缓解大型推理模型跨教师在线策略蒸馏的风格偏差，在数学推理与代码生成基准中优于原方法，实现了跨教师设置下的性能提升。

RefineSVG: Visual Feedback-Driven Reinforcement Learning for Image-to-SVG Generation

RefineSVG：视觉反馈驱动的图像转SVG生成强化学习

Shaobo Liu, Feiqiao Mao, Shuaishuai Zhou, Yan Zhan, Weiqi Tan, Zhiqiong Lu, Zhengping Liang

机构 * Shenzhen University（深圳大学） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 RefineSVG是一种视觉反馈驱动的闭环框架，通过引入SVG语义词汇表和渐进式训练，使MLLM实现高保真图像转SVG生成，性能优于现有基线。

Comments 17 pages, 5 main-paper figures. Accepted at the 34th ACM International Conference on Multimedia (ACM MM 2026). Includes the complete supplementary material

Compact Task-Aligned Imitation Learning for Laboratory Automation

紧凑的任务对齐模仿学习用于实验室自动化

Kanata Suzuki, Hanon Nakamura, Kana Miyamoto, Tetsuya Ogata

机构 * Spatial Robotics Research Center, Fujitsu Limited.（富士通株式会社空间机器人研究中心） ； Faculty of Science and Engineering, Waseda University（早稻田大学理工学部） ； National Institute of Advanced Industrial Science and Technology（国家工业科学与技术研究院） 纠错

专题命中 指令微调 ：language model(abstract)；foundation model(abstract)

AI总结 本文提出了一种紧凑的模仿学习框架，通过小基础模型和扩散变换器专家实现高效实验室自动化，实验显示其在三个任务中的高成功率。

Metaphor Tracer: A Theory-Informed Analysis of Hidden States

隐喻追踪器：基于理论指导的隐状态分析

Marc Heimann, Roxana Assadi Moghaddam, Olga Brovkina, Mark Pettifor, Lutz Goetzmann

机构 * Hermeneutic AI（诠释学人工智能公司） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出Metaphor Tracer工具，通过聚合器与区分器分析语言模型隐状态，验证其可追踪文本结构与隐喻迁移，为隐状态提供关系论解读。

Comments 39 pages, 8 figures

Orchard: An Open-Source Agentic Modeling Framework

Orchard：一个开源的智能体建模框架

Baolin Peng, Wenlin Yao, Qianhui Wu, Hao Cheng, Xiao Yu, Rui Yang, Tao Ge, Alessandro Sordoni, Xingdi Yuan, Yelong Shen, Pengcheng He, Tong Zhang, Zhou Yu, Jianfeng Gao

机构 * Microsoft Research（微软研究院） ； Columbia University（哥伦比亚大学） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 指令微调 ：SFT(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Orchard，一个开源的智能体建模框架，通过轻量级环境服务和三种智能体建模食谱，实现了跨领域可重用的智能体数据、训练和评估。

One Anchor for All: Unified Multilingual and Multimodal Safety Alignment for LVLMs

统一多语言多模态的LVLM安全对齐：一个通用锚点

Enyi Shi, Fei Shen, Chuancheng Shi, Linxia Zhu, Shuyi Miao, Jinhui Tang, Tat-Seng Chua

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 针对LVLM面临的多语言多模态复合攻击防御难题，提出MLS-Neurons驱动的跨维度安全对齐框架，仅更新约0.03%参数实现安全监督迁移，在多语言多模态安全基准上性能优于SOTA且保留通用实用性。

EmoFeedback$^2$: Reinforcement of Continuous Emotional Image Generation via LVLM-based Reward and Textual Feedback

EmoFeedback$^2$：基于LVLM的奖励与文本反馈的连续情绪图像生成强化

Kai Shu, Jingyang Jia, Gang Yang, Long Xing, Xun Chen, Aiping Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 EmoFeedback$^2$通过基于LVLM的奖励与文本反馈机制，提升连续情绪图像生成的质量与情绪保真度。