语言大模型 / LLM

LLM-based Embeddings: Attention Values Encode Sentence Semantics Better Than Hidden States

基于LLM的嵌入：注意力值比隐藏状态更好地编码句子语义

Yeqin Zhang, Yunfei Wang, Jiaxuan Chen, Ke Qin, Yizheng Zhao, Cam-Tu Nguyen

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Value Aggregation方法，利用LLM的注意力值向量而非隐藏状态来生成句子嵌入，在无训练设置下超越现有方法，甚至匹配或超越集成方法MetaEOL。

NOVA: NOise-aware Verbal Confidence CAlibration for Robust Large Language Models in RAG Systems

NOVA: 面向RAG系统中鲁棒大语言模型的噪声感知言语置信度校准

Jiayu Liu, Rui Wang, Qing Zong, Yumeng Wang, Cheng Qian, Qingcheng Zeng, Tianshi Zheng, Haochen Shi, Dadi Guo, Baixuan Xu, Chunyang Li, Yangqiu Song

机构 * HKUST（香港科技大学） ； UIUC（伊利诺伊大学香槟分校） ； Northwestern University（西北大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；LLM(abstract_cn)

AI总结 提出NOVA框架，通过规则引导的监督微调，解决检索增强生成中噪声上下文导致的过度自信问题，在域内和域外分别提升ECE 10.9%和8.0%。

Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science

两个错误，没有正确：审计计算社会科学中LLM标注者的社会期望偏差

Varun Kotte

机构 * Varun Kotte 纠错

专题命中 指令微调 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 研究审计了三个开源指令微调模型在TweetEval任务中的社会期望偏差，发现模型存在宽大、过度纠正和中性偏差，且提示干预无法纠正，聚合指标可能掩盖实质结论错误。

HarnessBridge: Learnable Bidirectional Controller for LLM Agent Harness

HarnessBridge: 用于LLM智能体框架的可学习双向控制器

Xiaoxuan Wang, Haixin Wang, Alexander Taylor, Jason Cong, Yizhou Sun, Wei Wang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 提出HarnessBridge，一种轻量级可学习框架控制器，通过双向投影参数化智能体-环境接口，减少令牌使用和轨迹长度，并泛化到更大模型。

AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models

AiAWE: 一种使用LoRA适配指令微调模型的开源LLM自动写作评估系统

John Maurice Gayed

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出AiAWE开源自动写作评估系统，通过LoRA适配指令微调Gemma-3-27B模型，在TOEFL独立写作数据集上达到0.474 RMSE和90.56%一致率，优于更大模型和GPT-3.5基线。

Comments 21 pages with 7 tables and 1 figure and appendices

Small LLMs for Biomedical Claim Verification: Cost-Effective Fine-Tuning, Structural Dataset Shortcuts, and Cross-Domain Generalization

小型LLM用于生物医学声明验证：成本效益微调、结构性数据集捷径与跨域泛化

Gaurav Kumar

机构 * Moveworks AI ； University of California San Diego（加州大学圣迭戈分校） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过QLoRA微调小型LLM（Phi-3-mini、Qwen2.5-3B、Mistral-7B），在生物医学声明验证中超越GPT-4o和GPT-5（F1提升12%），并发现SciFact数据集的结构性伪影，提出基于结构稳健数据的跨域迁移方法。

Comments 8 pages, 2 figures, 12 tables. To appear at BioNLP Workshop, ACL 2026

Nous: An Attempt to Extract and Inject the Cognition Behind Prediction-Market Behavior

Nous: 提取并注入预测市场行为背后认知的尝试

Haowei Qian

机构 * Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 针对LLM代理在预测市场中认知同质化问题，提出Nous方法从真实交易行为提取八维行为画像并注入提示，发现提取部分有效但提示注入无法传递认知多样性。

Comments 37 pages, 1 figure, 7 tables. Reproduction artifacts (code, frozen profiles, prompts, model outputs): https://github.com/WillChienT/nous-paper

Localizing Anchoring Pathways in Language Models

定位语言模型中的锚定路径

Hillary N. Owusu, Sarah Wiegreffe, Naomi H. Feldman

机构 * University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 研究提示中无关数字如何影响语言模型数值推理的锚定效应，通过logit差值度量和电路归因定位，发现边级方法优于节点级方法，并揭示锚定路径的共享与迁移特性。

Fine-tuning MLIP foundation models: strategies for accuracy and transferability

微调MLIP基础模型：准确性与可迁移性的策略

Tamás Lajos Tompa, Eszter Varga-Umbrich, Ilyes Batatia, Alin M. Elena, Noam Bernstein, Gábor Csányi

专题命中 指令微调 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 评估七种微调策略在化学多样性基准上的表现，发现基础模型质量、E0初始化和超参数选择比策略本身更重要，多头部回放能保持分布外鲁棒性。

HD-Prot: A Protein Language Model for Joint Sequence-Structure Modeling with Continuous Structure Tokens

HD-Prot：一种使用连续结构令牌进行联合序列-结构建模的蛋白质语言模型

Yi Zhou, Haohao Qu, Yunqing Liu, Shanru Lin, Le Song, Wenqi Fan

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Mohamed bin Zayed University of Artificial Intelligence（马尔代夫人工智能大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 提出HD-Prot，一种混合扩散蛋白质语言模型，通过连续结构令牌将序列pLM扩展为多模态，实现联合序列-结构建模，在多种任务上取得竞争性能。

Comments This is the long version of the corresponding paper to appear at KDD 2026

Beyond Attack Success Rate: Examining Trigger Leakage in Vision-Language Agentic Systems

超越攻击成功率：视觉-语言智能系统中的触发器泄漏研究

Jiamin Chang, Salil Kanhere, Piotr Koniusz, Jason, Xue, Hammond Pearce

专题命中 指令微调 ：language agent(title,abstract)

AI总结 本文提出“触发器泄漏”概念，量化视觉-语言智能系统中后门触发器在视觉或语义相近输入下意外激活隐藏行为的风险，并引入邻域泄漏率（NLR）指标。

Learning to Reason by Analogy via Retrieval-Augmented Reinforcement Fine-Tuning

通过检索增强强化微调进行类比推理学习

Zilin Xiao, Qi Ma, Chun-cheng Jason Chen, Xintao Chen, Avinash Atreya, Hanjie Chen, Vicente Ordonez

机构 * Meta Superintelligence Labs（Meta超级智能实验室） ； Rice University（莱斯大学） 纠错

专题命中 指令微调 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 提出RA-RFT框架，通过黄金相关性蒸馏训练检索器，并结合强化微调利用类比推理轨迹，提升数学推理性能。

WildIFEval: Instruction Following in the Wild

WildIFEval: 野外指令遵循

Gili Lior, Asaf Yehudai, Ariel Gera, Liat Ein-Dor

机构 * The Hebrew University of Jerusalem（希伯来大学杰里科分校） ； IBM Research（IBM研究院） 纠错

专题命中 指令微调 ：LLM(summary_cn)；分类 cs.CL、cs.AI

AI总结 提出WildIFEval数据集，包含7K条真实用户的多约束指令，用于评估LLM的指令遵循能力，发现所有模型仍有较大改进空间。

Comments Accepted to the 5th Workshop on Generation, Evaluation and Metrics (GEM) at ACL 2026

MentalMARBERT: Domain-Adaptive Pre-training and Two-Stage Fine-Tuning for Arabic Mental Health Disorders Detection

MentalMARBERT：面向阿拉伯语心理健康障碍检测的领域自适应预训练与两阶段微调

Fatimah Almalki, Areej Alhothali, Lulwah Alharigy, Abdulrahman Aladeem

机构 * King Abdulaziz University（阿卜杜勒阿齐兹国王大学） 纠错

专题命中 指令微调 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 针对阿拉伯语社交媒体文本中心理健康障碍检测的方言差异、非正式语言、标注资源有限和类别不平衡问题，提出领域自适应预训练与两阶段微调框架，构建含5万条推文的数据集，MentalMARBERT在宏F1和准确率上分别达到0.861和0.877。

Comments 17 pages, 5 figures, 13 tables

Iterative Tool Usage Exploration for Multimodal Agents via Step-wise Preference Tuning

通过逐步偏好调优的多模态智能体迭代工具使用探索

Pengxiang Li, Zhi Gao, Bofei Zhang, Yapeng Mi, Xiaojian Ma, Chenrui Shi, Tao Yuan, Yuwei Wu, Yunde Jia, Song-Chun Zhu, Qing Li

机构 * Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology（北京智能信息科技重点实验室，计算机科学与技术学院，北京理工大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） ； State Key Laboratory of General Artificial Intelligence, Peking University（通用人工智能国家重点实验室，北京大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University（广东机器感知与智能计算实验室，深圳MSU-BIT大学） ； Department of Automation, Tsinghua University（自动化系，清华大学） 纠错

专题命中 指令微调 ：language model(abstract)；preference optimization(abstract)

AI总结 提出SPORT方法，通过任务合成、步骤采样、步骤验证和偏好调优的迭代循环，使多模态智能体无需预收集数据即可自主探索和优化工具使用策略，在GTA和GAIA基准上分别提升6.41%和3.64%。

Comments 24 pages

Multi-Amateur Contrastive Decoding for Text Generation

多业余对比解码用于文本生成

Jaydip Sen, Subhasis Dasgupta, Hetvi Waghela

机构 * Department of Data Science（数据科学系） ； Praxis Business School（普拉克斯商学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 本文提出多业余对比解码框架，通过集成多个业余模型更全面地捕捉语言生成中的不良模式，提升文本生成的流畅性、连贯性和多样性。

Comments This paper has been accepted for oral presentation and publication in the proceedings of the IEEE I2ITCON 2025. The conference will be organized in Pune, India, from July 4 to 5, 2025. This is the accepted version of the paper and NOT the final camera-ready version. The paper is 11 pages long and contains 5 figures and 6 tables