语言大模型 / LLM

Mod-Guide: An LLM-based Content Moderation Feedback System to Address Insensitive Speech toward Indigenous Ethnic and Religious Minority Communities

Mod-Guide：一种基于LLM的内容审核反馈系统，用于解决针对原住民及少数族裔宗教群体的不敏感言论

Dipto Das, Achhiya Sultana, Ankit Singh Chauhan, Saadia Binte Alam, Mohammad Shidujaman, Shion Guha, Sunandan Chakraborty, Syed Ishtiaque Ahmed

机构 * Department of Computer Science, University of Toronto（计算机科学系，多伦多大学） ； Independent University Bangladesh（孟加拉国独立大学） ； Indiana University（印第安纳大学） ； Faculty of Information, University of Toronto（信息学院，多伦多大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究LLM审核系统对孟加拉国印度教和查克玛社区不敏感言论的认知局限，通过共同构建文化语料库和检索增强生成（RAG）方法开发Mod-Guide工具，提升模型对少数群体观点的敏感性。

Structured Testbench Generation for LLM-Driven HDL Design and Verification-Oriented Data Curation

面向LLM驱动的硬件描述语言设计与验证数据整理的结构化测试台生成

En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H. T. Kung

机构 * National Taiwan University（国立台湾大学） ； Academia Sinica（中央研究院） ； Harvard University（哈佛大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出STG框架，利用硬件设计固有结构生成确定性测试台，比迭代LLM方法快720倍，编译成功率更高，覆盖率更高，误判更少，并用于数据整理和测试时扩展。

Comments 9 pages, 10 figures

Evaluating Pluralism in LLMs through Latent Perspectives

通过潜在视角评估LLM中的多元主义

Laura Majer, Jan Šnajder, Martin Tutek

机构 * University of Helsinki（赫尔辛基大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；prompting(abstract)；分类 cs.CL

AI总结 提出一种领域无关的多层无监督框架，从LLM生成文本中提取潜在视角，评估多元主义差距，发现稀有视角仍被不成比例地低估。

Comments Pluralistic Alignment Workshop @ ICML 2026

Emerging Flexible Designs for Geospatial Multimodal Foundation Models

地理空间多模态基础模型的新兴灵活设计

Philipe Dias, Waqwoya Abebe, Abhishek Potnis, Aristeidis Tsaris, Dan Lu, Xiao Wang, Dalton Lunga

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文系统比较了不同架构的地理空间基础模型，在统一设置下评估其灵活性与性能，为多模态推理提供设计指导。

Unraveling Syntax: Language Modeling and the Substructure of Grammars

解析句法：语言建模与语法的子结构

Laura Ying Schulz, Daniel Mitropolsky, Tomaso Poggio

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究语言模型在上下文无关语法子结构上的学习行为，证明损失函数在顶层子语法上线性递归，并发现参数化模型并行学习子语法，子语法预训练能提升小模型性能并改善内部表征。

Comments Equal contribution by LYS and DM. Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

Influcoder: Distilling Decoders' Gradient Influence Rankings into an Encoder for Data Attribution

Influcoder：将解码器的梯度影响排名蒸馏到编码器用于数据归因

Dimitri Kachler, Damien Sileo, Pascal Denis

机构 * Centre Inria de l’Université de Lille, CRIStAL, Université de Lille（里尔大学Inria中心，CRIStAL，里尔大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对大型语言模型训练数据归因中影响函数方法计算和存储成本高的问题，提出Influcoder方法，通过将解码器梯度影响排名蒸馏到编码器，实现快速且成本高效的大规模数据归因。

Comments 8 pages, 2 figures

Balancing ASR and diarization in end-to-end LLMs for multi-talker speech recognition

在端到端大语言模型中平衡ASR与说话人日志以进行多说话人语音识别

Naijun Zheng, Yuke Lin, Sanli Tian, Mengtian Li, Zhiwei Lin, Longshuai Xiao, Dandan Tu

机构 * Huawei Technologies, China（华为技术有限公司） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)

AI总结 提出双编码器架构、特征交错格式、长度感知说话人ID损失和自适应阈值ASR损失策略，在有限真实数据下高效训练LLM系统，平衡ASR与说话人日志任务，在AliMeeting和Aishell4语料库上分别实现18%和24%的相对改进。

Comments Accepted in Interspeech 2026

FOLD: Fuzzy Online Deduplication for Very Large Evolving Datasets via Approximate Nearest Neighbor Search

FOLD: 面向超大规模演化数据集的模糊在线去重方法（基于近似最近邻搜索）

Nelson Bore, Pritish Mishra, Constantin Adam, Eyal de Lara, Oana Balmau

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出FOLD系统，利用增量更新的HNSW索引和位图表示改进Jaccard相似度计算，实现高召回率和高吞吐量的在线模糊去重。

A Quantitative Experimental Repeated Measures Study of Training Dynamics in a Small Llama Style Language Model Under a Compute-Aware Token Budget

在计算感知令牌预算下小型Llama风格语言模型训练动态的定量实验重复测量研究

Joe Dwyer

机构 * Department of Computer Information Science, ECPI University（ECPI大学计算机信息科学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究通过重复测量设计，分析在固定计算预算下训练小型Llama模型时，验证损失、困惑度等指标随令牌数变化的动态，发现早期快速改进后出现非单调退化，表明计算感知评估应关注训练轨迹而非终点指标。

Valid Inference with Synthetic Data via Task Exchangeability

通过任务可交换性实现基于合成数据的有效推断

Lezhi Tan, Tijana Zrnic

机构 * Department of Management Science & Engineering（管理科学与工程系） ； Department of Statistics（统计学系） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出任务可交换性条件，确保在科学研究中使用合成数据进行统计推断的有效性，并给出在民意调查和AI评估中的应用。

Leveraging Audio-LLMs to Filter Speech-to-Speech Training Data

利用音频大语言模型过滤语音到语音训练数据

Qixu Chen, Satoshi Nakamura

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） ； School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出Rank-to-Distill策略，训练音频大语言模型直接从语音对判断保留/丢弃，过滤噪声数据，提升端到端语音翻译性能。

Comments Accepted to INTERSPEECH 2026

HYDRA-X: Native Unified Multimodal Models with Holistic Visual Tokenizers

HYDRA-X: 具有整体视觉分词器的原生统一多模态模型

Guozhen Zhang, Xuerui Qiu, Yutao Cui, Tianhui Song, Changlin Li, Junzhe Li, Tao Huang, Xiao Zhang, Yang Li, Jianbing Wu, Miles Yang, Zhao Zhong, Liefeng Bo, Limin Wang

机构 * Nanjing University（南京大学） ； CASIA（中国科学院自动化研究所） ； Tencent Hunyuan（腾讯混元） ； Zhongguancun Academy（中关村学院） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出HYDRA-X，首个在单一ViT中统一图像和视频分词的原生统一多模态模型，通过因果时间注意力和分层时间压缩实现高效重建，并利用轻量化解压缩器注入语义，显著提升编辑一致性和收敛速度。

AAbAAC: An Annotated Corpus for Autoimmunity Information Extraction

AAbAAC：用于自身免疫信息抽取的标注语料库

Fabien Maury, Solène Grosdidier, Maud de Dieuleveult, Adrien Coulet

机构 * Inserm, Université Paris Cité, U1163 Institut Imagine（法国国家健康与医学研究院、巴黎西岱大学、U1163 想象研究所） ； Inria, Inserm, Université Paris Cité, U1346 HeKA（法国国家信息与自动化研究所、法国国家健康与医学研究院、巴黎西岱大学、U1346 HeKA） ； Freelance researcher（自由研究员） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对自身免疫领域信息抽取性能不足，构建了包含115篇PubMed摘要的AAbAAC语料库，手动标注实体和关系，通过微调NER模型验证了其有效性。

Journal ref BioNLP 2026 - 25th Workshop on Biomedical Natural Language Processing, ACL, Jul 2026, San Diego (CA), United States

Different Layers, Different Manifolds: Module-Wise Weight-Space Geometry in Transformer Optimization

不同层，不同流形：Transformer优化中的模块级权重空间几何

Kirato Yoshihara

机构 * School of Engineering Science, The University of Osaka（大阪大学工程科学学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究Transformer不同模块偏好不同流形几何，提出为注意力层和MLP层分别分配Stiefel和DGram约束，在GPT-2预训练中取得最佳性能。

Comments Accepted at WSS @ ICML 2026, code is available at https://github.com/kiratoyoshihara/module-wise-manifold-muon

Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning

通过真实到仿真到真实触觉策略学习的盲操作灵巧抓取

Shengcheng Luo, Xiyan Huang, Zhe Xu, Wanlin Li, Ziyuan Jiao, Chenxi Xiao

机构 * ShanghaiTech University（上海科技大学） ； Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 提出一种结合Real2Sim触觉校准、布局感知触觉编码器和触觉条件扩散策略的框架，实现仅依赖触觉的灵巧手盲抓取，在真实机器人上对20个物体达到27%成功率。

Comments 23 pages, 6 figures

The Long Tail, Not the Front Page: Cold-Start Prediction of Crowd Highlight Salience

长尾而非首页：众包高亮显著性的冷启动预测

Kazuki Nakayashiki, Keisuke Watanabe

机构 * Glasp Inc.（Glasp公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 本文研究在无读者标记时，如何从文本预测文档的众包高亮显著性，提出基于句子嵌入和位置/上下文特征的对数排序模型，在平均精度上比位置基线提升0.044，并证明该优势源于真实读者标记的学习。

Comments 10 pages, 3 figures, 4 tables

NavWAM: A Navigation World Action Model for Goal-Conditioned Visual Navigation

NavWAM：用于目标条件视觉导航的导航世界动作模型

Daichi Azuma, Taiki Miyanishi, Koya Sakamoto, Shuhei Kurita, Yaonan Zhu, Petr Khrapchenkov, Motoaki Kawanabe, Yusuke Iwasawa, Yutaka Matsuo

机构 * The University of Tokyo（东京大学） ； National Institute of Informatics（国立信息学研究所） ； AIRoA ； ATR 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 提出NavWAM，一种扩散变换器策略，通过联合学习未来观测、目标进度值和动作块，将导航世界模型预测直接转化为可执行动作，在离线基准和真实机器人部署中优于基于规划的世界模型基线。

Comments Project page: https://dachii-azm.github.io/navwam/

LLM-based Embeddings: Attention Values Encode Sentence Semantics Better Than Hidden States

基于LLM的嵌入：注意力值比隐藏状态更好地编码句子语义

Yeqin Zhang, Yunfei Wang, Jiaxuan Chen, Ke Qin, Yizheng Zhao, Cam-Tu Nguyen

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Value Aggregation方法，利用LLM的注意力值向量而非隐藏状态来生成句子嵌入，在无训练设置下超越现有方法，甚至匹配或超越集成方法MetaEOL。

NOVA: NOise-aware Verbal Confidence CAlibration for Robust Large Language Models in RAG Systems

NOVA: 面向RAG系统中鲁棒大语言模型的噪声感知言语置信度校准

Jiayu Liu, Rui Wang, Qing Zong, Yumeng Wang, Cheng Qian, Qingcheng Zeng, Tianshi Zheng, Haochen Shi, Dadi Guo, Baixuan Xu, Chunyang Li, Yangqiu Song

机构 * HKUST（香港科技大学） ； UIUC（伊利诺伊大学香槟分校） ； Northwestern University（西北大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；LLM(abstract_cn)

AI总结 提出NOVA框架，通过规则引导的监督微调，解决检索增强生成中噪声上下文导致的过度自信问题，在域内和域外分别提升ECE 10.9%和8.0%。

Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science

两个错误，没有正确：审计计算社会科学中LLM标注者的社会期望偏差

Varun Kotte

机构 * Varun Kotte 纠错

专题命中 指令微调 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 研究审计了三个开源指令微调模型在TweetEval任务中的社会期望偏差，发现模型存在宽大、过度纠正和中性偏差，且提示干预无法纠正，聚合指标可能掩盖实质结论错误。

HarnessBridge: Learnable Bidirectional Controller for LLM Agent Harness

HarnessBridge: 用于LLM智能体框架的可学习双向控制器

Xiaoxuan Wang, Haixin Wang, Alexander Taylor, Jason Cong, Yizhou Sun, Wei Wang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 提出HarnessBridge，一种轻量级可学习框架控制器，通过双向投影参数化智能体-环境接口，减少令牌使用和轨迹长度，并泛化到更大模型。

AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models

AiAWE: 一种使用LoRA适配指令微调模型的开源LLM自动写作评估系统

John Maurice Gayed

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出AiAWE开源自动写作评估系统，通过LoRA适配指令微调Gemma-3-27B模型，在TOEFL独立写作数据集上达到0.474 RMSE和90.56%一致率，优于更大模型和GPT-3.5基线。

Comments 21 pages with 7 tables and 1 figure and appendices

Small LLMs for Biomedical Claim Verification: Cost-Effective Fine-Tuning, Structural Dataset Shortcuts, and Cross-Domain Generalization

小型LLM用于生物医学声明验证：成本效益微调、结构性数据集捷径与跨域泛化

Gaurav Kumar

机构 * Moveworks AI ； University of California San Diego（加州大学圣迭戈分校） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过QLoRA微调小型LLM（Phi-3-mini、Qwen2.5-3B、Mistral-7B），在生物医学声明验证中超越GPT-4o和GPT-5（F1提升12%），并发现SciFact数据集的结构性伪影，提出基于结构稳健数据的跨域迁移方法。

Comments 8 pages, 2 figures, 12 tables. To appear at BioNLP Workshop, ACL 2026

Nous: An Attempt to Extract and Inject the Cognition Behind Prediction-Market Behavior

Nous: 提取并注入预测市场行为背后认知的尝试

Haowei Qian

机构 * Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 针对LLM代理在预测市场中认知同质化问题，提出Nous方法从真实交易行为提取八维行为画像并注入提示，发现提取部分有效但提示注入无法传递认知多样性。

Comments 37 pages, 1 figure, 7 tables. Reproduction artifacts (code, frozen profiles, prompts, model outputs): https://github.com/WillChienT/nous-paper

Localizing Anchoring Pathways in Language Models

定位语言模型中的锚定路径

Hillary N. Owusu, Sarah Wiegreffe, Naomi H. Feldman

机构 * University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 研究提示中无关数字如何影响语言模型数值推理的锚定效应，通过logit差值度量和电路归因定位，发现边级方法优于节点级方法，并揭示锚定路径的共享与迁移特性。

Fine-tuning MLIP foundation models: strategies for accuracy and transferability

微调MLIP基础模型：准确性与可迁移性的策略

Tamás Lajos Tompa, Eszter Varga-Umbrich, Ilyes Batatia, Alin M. Elena, Noam Bernstein, Gábor Csányi

专题命中 指令微调 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 评估七种微调策略在化学多样性基准上的表现，发现基础模型质量、E0初始化和超参数选择比策略本身更重要，多头部回放能保持分布外鲁棒性。

HD-Prot: A Protein Language Model for Joint Sequence-Structure Modeling with Continuous Structure Tokens

HD-Prot：一种使用连续结构令牌进行联合序列-结构建模的蛋白质语言模型

Yi Zhou, Haohao Qu, Yunqing Liu, Shanru Lin, Le Song, Wenqi Fan

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Mohamed bin Zayed University of Artificial Intelligence（马尔代夫人工智能大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 提出HD-Prot，一种混合扩散蛋白质语言模型，通过连续结构令牌将序列pLM扩展为多模态，实现联合序列-结构建模，在多种任务上取得竞争性能。

Comments This is the long version of the corresponding paper to appear at KDD 2026

Beyond Attack Success Rate: Examining Trigger Leakage in Vision-Language Agentic Systems

超越攻击成功率：视觉-语言智能系统中的触发器泄漏研究

Jiamin Chang, Salil Kanhere, Piotr Koniusz, Jason, Xue, Hammond Pearce

专题命中 指令微调 ：language agent(title,abstract)

AI总结 本文提出“触发器泄漏”概念，量化视觉-语言智能系统中后门触发器在视觉或语义相近输入下意外激活隐藏行为的风险，并引入邻域泄漏率（NLR）指标。

Learning to Reason by Analogy via Retrieval-Augmented Reinforcement Fine-Tuning

通过检索增强强化微调进行类比推理学习

Zilin Xiao, Qi Ma, Chun-cheng Jason Chen, Xintao Chen, Avinash Atreya, Hanjie Chen, Vicente Ordonez

机构 * Meta Superintelligence Labs（Meta超级智能实验室） ； Rice University（莱斯大学） 纠错

专题命中 指令微调 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 提出RA-RFT框架，通过黄金相关性蒸馏训练检索器，并结合强化微调利用类比推理轨迹，提升数学推理性能。

WildIFEval: Instruction Following in the Wild

WildIFEval: 野外指令遵循

Gili Lior, Asaf Yehudai, Ariel Gera, Liat Ein-Dor

机构 * The Hebrew University of Jerusalem（希伯来大学杰里科分校） ； IBM Research（IBM研究院） 纠错

专题命中 指令微调 ：LLM(summary_cn)；分类 cs.CL、cs.AI

AI总结 提出WildIFEval数据集，包含7K条真实用户的多约束指令，用于评估LLM的指令遵循能力，发现所有模型仍有较大改进空间。

Comments Accepted to the 5th Workshop on Generation, Evaluation and Metrics (GEM) at ACL 2026