语言大模型 / LLM

Confirming Our Biases? Evaluating the Capabilities, Risks, and Societal Impact of Large Language Models

确认我们的偏见？评估大型语言模型的能力、风险与社会影响

Mudar Adas, Polina Tsvilodub, Michael Franke, Martin V. Butz

机构 * University of Tübingen（蒂宾根大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本研究评估6个大型语言模型（LLMs）对160条跨10个主题的提示的响应，发现LLMs会系统调整响应以匹配提示框架，甚至在事实类情境中也如此，明确了其可被操纵的程度与界限。

Beyond "AI Language": The case for the idiolectal nature of LLM output

超越“AI语言”：论大语言模型输出的个体方言本质

Karolina Rudnicka, Thomas Stephan Juzek

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出LLM输出具有个体方言本质，通过分析两个LLM生成文本数据集，发现模型间存在独特语言特征，该视角对多领域研究有潜在价值。

Comments 33 pages, 6 figures, 6 tables. Submitted as a chapter to the post-workshop volume "Corpus Linguistics 2040" (Digital Linguistics series)

Provable Training Data Identification for Large Language Models

大语言模型训练数据的可证明识别

Zhenlong Liu, Hao Zeng, Weiran Huang, Hongxin Wei

机构 * Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学） ； Shanghai Innovation Institute（上海创新研究院） ； School of Computer Science, Shanghai Jiao Tong University（计算机科学学院，上海交通大学） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；分类 cs.AI、cs.LG

AI总结 本文提出PTDI方法，通过集级推断实现大语言模型训练数据识别的可证明误差控制。

EntropyMoE: Entropy-Aware Sparse Expert Routing for Tokenizer-Free LLMs

EntropyMoE：面向无分词器大语言模型的熵感知稀疏专家路由

Bo Liu, Muxuab Yu, Yu Zhang, Pengfei Gao, Yongping Zhang

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 EntropyMoE针对无分词器字节级LLM的块计算局限性，提出基于块熵的稀疏专家路由MoE架构，在降低位每字节的同时保持下游准确率，扩展了MoE建模的应用范围。

Is Self-Pretraining really useful to improve diagnosis in medical Time Series?

自预训练（SPT）真的有助于改进医疗时间序列的诊断吗？

Omar Coser, Antonio Orvieto, Paolo Soda, Loredana Zollo

机构 * Università Campus Bio-Medico di Roma（罗马生物医学大学校园大学） ； Umeå University（于默奥大学） ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； ELLIS Institute Tübingen（埃利斯研究所蒂宾根分所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究探究自预训练（SPT）对Transformer在医疗时间序列诊断任务的影响，发现SPT可提升分类准确率0-6个百分点，是无需修改架构的通用有效策略。

Comments 21 pages, 7 figures,4 tables

CellWorld: From Gene-Level Reconstruction to Latent Cell Prediction in Spatial Transcriptomics Foundation Models

CellWorld：空间转录组学基础模型中从基因水平重建到潜在细胞预测

Haiping Liu, Qian Zhao, Lijing Lin, Jingyuan Sun, Hongpeng Zhou

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出CellWorld，将空间转录组学基础模型的预测目标从基因测量转向潜在细胞表示，在多基准测试中其性能优于现有基线，仅用5%语料库预训练的大型模型也表现出色。

Natural Language Processing Psychometrics

自然语言处理心理测量学

Edoardo Sebastiano De Duro, Emma Franchino, Massimo Stella

机构 * University of Trento（特伦托大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 该研究将文本心理预测视为心理测量问题，用9种LLM角色完成问卷，结合多特征构建RF模型，解释了SWLS等的方差，还能区分角色、分类临床与对照参与者，明确了NLP心理测量的区分方法。

MetaSICL: Globalizing Auditory LLMs for Underserved Speakers and Languages via Meta Speech In-Context Learning

MetaSICL: 通过元语音上下文学习适应听觉大语言模型

Haolong Zheng, Siyin Wang, Zengrui Jin, Mark Hasegawa-Johnson

机构 * University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出MetaSICL方法，利用高资源语音数据通过元学习增强听觉大语言模型的上下文学习能力，在低资源场景下优于直接微调。

Robust-WAM: Bridging Generative Pretraining and Semantic Foresight in World-Action Models

Robust-WAM：桥接生成式预训练与世界-动作模型中的语义前瞻

Haodong Yan, Junfeng Li, Junjie He, Zhide Zhong, MingMing Yu, Wenxuan Song, Jiaguan Zhu, Yangyang Zheng, Yuqiao Du, Jiadi You, Yingjie Cai, Xu Yan, Guanyi Zhao, Bingbing Liu, Haoang Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Beihang University（北京航空航天大学） ； Huawei Foundation Model Department（华为基础模型部门） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(abstract)

AI总结 Robust-WAM是一种通用后训练方法，在保留VAE生成路径的同时添加语义前瞻对齐，可提升多个WAM基线在分布外条件下的动作预测成功率且不损失分布内性能。

Measuring the Cross-Lingual Comprehension Gap: How the language of the evidence shapes what language models understand

测量跨语言理解差距：证据语言如何影响语言模型的理解能力

Rafael da Silva, Jeff Eicher

机构 * Eastern University（东方大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究定义跨语言理解差距（CLCG），通过ParallelQA-18评估5种模型，发现英语能力无法同等迁移，低资源语言用户的模型质量可能被英语中心评估高估。

Comments 55 pages, 17 figures. Submitted to Computational Linguistics (MIT Press / ACL). Supplementary Material: 55 pages, 4 figures

HLSmith: An Expert-Guided Agentic Framework for C/C++-to-HLS Translation

HLSmith：专家引导的C/C++到HLS转换智能体框架

Yuebo Luo, Ahmad Sedigh Baroughi, Philip Stachura, Le Chen, Venkatram Vishwanath, Zhenman Fang, Caiwen Ding

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出HLSmith框架，结合HLS优化专业知识库、分阶段反馈驱动编排流程及模型适配流水线，在PolyBench上较ChatHLS实现4.24倍几何平均加速比，所有基准均生成正确设计，开放权重模型下最高加速比达138倍。

Improving Attributed Long-form Question Answering with Intent Awareness

通过意图意识提升带有属性的长形式问答

Xinran Zhao, Aakanksha Naik, Jay DeYoung, Joseph Chee Chang, Jena D. Hwang, Tongshuang Wu, Varsha Kishore

机构 * Allen Institute for AI（艾伦人工智能研究所） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出通过增强模型意图意识来提升长报告生成质量，通过结构化标签方案提取隐含意图，改进零样本生成能力并生成高质量合成数据，实验显示在科学报告生成任务中模型性能平均提升2.9和12.3个百分点。

Comments 39 pages, 7 figures

Journal ref ICLR 2026

Vorch-Streamer: Extending Human Audio-Visual Generation to Real-Time Long-Form Streaming

Vorch-Streamer：将人类音视频生扩展至实时长格式流式生成

Menglin Han, Yang Ding, Yulei Lu, Haoran Yu, Xin Ma, Junyi Chen, Zhangkai Ni, Lin Ma, Yaohui Wang

机构 * Vorch Team（Vorch团队） ； Tongji University（同济大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；post-training(abstract)

AI总结 Vorch-Streamer是一款后训练框架，通过混合训练、自强制与DMD蒸馏等技术，实现了超24 FPS的实时长格式T2AV流式音视频生成，兼具音唇同步性与身份保留能力。

Comments Project page: https://vorch-project.github.io/Vorch-Streamer-project/

Is SwiGLU's Open Positive Tail Necessary? Evidence from Closed-Tail Gating with MemGLU

SwiGLU的开放正尾是否必要？来自带MemGLU的闭尾门控的证据

Yuting Ge, Pengju Yang, Mingkai Nie

机构 * City University of Hong Kong（香港城市大学） ； Beihang University（北京航空航天大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 该研究针对仅解码器的语言模型FFN，通过对比实验发现，源自忆阻分支几何的MemGLU在相近损失下无需SwiGLU的开放正尾即可表现良好，表明模型会适应预训练的门控几何。

Stoicheia: Character-Level Masked Diffusion for Ancient Greek Textual Restoration, Parsing, and Metrical Scansion

Stoicheia：用于古希腊语文本恢复、句法分析与韵律扫描的字符级掩码扩散模型

Eric Cullhed, Albin Thörn Cleland

机构 * Uppsala University（乌普萨拉大学） ； Lund University（隆德大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

AI总结 本研究提出4.05亿参数的Stoicheia字符级掩码扩散模型，通过多维度输入设计实现古希腊语文本恢复、句法分析等任务，在三项实验中均优于对照模型，且在Ithaca测试集上显著降低字符错误率、提升Top-1准确率。

Comments 12 pages, 7 tables. Models, datasets and code released: https://huggingface.co/collections/Ericu950/stoicheia-6a6fbf9800c82d93020a7ceb and https://github.com/ericu9500/stoicheia

Skaling: Chinchilla's Exponents Meet Kaplan's Coupling

Skaling：Chinchilla的指数与Kaplan的耦合

Mathurin Videau, Badr Youbi-Idrissi, David Lopez-Paz, Kartik Ahuja

机构 * FAIR at Meta（Meta FAIR实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 针对神经缩放定律的独立假设缺陷，提出Skaling定律耦合模型容量与数据，可降低MAPE，用更少计算实现准确外推，为模型训练预算分配提供稳健框架。

Large Causal Models for Temporal Causal Discovery

大规模因果模型用于时间因果发现

Nikolaos Kougioulis, Nikolaos Gkorgkolis, MingXue Wang, Bora Caglayan, Dario Simionato, Andrea Tonon, Ioannis Tsamardinos

机构 * Institute of Applied & Computational Mathematics, FORTH（应用与计算数学研究所，希腊国家科研院） ； Computer Science Department, University of Crete（克里特大学计算机科学系） ； Huawei Ireland Research Centre（华为爱尔兰研究中心） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出大规模因果模型（LCMs），通过结合合成生成器与现实数据集，实现大规模时间因果发现，提升模型性能与泛化能力。

Comments Accepted at European Conference on Machine Learning and Knowledge Discovery in Databases (ECML PKDD) 2026. 33 pages (including Appendix), 11 Figures

Stitch and Tell: A Structured Multimodal Data Augmentation Method for Spatial Understanding

拼接与讲述：一种结构化多模态数据增强方法用于空间理解

Hang Yin, Xiaomin He, PeiWen Yuan, Yiwei Li, Jiayi Shi, Wenxiao Fan, Shaoxiong Feng, Kan Li

机构 * School of Computer Science, Beijing Institute of Technology（北京理工大学计算机科学学院） ； School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； Xiaohongshu Inc（小红书公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 Stitch and Tell通过结构化空间监督提升视觉-语言模型的空间理解能力，有效缓解空间幻觉并提高相关任务性能。

Journal ref Advances in Neural Information Processing Systems 38 (NeurIPS 2025)

τ: Learning Touch-Augmented Vision-Language-Action Models from Future Visual Supervision

τ：从未来视觉监督中学习触觉增强的视觉-语言-动作模型

Ning Cheng, Jinan Xu, Wanlin Li, Yangzhi Chen, Jing Gao, Yiqun Wang, Kelan Peng, Wenjuan Han

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 研究旨在解决学习触觉表示并应用于VLA模型的挑战，提出τ框架从未来视觉监督学习动作条件时空触觉表示，结合视觉语言特征用于动作生成，引入TacAura数据集，实验证明其性能优于现有模型且能泛化。

LoRAScan: Detecting Backdoor Prompts in Low-Rank Adapters for Large Language Models via Down-Projection Activation Spikes

LoRAScan：通过下投影激活尖峰检测大语言模型低秩适配器中的后门提示

Doniyorkhon Obidov, Honggang Yu, Xiaolong Guo, Kaichen Yang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 LoRAScan是首个无需修改适配器参数、在推理时检测并拒绝含触发词输入的适配器感知防御方法，在LLM后门基准测试中拒98.49%恶意输入，性能优于现有方法。

Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training

通过多阶段后训练实现推荐系统基础模型的渐进式对齐

Oseong Choi, Hoeinn Kim, Jihoon Lee, Byungsoo Kang, Taeyeong Jang

专题命中 指令微调 ：foundation model(title,abstract)；post-training(title,abstract)；SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出LP-FFT-RFT三阶段渐进式后训练框架，将推荐系统基础模型的下游适配与业务指标对齐分离，实验证实其能提升推荐质量。

Comments 9 pages, 3 figures. Accepted to the 20th ACM Conference on Recommender Systems (RecSys '26), Industry Track

Index SLM Technical Report

索引SLM技术报告

Tianjiao Li, Lusheng Zhang, Shien He, Xiaojing Liu, Tianxing Yan, Mengran Yu, Ziang Cui, Kai Zhao, Yang Liu, Yuxin Li

机构 * Bilibili（哔哩哔哩） 纠错

专题命中 指令微调 ：SLM(title,title_cn)；language model(abstract)；foundation model(abstract)；small language model(abstract)

AI总结 哔哩哔哩开发Index-1.9B系列小语言模型，包括基础模型等四个模型。预训练采用特定方法，Index-1.9B-Base在标准基准测试表现出色，还进行了多项控制研究，所有模型及评估代码已公开。

Comments 16 pages, 9 figures. v2: updated author list (added Yang Liu and Yuxin Li; marked core contributors and project lead) and added a release-date note on the first page

Same Answer, Different Confidence: Protocol Sensitivity in LLM Confidence Calibration

询问是不够的：LLM 置信度校准中的协议敏感性

Hankyeol Kim, Pilsung Kang

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.AI

AI总结 研究通过改变测量协议（如条件上下文、令牌读取方式）发现，LLM 的令牌概率置信度与口头置信度之间的比较高度敏感，且口头置信度不仅反映正确性还反映答案的合理性和来源。

Dual-Node NVIDIA DGX Spark over Tailscale: A Remote-Access Testbed for Distributed LLM Training and Cyber-Threat-Intelligence Fine-Tuning

基于Tailscale的双节点NVIDIA DGX Spark：用于分布式大语言模型训练和网络威胁情报微调的远程访问测试平台

Vasanth Iyer

专题命中 指令微调 ：LLM(title,abstract)；SFT(abstract,abstract_cn)；pretraining(abstract)；分类 cs.LG

AI总结 本研究展示了双节点NVIDIA DGX Spark通过Tailscale VPN实现分布式NanoChat预训练，构建网络安全微调数据集并验证其效果，同时该集群可支持研究与教学，证明适度本地基础设施的可行性。

Comments 12 pages, 3 figures, 4 tables. Deployment runbook and code: https://github.com/viyer-research/dual-dgx-spark-tailscale-testbed

TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models

TEMPO：面向视觉-语言-动作模型的语义-动作解耦强化学习后训练

Ziheng Liu, Quantao Yang

机构 * School of Computer Science and Technology, Zhejiang Gongshang University（浙江工商大学计算机科学与技术学院） ； KTH Royal Institute of Technology（瑞典皇家理工学院） 纠错

专题命中 指令微调 ：post-training(title,abstract)；SFT(abstract,abstract_cn)

AI总结 本文提出TEMPO框架，通过解耦语义投影层与动作专家采用双时间尺度RL后训练，提升VLA模型在操作任务上的性能，在基准与真实任务中均优于现有方法。

Simple-OPD: Demystifying Warm-up for On-policy Distillation

Simple-OPD：揭开策略内蒸馏的预热阶段之谜

Tao Liu, Taiqiang Wu, Mao Zheng, Xuan Luo, Runming Yang, Xuewei Yang, Junjie Wang, Yujiu Yang

机构 * Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） ； Tencent（腾讯） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.CL

AI总结 本文通过数据与训练视角研究OPD的预热阶段，发现预热依赖教师兼容CoT监督、LoRA近饱和训练优于全参数SFT，提出Simple-OPD方法并验证其有效性与鲁棒性。

Retrieval-Constrained Policy Optimization for Attack Technique Extraction from Cyber Threat Intelligence

用于从网络威胁情报中提取攻击技术的检索约束策略优化

Jiayun Zhang, Junshen Xu, Zejun Xie, Yi Fan

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 研究针对CTI文本提取MITRE ATT&CK技术的挑战，提出两阶段框架TTP-R1，在四个CTI基准测试中F1值最优，子技术级F1超带检索增强的Claude Sonnet 4.5且推理速度更快

Comments Accepted to the AI Agent for Information Retrieval (Agent4IR) Workshop at KDD 2026

Stockmark-Nemotron-3-Nano-Omni-JapanDocReader: Structured Document Parsing via Capability Injection and Forgetting Control

Stockmark-Nemotron-3-Nano-Omni-JapanDocReader：基于能力注入与遗忘控制的结构化文档解析模型

Shi Chen, Hayato Aida, Makoto Morinaga, Shohei Tanaka, Kosuke Arima

机构 * Stockmark Inc.（斯托克马克公司） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.CL

AI总结 本研究提出Stockmark-Nemotron-3-Nano-Omni-JapanDocReader模型，通过能力注入与遗忘控制优化结构化文档解析性能，结合混合SFT与DAPO式RL取得优于SFT的效果。

TEXAS: Task-Expert-Aware Supervision for Downstream Mixture-of-Experts LLM Adaptation

TEXAS：面向下游混合专家大语言模型适配的任务专家感知监督方法

Guanzhi Deng, Haibo Wang, Kuan Wu, Xiangru Jian, Shing Yin Wong, Sichun Luo, Zhuoran Wang, Linqi Song

专题命中 指令微调 ：LLM(title)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 TEXAS 是一种 MoE 大语言模型适配方法，通过对比模型成功与失败实例的专家激活发现任务专家，在微调时提升对应答案 token 权重，在多数基准测试中性能优于基线。

LoCA: Spatially-Aware Low-Rank Convolutional Adaptation of Vision Foundation Models

LoCA：视觉基础模型的空间感知低秩卷积自适应

Sojung An, Junha Lee, Sujeong You, Nam Ik Cho, Donghyun Kim

机构 * Korea University（韩国大学） ； Korea Institute of Industrial Technology（韩国产业技术研究院） ； Seoul National University（首尔国立大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究针对视觉基础模型自适应的挑战，提出低秩卷积自适应框架 LoCA，通过解耦通道与空间自适应，引入低秩通道自适应并优化空间基，在多视觉任务中保留预训练空间先验且性能优异。

Comments Accepted by ECCV 2026