语言大模型 / LLM

Pretraining large language models with MXFP4 on Native FP4 Hardware

使用MXFP4在原生FP4硬件上预训练大型语言模型

Musa Cim, Sarthak Arora, Poovaiah Palangappa, Miro Hodak, Ravi Dwivedula, Meena Arunachalam, Mahmut Taylan Kandemir

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Advanced Micro Devices, Inc.（先进微器件公司） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究发现FP4训练不稳定主要由梯度路径的结构微缩放误差引起，通过MXFP4量化在Transformer训练中的受控研究，揭示了FP4在Fprop和Dgrad中对收敛影响较小，而Wgrad量化导致收敛退化。

Program Semantic Inequivalence Game with Large Language Models

基于大语言模型的程序语义不等价博弈

Antonio Valerio Miceli-Barone, Vaishak Belle, Ali Payani

机构 * University of Edinburgh（爱丁堡大学） ； Cisco Systems（思科系统） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出基于语义不等价博弈（SInQ）的方法，通过生成器与评估器智能体半对抗训练合成代码推理数据，在跨语言漏洞检测等基准上显著提升LLMs的代码语义理解能力。

Backtrader-Bench: Benchmarking LLM Agents on Algorithmic Trading with Self-Generated MCQs

Backtrader-Bench：基于自生成多项选择题的算法交易大语言模型智能体基准测试

Ruoxi Zhao, Maziar Raissi

机构 * University of California, Riverside（加利福尼亚大学河滨分校） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI

AI总结 Backtrader-Bench是用于算法交易LLM智能体的基准框架，通过自生成MCQ解决评估难题，实验显示带工具智能体准确率显著高于无工具模型，还可生成强化学习训练语料以构建专用量化交易智能体。

Comments Accepted to the FinLLM Workshop at IJCAI 2026. Code and data: https://github.com/rzhao999/Backtrader-Bench

Continuous-Latent Predictive Modeling with Semantic Alignment for EEG-Language Foundation Models

面向EEG-语言基础模型的语义对齐连续隐式预测建模

Myeong-Ju Cho, Hye-Bin Shin, Seo-Hyun Lee, Seong-Whan Lee

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出BLPM模型，通过CELP编码器与MQSD模块对齐EEG语义，解决EEG基础模型预训练的关键挑战，在多基准任务中实现良好泛化。

Comments 19 pages, 3 figures; supplementary material included

Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus

混合线性注意力大语言模型中的大规模激活：注意力前峰值与峰间平台期

Zunhai Su, Bohan Sun, Xialie Zhuang, Shuibai Zhang, He Xiao, Jing Xiong, Hengyuan Zhang, Zhongzhu Zhou, Tiantian Zhang, Ngai Wong, Chuan-Wei Kuo

机构 * Startlux（星创公司） ； Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； The University of Hong Kong（香港大学） ； University of Sydney（悉尼大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 本研究系统揭示混合线性注意力大语言模型中大规模激活的两种形态，证实其在多架构、多配置等场景下的重复性，明确其对输出门控的响应规律及机制，为相关模型优化提供依据。

Comments Under review

An Empirical Study of Output-to-Input Loops for Black-Box Backdoor Detection in Fine-Tuned Open-Weight LLMs

针对微调开源权重大语言模型的黑盒后门检测的输出-输入循环的实证研究

Md. Nahid Hasan, Mohammad Arif Hossain

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究提出self-feeding黑盒测试方法，通过将LLM自身输出反馈为输入检测后门，在6个开源权重LLM上实现高模型级检测精度，仅需文本级查询访问即可作为模型安全的低成本初查手段。

A foundation model of numerical intelligence with cross-disciplinary generalization

具备跨学科泛化能力的数值智能基础模型

Chenghan Wu, Zongmin Yu, Liu Yang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出UNICON这一数值智能基础模型，可跨学科泛化，结合语言模型智能体后能超越训练未涉及学科的最先进专业人员，训练语料库多样性可提升泛化能力。

Is Misinformation More Open? A Study of robots.txt Gatekeeping on the Web

虚假信息是否更开放？一项关于robots.txt门禁的网络研究

Nicolas Steinacker-Olsztyn, Devashish Gosain, Ha Dao

专题命中 预训练与数据 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究发现可信网站比虚假信息网站更频繁地禁止AI爬虫，且这种差异随时间扩大，可能影响LLM训练数据和网络透明度。

Comments 10 pages, 11 figures

Journal ref In Proceedings of the ACM Web Conference 2026 (WWW 26)

Poly-Dialectal Neural Machine Translation System for Bangla Regional Dialects

孟加拉语区域方言的多方言神经机器翻译系统

Rakib Ullah, Ruhul Islam Rahul, Tanbir Ahmed

机构 * SYLHET ENGINEERING COLLEGE（锡尔赫特工程学院） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对孟加拉语方言翻译性能差的问题，本研究提出Poly-Dialectal神经机器翻译系统，构建含51531句对的最大多方言语料库，微调BanglaT5模型性能最优，还部署量化网络应用推动数字包容。

Multilingual OCR-Aware Fine-Tuning and Prompt-Guided Chain-of-Thought Reasoning for Multimodal Large Language Models

多语言OCR感知微调和提示引导的链式思维推理用于多模态大语言模型

Qinwu Xu, Yifan Jiang, Haoyu Ren

机构 * Meta AI ； UT Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 提出一种多语言OCR感知的多模态训练框架，通过合成数据生成、OCR感知微调和结构化视觉链式思维提示，提升多模态大语言模型在复杂视觉条件下的OCR完整性和多语言翻译准确性。

Conflict and Congruency Effects in Large Language Models: In-Weight and In-Context Competition in a Verbal Conflict Task

大语言模型中的冲突与一致性效应：言语冲突任务中的权重内与上下文内竞争

Xiaoyang Hu, Mike Angstadt, Shane Storks, Zan Huang, Aman Taxali, Alex Weigard, Richard L. Lewis, Chandra Sripada

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.AI

AI总结 本研究通过言语冲突任务，探究LLM中一致性效应的机制，发现其源于权重内默认映射与上下文内规则映射的竞争，为分析此类响应竞争提供了模型系统。

Comments 23 pages, 8 figures

CLAIM: Leading Open-domain Active Clarification of Large Language Models with Uncertainty Measurement

CLAIM：基于不确定性度量的大语言模型开放域主动澄清领先方案

Kuangzhao Yang, Ziliang Zhao, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出基于不确定性度量的CLAIM框架，无需人工标注，结合监督学习与强化学习训练统一澄清决策模型，实现开放域人机交互中低成本鲁棒的主动澄清。

Comments 11 pages, 4 figures, and 3 tables

Large Language Models Reproduce Racial Stereotypes When Used for Text Annotation

大型语言模型在用于文本标注时会再现种族刻板印象

Petter Törnberg

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究发现大型语言模型在文本标注中会因身份线索产生系统性偏见，再现种族刻板印象，尤其在名字相关任务中表现显著。

Comments Withdrawn by the author due to a confound in stimulus assignment that invalidates the main results; addressing it requires re-running the experiment with matched stimuli

When the API Speaks the Wrong Language: Revisiting Post-Training for Multilingual Tool Use

当API“说错”语言：重新审视多语言工具使用的后训练

Siddharth Chauhan, Thomas Butler, Abhishek Singhania, Pankaj Porwal, Honey Gupta

机构 * Amazon（亚马逊） 纠错

专题命中 指令微调 ：post-training(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对多语言API调用中存在的参数语言不匹配问题，研究发现监督微调可实现接近或优于复杂强化学习方法的性能，强化学习仅能提供渐进式改进。

Comparative Analysis of Low-Rank Adaptation in Large Language Models versus Dense Embedding Regression for Headline Click-Through Rate Prediction

用于标题点击率预测的大语言模型低秩适配（LoRA）与密集嵌入回归的对比分析

Samarth Sirsat, Anirudha Shinde, Amit Sethi, Aman Verma

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)

AI总结 本研究将标题选择建模为赢家通吃分类任务，对比发现用于标题点击率预测的密集嵌入回归模型，性能优于经LoRA微调的0.6B规模生成式语言模型，凸显了嵌入回归模型在高吞吐量内容排序中的应用潜力。

Weightless Fine-Tuning: Personalizing LLMs via Logit-Space Transport

无权重微调：通过对数几率空间迁移实现大语言模型的个性化

Bohan Zhang, Anqi Ni, Yixin Wang, Paramveer S. Dhillon

机构 * University of Michigan（密歇根大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.LG

AI总结 针对个性化场景下LLM微调成本过高的问题，提出无需权重更新的WFT方法，在LaMP基准上性能优于多数基线，仅用不到7%计算量接近SFT效果。

Omni-Persona: Systematic Benchmarking and Improving Omnimodal Personalization

Omni-Persona：系统性基准测试与改进多模态个性化

Yeongtak Oh, Dongwook Lee, Sangkwon Park, Heeseung Kim, Sungroh Yoon

机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔国立大学人工智能跨学科项目） ； Department of Artificial Intelligence, University of Seoul（首尔大学人工智能系） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 Omni-Persona提出首个多模态个性化基准，通过Persona Modality Graph任务组和细粒度任务，系统分析多模态个性化中的接地行为，提出Calibrated Accuracy评估方法，揭示开源模型在音频与视觉接地上的差距及SFT与RLVR的局限性。

Comments Project Page: https://github.com/oyt9306/Omni-Persona

VLM2Rec: Resolving Modality Collapse in Vision-Language Model Embedders for Multimodal Sequential Recommendation

VLM2Rec: 解决视觉语言模型嵌入器在多模态序列推荐中的模态崩溃问题

Junyoung Kim, Woojoo Kim, Wonbin Kweon, Jaehyung Lim, Dongha Kim, Hwanjo Yu

机构 * Pohang University of Science 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI

AI总结 本文提出VLM2Rec框架，通过弱模态惩罚对比学习和跨模态关系拓扑正则化，解决多模态序列推荐中模态崩溃问题，提升推荐准确性和鲁棒性。

RedditPersona: A Modular Framework for Community-Conditioned LLM Adaptation from Reddit

RedditPersona: 一个用于从Reddit进行社区条件化LLM适配的模块化框架

Amirhossein Ghaffari, Ali Goodarzi, Huong Nguyen, Simo Hosio, Lauri Lovén, Ekaterina Gilman

机构 * Future Computing Group University of Oulu（未来计算组奥卢大学） ； Centre for Applied Computing University of Oulu（应用计算中心奥卢大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出RedditPersona模块化框架，通过五种分组策略和QLoRA训练参数高效适配器，在112个Reddit子版块上评估社区条件化语言模型，发现适配器的行为可识别性与策略内在一致性相关，且所有策略在可识别性和分布相似性之间存在一致权衡。

Comments Accepted manuscript (CC BY 4.0). To appear in ACM CIKM 2026, Rome, Italy, Nov 7-11, 2026. DOI: https://doi.org/10.1145/3799682.3840182

LoRAQuant: Mixed-Precision Quantization of LoRA to Ultra-Low Bits

LoRAQuant：将LoRA混合精度量化至超低比特

Amir Reza Mirzaei, Yuqiao Wen, Yanshuai Cao, Lili Mou

机构 * Dept. Computing Science & Alberta Machine Intelligence Institute (Amii), University of Alberta（计算科学系及阿尔伯塔人工智能研究所（Amii），阿尔伯塔大学） ； RBC Borealis ； Canada CIFAR AI Chair（加拿大CIFAR人工智能 chair） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对多LoRA适配器规模化部署的高存储成本问题，提出专为LoRA定制的混合精度后训练量化方法LoRAQuant，在LLaMA 2、Mistral模型的多任务上，以更低比特实现了相当或更优性能。

Backdoor Decontamination Dynamics in LLM Agents

大语言模型智能体中的后门净化动力学

Gabriel Huang, Abhay Puri, Léo Boisvert, Alexandre Drouin, Perouz Taslakian, Spandana Gella, Christopher Pal

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.AI

AI总结 本研究针对大语言模型智能体的后门问题，提出框架研究净化动力学，发现防御性投毒加遗忘可高效擦除多数后门，中间层仍留触发器感知痕迹。

Retrofitting Recurrent Depth into a Pretrained Language Model: Installation, Extrapolation, Transfer, and Retention at Two Parameter Budgets

将循环深度改造融入预训练语言模型：在两个参数预算下的安装、外推、迁移与保留

Mark Shapiro

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究在Qwen2.5-0.5B-Instruct中融入循环深度，在两个参数预算下实现安装，其模型在ARC测试集等任务上性能优于同等规模基准，可外推至1.5倍监督深度，推理速度更快。

Is Convergence Inevitable? Tracing Output Homogeneity Back to Base Models

收敛是不可避免的吗？将输出同质性追溯至基础模型

Alexandrine Fortier, Hazel Chen, Peter West

机构 * University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；pretraining(abstract)；prompting(abstract)；分类 cs.CL

AI总结 该研究指出大语言模型的语义收敛或源于预训练目标，仅靠对齐后干预难缓解，通过实验证实基础模型可被提示诱导类指令式坍缩。

On-Policy Self-Distillation for Multi-Dialect ASR: Mastering Dialects, Retaining Mandarin

面向多方言自动语音识别的策略内自蒸馏：掌握方言，保留普通话

Shuiyuan Wang, Bingshen Mu, Pengshen Zhang, Chengyou Wang, Yujie Liao, Chengdong Liang, Binbin Zhang, Qiangze Feng, Lei Xie

专题命中 指令微调 ：SFT(summary_cn,abstract)

AI总结 本研究针对ASR模型方言识别效果有限且直接适配易降低普通话准确率的问题，提出策略内自蒸馏（OPSD）方法，结合CPT、SFT优化Qwen3-ASR-1.7B，在不降低普通话识别能力的同时提升了多方言识别效果。

Two block gluing constructions

两个块粘合构造

Ville Salo, Ilkka Törmä

专题命中 指令微调 ：SFT(summary_cn,abstract)

AI总结 针对二维SFT的块粘合问题，构造了介于指数和对数之间的块粘合函数，并构造了一个熵维数为1的非周期线性块粘合二维SFT，解决了相关开放问题。

Comments 30 pages, 11 figures

Market-Information-Aware Gated-LoRA of Foundation Models for Transferable Day-Ahead Electricity Price Forecasting

面向可迁移日前电价预测的、融合市场信息的基础门控低秩适配（Gated-LoRA）模型

Hang Fan, Wei Wei, Shengwei Mei

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出融合市场信息的Gated-LoRA框架，将Chronos-2模型迁移至日前电价预测，经中国四省现货市场验证，可显著降低预测误差，为数据稀缺电力市场提供迁移方案。

Rethinking Language Model-Based Generative Speech Enhancement in the Latent Space of a Neural Audio Codec

在神经音频编解码器的隐空间中重新思考基于语言模型的生成式语音增强

Yihui Fu, Zhengyang Li, Tim Fingscheidt

专题命中 指令微调 ：language model(title,abstract)

AI总结 本文提出涵盖六种基于LM的生成式SE范式的统一框架，对比其性能并提出辅助损失微调策略，发现连续域范式优于离散域，CNAR效果最佳且微调策略可提升多指标。

Comments Accepted at IWAENC 2026

Simulating Ionic Liquid Fragmentation in Electrospray Thrusters with Foundation Models

用基础模型模拟电喷推进器中的离子液体碎片化

Ziyu Huang

专题命中 指令微调 ：foundation model(title,abstract)

AI总结 该研究针对电喷推进器离子液体撞击模拟的成本与保真度矛盾，测试MACE系列预训练机器学习势，发现其兼顾类DFT保真度与低成本，为推进器模拟提供了实用中间方案。

Comments 19 pages, 6 figures

Ortho2CAD: 3D CAD generation from orthographic drawings using vision language models

Ortho2CAD：使用视觉语言模型从正投影图生成3D CAD

Aditya Joglekar, Amit Regmi, Kenji Shimada, Levent Burak Kara

专题命中 指令微调 ：language model(title,abstract)

AI总结 研究旨在解决工程设计中从正投影图到3D CAD模型转换的问题，核心方法是利用视觉语言模型Ortho2CAD，通过监督微调与强化学习训练，借助绘图生成器实现大规模学习，主要贡献是代码有效率高且3D CAD精度超基线。

ScreenShot: A Foundation Model for Few-Shot Combination Drug Screening

ScreenShot：用于少样本组合药物筛选的基础模型

Antoine de Mathelin, Christopher Tosh, Wesley Tansey

机构 * Computational Oncology（计算肿瘤学） ； Memorial Sloan Kettering Cancer Center（纪念斯隆-凯特琳癌症中心） 纠错

专题命中 指令微调 ：foundation model(title)；分类 cs.LG

AI总结 本研究提出用于少样本组合药物筛选的基础模型ScreenShot，其经多药物筛选数据集预训练，可通过上下文学习直接预测患者样本的组合疗法响应，在预留数据集上优于基线，还可驱动主动学习策略以降低实验预算。