语言大模型 / LLM

Pretraining large language models with MXFP4 on Native FP4 Hardware

使用MXFP4在原生FP4硬件上预训练大型语言模型

Musa Cim, Sarthak Arora, Poovaiah Palangappa, Miro Hodak, Ravi Dwivedula, Meena Arunachalam, Mahmut Taylan Kandemir

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Advanced Micro Devices, Inc.（先进微器件公司） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究发现FP4训练不稳定主要由梯度路径的结构微缩放误差引起，通过MXFP4量化在Transformer训练中的受控研究，揭示了FP4在Fprop和Dgrad中对收敛影响较小，而Wgrad量化导致收敛退化。

Program Semantic Inequivalence Game with Large Language Models

基于大语言模型的程序语义不等价博弈

Antonio Valerio Miceli-Barone, Vaishak Belle, Ali Payani

机构 * University of Edinburgh（爱丁堡大学） ； Cisco Systems（思科系统） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出基于语义不等价博弈（SInQ）的方法，通过生成器与评估器智能体半对抗训练合成代码推理数据，在跨语言漏洞检测等基准上显著提升LLMs的代码语义理解能力。

A foundation model of numerical intelligence with cross-disciplinary generalization

具备跨学科泛化能力的数值智能基础模型

Chenghan Wu, Zongmin Yu, Liu Yang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出UNICON这一数值智能基础模型，可跨学科泛化，结合语言模型智能体后能超越训练未涉及学科的最先进专业人员，训练语料库多样性可提升泛化能力。

Is Misinformation More Open? A Study of robots.txt Gatekeeping on the Web

虚假信息是否更开放？一项关于robots.txt门禁的网络研究

Nicolas Steinacker-Olsztyn, Devashish Gosain, Ha Dao

专题命中 预训练与数据 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究发现可信网站比虚假信息网站更频繁地禁止AI爬虫，且这种差异随时间扩大，可能影响LLM训练数据和网络透明度。

Comments 10 pages, 11 figures

Journal ref In Proceedings of the ACM Web Conference 2026 (WWW 26)

Multilingual OCR-Aware Fine-Tuning and Prompt-Guided Chain-of-Thought Reasoning for Multimodal Large Language Models

多语言OCR感知微调和提示引导的链式思维推理用于多模态大语言模型

Qinwu Xu, Yifan Jiang, Haoyu Ren

机构 * Meta AI ； UT Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 提出一种多语言OCR感知的多模态训练框架，通过合成数据生成、OCR感知微调和结构化视觉链式思维提示，提升多模态大语言模型在复杂视觉条件下的OCR完整性和多语言翻译准确性。

Large Language Models Reproduce Racial Stereotypes When Used for Text Annotation

大型语言模型在用于文本标注时会再现种族刻板印象

Petter Törnberg

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究发现大型语言模型在文本标注中会因身份线索产生系统性偏见，再现种族刻板印象，尤其在名字相关任务中表现显著。

Comments Withdrawn by the author due to a confound in stimulus assignment that invalidates the main results; addressing it requires re-running the experiment with matched stimuli

Omni-Persona: Systematic Benchmarking and Improving Omnimodal Personalization

Omni-Persona：系统性基准测试与改进多模态个性化

Yeongtak Oh, Dongwook Lee, Sangkwon Park, Heeseung Kim, Sungroh Yoon

机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔国立大学人工智能跨学科项目） ； Department of Artificial Intelligence, University of Seoul（首尔大学人工智能系） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 Omni-Persona提出首个多模态个性化基准，通过Persona Modality Graph任务组和细粒度任务，系统分析多模态个性化中的接地行为，提出Calibrated Accuracy评估方法，揭示开源模型在音频与视觉接地上的差距及SFT与RLVR的局限性。

Comments Project Page: https://github.com/oyt9306/Omni-Persona

VLM2Rec: Resolving Modality Collapse in Vision-Language Model Embedders for Multimodal Sequential Recommendation

VLM2Rec: 解决视觉语言模型嵌入器在多模态序列推荐中的模态崩溃问题

Junyoung Kim, Woojoo Kim, Wonbin Kweon, Jaehyung Lim, Dongha Kim, Hwanjo Yu

机构 * Pohang University of Science 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI

AI总结 本文提出VLM2Rec框架，通过弱模态惩罚对比学习和跨模态关系拓扑正则化，解决多模态序列推荐中模态崩溃问题，提升推荐准确性和鲁棒性。

RedditPersona: A Modular Framework for Community-Conditioned LLM Adaptation from Reddit

RedditPersona: 一个用于从Reddit进行社区条件化LLM适配的模块化框架

Amirhossein Ghaffari, Ali Goodarzi, Huong Nguyen, Simo Hosio, Lauri Lovén, Ekaterina Gilman

机构 * Future Computing Group University of Oulu（未来计算组奥卢大学） ； Centre for Applied Computing University of Oulu（应用计算中心奥卢大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出RedditPersona模块化框架，通过五种分组策略和QLoRA训练参数高效适配器，在112个Reddit子版块上评估社区条件化语言模型，发现适配器的行为可识别性与策略内在一致性相关，且所有策略在可识别性和分布相似性之间存在一致权衡。

Comments Accepted manuscript (CC BY 4.0). To appear in ACM CIKM 2026, Rome, Italy, Nov 7-11, 2026. DOI: https://doi.org/10.1145/3799682.3840182

LoRAQuant: Mixed-Precision Quantization of LoRA to Ultra-Low Bits

LoRAQuant：将LoRA混合精度量化至超低比特

Amir Reza Mirzaei, Yuqiao Wen, Yanshuai Cao, Lili Mou

机构 * Dept. Computing Science & Alberta Machine Intelligence Institute (Amii), University of Alberta（计算科学系及阿尔伯塔人工智能研究所（Amii），阿尔伯塔大学） ； RBC Borealis ； Canada CIFAR AI Chair（加拿大CIFAR人工智能 chair） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对多LoRA适配器规模化部署的高存储成本问题，提出专为LoRA定制的混合精度后训练量化方法LoRAQuant，在LLaMA 2、Mistral模型的多任务上，以更低比特实现了相当或更优性能。

Two block gluing constructions

两个块粘合构造

Ville Salo, Ilkka Törmä

专题命中 指令微调 ：SFT(summary_cn,abstract)

AI总结 针对二维SFT的块粘合问题，构造了介于指数和对数之间的块粘合函数，并构造了一个熵维数为1的非周期线性块粘合二维SFT，解决了相关开放问题。

Comments 30 pages, 11 figures

Ortho2CAD: 3D CAD generation from orthographic drawings using vision language models

Ortho2CAD：使用视觉语言模型从正投影图生成3D CAD

Aditya Joglekar, Amit Regmi, Kenji Shimada, Levent Burak Kara

专题命中 指令微调 ：language model(title,abstract)

AI总结 研究旨在解决工程设计中从正投影图到3D CAD模型转换的问题，核心方法是利用视觉语言模型Ortho2CAD，通过监督微调与强化学习训练，借助绘图生成器实现大规模学习，主要贡献是代码有效率高且3D CAD精度超基线。

Logit-Boundary Geometric Belief Interfaces and Sparse Sheaf-Enclave Protocols: A Self-Contained Substrate for Secure Network Electronic Health Record (EHR) Interoperability

Logit边界几何置信接口与稀疏层束 enclaves 协议：安全网络电子健康记录（EHR）互操作性的自包含底层架构

Alvin Spivey, Yu Huang

机构 * Light Imaging Technologies, Inc.（光成像技术公司） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 该研究提出Logit边界几何置信接口与稀疏层束 enclaves 协议，构建EHR互操作的自包含底层架构，经GBI BoundaryBench v0.1评估，Qwen3-4B-Instruct-2507在该接口下无符合要求的输出，为接受边界提供实证证据。

Comments 39 pages; executable Julia verification code included as ancillary material; companion public benchmark: https://github.com/AlvinSpivey/GBI-BoundaryBench

Reference-Free Post-Training of Open Large Language Models for Multilingual Machine Translation

面向多语言机器翻译的开源大语言模型无参考后训练

Chris Han, Pengzhi Gao, Pei Fu, Jian Luan

机构 * Xiaomi Inc.（小米公司） 纠错

专题命中 后训练与偏好优化 ：SFT(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)

AI总结 该研究针对多语言机器翻译，以开源大语言模型为对象，采用GRPO算法结合无参考质量评估奖励，通过检查点插值得到MiLMMT-46-v1.0，其翻译质量优于SFT模型及多款开源基线，在无参考评分上领先于谷歌翻译等专有系统，还发布了相关模型与代码。

A-3PO: Accelerating Asynchronous LLM Training with Staleness-aware Proximal Policy Approximation

A-3PO：通过意识滞后的近端策略优化加速异步大语言模型训练

Xiaocan Li, Shiliang Wu, Zheng Shen

机构 * Huawei Canada（华为加拿大） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 A-3PO通过近似近端策略优化方法，减少大语言模型异步训练中的计算开销，实现1.8倍的加速同时保持性能

Mind the Gap: Structure-Aware Consistency in Preference Learning

注意间隙：在偏好学习中的结构感知一致性

Mehryar Mohri, Yutao Zhong

机构 * Google Research（谷歌研究） ； Courant Institute of Mathematical Sciences（数学科学学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出结构感知H一致性框架，通过引入SA-DPO目标函数，改进偏好学习中的一致性问题，证明重尾 surrogate 在容量受限模型中具有更好的一致性保证。

Comments ICML 2026

Post-Training with Policy Gradients: Optimality and the Base Model Barrier

训练后使用策略梯度：最优性和基础模型障碍

Alireza Mousavi-Hosseini, Murat A. Erdogdu

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了训练后使用策略梯度方法在序列预测中的最优性和基础模型限制，提出通过过程奖励模型克服支持范围障碍，并展示了自适应学习率的SGD和PG在统计学习和在线学习中的有效性。

Comments 39 pages, 2 figures. Published at the International Conference on Machine Learning (ICML) 2026

Learning Preference Adaptation for Large Language Model Personalization via Verbal Reinforcement Learning

通过语言强化学习实现大语言模型个性化的偏好适配学习

Yuting Liu, Wei Wu, Jianzhe Zhao, Guibing Guo

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 本研究针对LLM个性化中通用偏好摘要冗余问题，提出无训练元学习框架AlignXada，经语言强化学习优化后在多任务多模型上提升性能且适配效果优于RAG。

Credo: Declarative Control of LLM Pipelines via Beliefs and Policies

Credo：通过信念和策略实现LLM流水线的声明式控制

Duo Lu, Andrew Crotty, Uğur Çetintemel

机构 * Brown University（布朗大学） ； Northwestern University（西北大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出Credo，通过声明式策略和信念管理LLM流水线的决策，实现可适应、可审计和可组合的执行。

Comments VLDB 2026 (Demo)

RoboHarness: A Memory-Augmented Policy Harness for Vision-Language-Action Model Robustness via In-Context Adaptation

SOMA：通过上下文适应提升视觉-语言-动作模型鲁棒性的战略编排与内存增强系统

Zhuoran Li, Zhiyang Li, Kaijun Zhou, Jinyu Gu

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 SOMA通过对比双记忆检索增强生成（RAG）、归因驱动大语言模型（LLM）编排器和可扩展模型上下文协议（MCP）干预，提升视觉-语言-动作模型在分布外任务中的鲁棒性，实验表明其在长周期任务链中提升了89.1%的绝对成功率。

Comments 8 pages, 10 figures, 4 tables. Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026). Project page and source code: https://github.com/LZY-1021/RoboHarness

ATMA: Long-Context Language Modeling via Polar Attention and Gated-Delta Compression Memory

ATMA: 通过极坐标注意力与门控-增量压缩记忆实现长度不变的语言建模

Habibullah Akbar

机构 * Kreasof AI 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出ATMA混合卷积-注意力架构，通过极坐标注意力三通道分解和门控-增量递归压缩记忆，解决长上下文语言建模中注意力稀释和性能崩溃问题，实现训练长度32倍外推下90%以上检索准确率和单调递减困惑度。

Patch-based Memory Gate Model in Time Series Foundation Model

MOMEMTO：基于补丁的记忆门模型在时间序列基础模型中的应用

Samuel Yoon, Jongwon Kim, Juyoung Ha, Young Myoung Ko

机构 * Pohang University of Science and Technology（浦项科学技术大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.LG

AI总结 MOMEMTO通过基于补丁的记忆模块改进时间序列基础模型，有效缓解过度泛化问题，提升异常检测性能，尤其在少样本学习中表现突出。

Comments Published in Transactions on Machine Learning Research (TMLR), 2026

Journal ref Transactions on Machine Learning Research (TMLR), 2026

MMLA: How Memory Lets the Past Shape the Future

内存管理的长上下文注意力：可编辑请求局部记忆的初步研究

Junyi Zou, Avrova Donz

机构 * Zjydiary（智纪日记） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 提出一种混合架构，将快速循环或稀疏骨干与可编辑的请求局部记忆槽和查询时稀疏回退相结合，以解决长上下文模型中的记忆写入、覆盖和抗污染问题。

Comments 16 pages, 11 figures, 5 tables. Substantially rewritten v3: retitled and reframed as MMLA; adds an eventized architecture, trusted row assembly, hard atomic overwrite/NULL, claim-evidence mapping, PM-I2 negative results, stop rules, and a conditional roadmap. Preserves the original Llama budget-gate failure. Project: https://github.com/MMLA-org/mmla-memory

Social Meaning in Large Language Models: Structure, Magnitude, and Pragmatic Prompting

大语言模型中的社会意义：结构、规模与语用提示

Roland Mühlenbernd

机构 * Leibniz-Centre General Linguistics, Berlin, Germany（莱布尼茨普通语言学中心，柏林，德国） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；LLM(abstract_cn)

AI总结 本文研究大语言模型在社会意义上的表现，提出两种校准指标并探讨语用理论指导的提示策略对模型校准的影响，发现提示策略能有效减少模型在规模校准上的偏差。

Journal ref Proceedings of the 15th Workshop on Cognitive Modeling and Computational Linguistics (CMCL) @ LREC 2026, pages 162-171

Evaluation and Hardening of LLM System Instructions Against Extraction via Encoding Attacks

用于评估和加固LLM系统指令对抗编码攻击的自动化框架

Anubhab Sahu, Diptisha Samanta, Reza Soosahabi

机构 * Keysight Technologies 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出自动化框架评估LLM系统指令在对抗编码攻击时的保密性，通过四个模型和46条指令测试发现结构化序列化攻击成功率高，提出基于Chain-of-Thought的缓解策略。

Comments An earlier version of this manuscript will appear in the proceedings of IEEE Cyber-AI 2026 Conference. Project source code is available at https://github.com/Keysight/LLM-EncodeGuard

From Reasoning Depth to Reasoning Breadth: Evaluating Multi-Point Associative Reasoning in Large Language Models

从推理深度到推理广度：评估大型语言模型中的多点关联推理

Si'an Xie, Jiaxun Liu, Biao Yang, Wei Yuan, Fan Yang, Tingting Gao, Ming Wu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Peking University（北京大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究构建了中英双语多点关联推理基准MPAR-Bench，发现大型语言模型的推理深度未自动带来稳健的推理广度，当前基准未充分覆盖推理广度。

A Reality Check of Language Models as Formalizers on Constraint Satisfaction Problems

语言模型作为形式化工具在约束满足问题上的现实检验

Rikhil Amonkar, Ceyhun Efe Kayan, Qimei Lai, Ronan Le Bras, Li Zhang

机构 * Drexel University（德雷塞尔大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 研究评估了语言模型作为形式化工具在约束满足问题中的表现，发现其在15种模型-数据集组合中表现劣于作为求解器，尽管形式化更具可验证性和可解释性。

Enhancing Linux Privilege Escalation Attack Capabilities of Local LLM Agents

增强本地大语言模型代理的Linux提权攻击能力

Benjamin Probst, Andreas Happe, Jürgen Cito

机构 * TU Wien（维也纳技术大学） 纠错

专题命中 推理与问题求解 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文研究通过系统性实验验证针对性干预能否提升本地开源模型在Linux提权中的性能，发现开源模型可匹配甚至超越云模型，且反思类干预效果最佳，但漏洞发现仍是本地模型的瓶颈。

Comments Accepted at RAISE workshop (https://raise-workshop.github.io/)

Optimize Cheap, Deploy Strong: Cost-Aware Cross-Tier Transfer for Evolutionary Optimization

优化低成本部署强模型：面向进化优化的成本感知跨层迁移

Tal Oved, Roi Pony, Oshri Naparstek, Udi barzelay

机构 * IBM Research（IBM研究院） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出成本感知跨层迁移方法，解耦LLM角色，在低成本层级完成大部分搜索，跨层部署提示词，在多任务多模型上实现成本大幅降低且性能不劣于同层级优化。

ForgeryVCR: Visual-Centric Reasoning via Efficient Forensic Tools in MLLMs for Image Forgery Detection and Localization

ForgeryVCR: 通过高效的取证工具在MLLMs中实现视觉中心推理用于图像伪造检测与定位

Youqi Wang, Shen Chen, Haowei Wang, Rongxuan Peng, Taiping Yao, Shunquan Tan, Changsheng Chen, Bin Li, Shouhong Ding

机构 * Shenzhen University（深圳大学） ； Tencent Youtu Lab（腾讯优图实验室） 纠错

专题命中 推理与问题求解 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 ForgeryVCR通过高效的取证工具实现视觉中心推理，提升图像伪造检测与定位的性能。