语言大模型 / LLM

Agora: Collective and Permissionless Internet-Scale Pretraining of Large Language Models

Agora：大规模语言模型的集体无许可互联网规模预训练

Gil Avraham, Violetta Shevchenko, Hadi Mohaghegh Dolatabadi, Karol Pajak, James Snewin, Harry Xi, Rodney O'Donnell, Thalaiyasingam Ajanthan, Sameera Ramasinghe, Chamin Hewa Koneputugodage, Shamane Siriwardhana, Alexander Long

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 研究旨在解决大语言模型训练资源受限问题，提出Agora系统，通过互联网级链路的带宽高效流水线并行模型分片与多方容错集体操作相结合，实现集体训练、集体所有模型，首次展示Pluralis - 8B预训练，效率达集中式基线63%。

EXPLORE: Exploration with Guided Search for Analog Topology Generation using Language Models

EXPLORE：使用语言模型进行引导搜索以生成模拟拓扑结构

Guanglei Zhou, Chen-Chia Chang, Yikang Shen, Jonathan Ku, Isaac Jacobson, Jingyu Pan, Yiran Chen, Xin Zhang

机构 * Duke University（杜克大学） ； MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室） ； IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文针对自动化模拟电路拓扑设计难题，提出EXPLORE框架，集成模拟器引导蒙特卡罗树搜索与基于变压器的解码，利用语言模型先验优化搜索，在6组件基准测试中显著提升成功率、降低均方误差，推动LLM驱动设计自动化。

Comments MLCAD 26' accepted

Where Does the Noise Come From? A Variance-Components Decomposition of Non-Determinism in LLM Brand Answers

噪声从何而来？大语言模型品牌答案中非确定性的方差成分分解

Dmitrij Żatuchin

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究大语言模型品牌答案中非确定性的来源，通过交叉随机效应分解将响应级品牌结果总方差分为提示内重采样等四个来源，应用于多语言多模型语料库，发现查询语言是最大方差来源，跨语言和模型能提升可靠性而非重复提示。

Comments 18 pages, 6 tables, 3 code listings

M3F-UAV: A Missing-Modality Multimodal Foundation Model for Low-Altitude Wireless Sensing

M3F-UAV：一种用于低空无线传感的缺失模态多模态基础模型

Pengxuan Gao, Kai Ying, Botao Wu, Jianhua Mo, Qingsong Wen

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 针对复杂环境下单模态模型可靠性低的问题，提出M3F-UAV模型，通过特定模态预训练特征提取器、跨模态融合及缺失模态感知预训练，从多观测中学习统一表示，在LAMBDA数据集实验中性能优于单模态基线且在缺失模态下稳健。

Fine-Grained Vision-Language Pretraining with Organ-Conditioned Pattern Tokens for CT Understanding

用于CT理解的基于器官条件模式令牌的细粒度视觉语言预训练

Guoliang You, Xiaomeng Chu

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 研究从CT扫描和报告进行视觉语言预训练的难题，提出OCP-CT框架，通过保留全局对比分支、引入器官模式接口等方法，在公开基准上实现零样本异常诊断，相比先前结果有显著AUROC增益。

Comments 9 pages, 4 figures

Hindcast: Replaying Prediction Markets to Evaluate LLM Forecasters

回溯：重放预测市场以评估大语言模型预测器

Xiao Ye, Jacob Dineen, Evan Zhu, Shijie Lu, Kevin Song, Ben Zhou

机构 * School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院） 纠错

专题命中 预训练与数据 ：LLM(title)；分类 cs.CL

AI总结 研究针对大语言模型预测器评估中答案泄露问题，提出Hindcast方法，通过设定特定过去日期评分，重放预测市场与Reddit快照，让模型读取特定时间前帖子并评分，解决泄露问题，且能随模型改进在新市场重新评估，明确检索在不同情况的作用。

Leveraging unlabelled data for generalizable neural population decoding

利用未标记数据进行可泛化的神经群体解码

Ximeng Mao, Nanda H. Krishna, Avery Hee-Woon Ryoo, Matthew G. Perich, Guillaume Lajoie

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 研究利用未标记数据进行可泛化神经群体解码的问题，提出MOJO训练框架，联合自监督学习与监督学习目标，在多数据集上评估，结果显示该框架能提升性能、产生更具可解释性表示且可推广到其他神经模态。

Personalizing Incremental Video Search with Hybrid Text and ID Embeddings

使用混合文本和ID嵌入个性化增量视频搜索

Vivek Kanojiya, Vishalaksh Aggarwal, Daeho Baek, Lyndon Kennedy, Xuetao Yin

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)

AI总结 研究针对增量视频搜索中意图不明的问题，提出结合语义与协作信号的个性化系统。通过学习文本和ID嵌入空间构建用户表示，注入相似度到排名器。实验表明离线提升了NDCG@10和MRR，在线提高了点击率、转化率和排名位置，还分析了嵌入权衡与质量。

Comments Accepted to the Industry Track of the 20th ACM Conference on Recommender Systems (RecSys 2026)

Executable JavaScript as a Checkable Specification Language: A JS-SAM Case Study on SysMoBench

可执行JavaScript作为一种可检查的规范语言：关于SysMoBench的JS-SAM案例研究

Jean-Jacques Dubray

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 研究大语言模型用不同语言为真实系统写规范的情况，以SysMoBench为平台，通过添加JS-SAM进行控制比较，涵盖多个模型和系统，发现一致性是区分模型关键，规范契约决定保真度，最小契约有转录无语义推导，将可执行JavaScript作为规范基础作案例研究。

Comments 34 pages, 9 tables, no figures. Code, trace corpora, and replication guide: https://github.com/jdubray/SysMoBench-1 (branch js-sam-tla-phase3) . Companion study on a production payment system: arXiv:2607.05076

UTS at ELOQUENT 2026 Voight-Kampff: structural shifts in AI writing bypass state-of-the-art detectors

UTS在2026年ELOQUENT Voight-Kampff中的表现：人工智能写作中的结构转变绕过了最先进的检测器

Dima Galat, Marian-Andrei Rizoiu

机构 * University of Technology Sydney, Australia（澳大利亚技术大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究语言模型逃避攻击在对抗性微调中的情况，利用检测器漏洞不对称性，引入新攻击家族，其愚弄率更高且能保持自然度，实验表明现有对策无效，揭示检测器在结构分布外转变下有持续漏洞并助力竞赛表现。

Comments CLEF2026, ELOQUENT2026

Can an Old Dog Be Taught New Tricks? Taking LLMs Beyond Sentence Level Translation

老狗能学新把戏吗？让大语言模型超越句子级翻译

Alaina Brandt

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 探讨能否让大语言模型超越逐句翻译范式，提出基于RAG的PAT系统，通过与语料库结合让大语言模型进行全文翻译生成草稿，经评估发现其能朝重新表述发展，但提升重新表述有效性仍需更多工作，还讨论了相关设计与评估等要点。

Comments Accepted for publication in HCI International 2026, Late Breaking Papers Proceedings, Springer LNCS

The Hyperspherical Geometry of CLIP Latent Space: A Semantic Mixture Model

CLIP 潜在空间的超球面几何：一种语义混合模型

Zijie Yu, Gaowen Liu, Ramana Rao Kompella, Philip S. Yu, Yue Song

机构 * Tsinghua University（清华大学） ； Cisco Research（思科研究院） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 研究 CLIP 潜在空间，提出基于冯·米塞斯-费舍尔分布混合的密度模型，用期望最大化算法学习，实现准确可解释的密度估计，改善长尾和分布外检测，建立几何一致的概率框架。

Comments 23 pages, 8 figures

Local Redundancy: An Information-Theoretic Measure of Plasticity from Synthetic Memorization

局部冗余：一种基于合成记忆的可塑性信息论度量

Jiaxuan Cheng

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 研究神经网络可塑性度量，引入基于通用压缩理论的局部冗余，将其定义为局部模型族最坏情况冗余，证明期望平方梯度范数可作下界，实验表明该度量比现有方法更能预测下游性能并助于预训练检查点选择。

Comments 13 pages, 7 figures. ICML 2026 (Spotlight)

A Masked Autoencoder Approach to Unsupervised Steel Surface Defect Recognition

一种用于无监督钢表面缺陷识别的掩码自动编码器方法

Shrey Patel

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 针对钢表面缺陷识别中标记数据稀缺问题，采用基于Transformer的掩码自动编码器，通过随机掩码部分图像块让轻量级解码器重建，联合辅助缺陷定位目标训练编码器，聚类预训练编码器特征，取得较高匹配准确率。

Rethinking Speech Foundation Model Fine-tuning: Better SFT or Better Match?

重新思考语音基础模型微调：更好的监督微调还是更好的匹配？

Wangjin Zhou, Yizhou Zhang, Yichi Wang, Tatsuya Kawahara

机构 * Graduate School of Informatics, Kyoto University（京都大学信息学研究生院） 纠错

专题命中 指令微调 ：SFT(title,summary_cn)；foundation model(title)

AI总结 研究语音基础模型微调，通过对3个SUPERB分类任务、9个预训练检查点的8种SFT变体进行系统研究，发现SFT结果强烈依赖预训练实例，顶级SFT方法常因检查点而异，下游增益多为实例和种子依赖的匹配，非普遍性能提升。

Comments Accept by Interspeech 2026

How Well Can Frontier Large Language Models Generate Structures? High Quality Prediction of Molecular Geometries with Help from Fine-Tuning

前沿大语言模型在生成结构方面表现如何？通过微调实现分子几何结构的高质量预测

Joseph M. Cavanagh, Jonathan B. Arnold, Giovanni Battista Alteri, Andrew Gritsevskiy, Teresa Head-Gordon

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 研究探索大语言模型用于学习分子几何结构语言的微调方法，利用笛卡尔坐标或Z矩阵微调，能准确预测小分子平衡结构等，Z矩阵效果更好，且混入自然语言对微调可增强预测能力并保留预训练语言能力。

When Rubrics Change: Cross-Rubric Generalization for Critical Thinking Essay Scoring

当评分标准改变时：批判性思维作文评分的跨评分标准泛化

Nischal Ashok Kumar, Payu Wittawatolarn, Sana Kang, Marisa C. Peczuh, Blair Lehman, Ryan Baker, Caitlin Mills, Sherry Lachman, Ruochen Sun, Andrew Lan

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； University of Minnesota（明尼苏达大学） ； Brighter Research（更光明研究公司） ； Adelaide University（阿德莱德大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究跨评分标准泛化问题，采用含评分标准无关中间表示和目标作文监督的大语言模型微调框架，在增强数据集上实验，结果表明基于特征的中间结构和受控监督可提升对未见过评分标准的泛化能力。

Comments Published in AI for Education Day at SIGKDD 2026

The Perplexity Trap: When Patent Law Makes Human Writing Look Like AI

困惑陷阱：专利法何时让人类写作看起来像人工智能

Anubhab Banerjee

机构 * European Patent Office（欧洲专利局） 纠错

专题命中 指令微调 ：LLM(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对专利法下筛选疑似人工智能生成专利文本的难题，在消费级硬件条件下用多种策略进行基准测试，发现现有检测器误报率高，问题是结构性的，提出七特征语言复杂性逻辑回归方法，提升了准确率。

Journal ref Proceedings of the ICML 2026 Workshop on AI4Law

S-squared-VLA: Decoupling Semantic and Spatial Streams in Vision-Language-Action Models for Autonomous Driving

S平方-VLA：自动驾驶视觉-语言-动作模型中语义与空间流的解耦

Jianguo Yu, Rukang Wang, Duanfeng Chu, Chen Wang, Renju Feng, Liping Lu

机构 * School of Mechanical and Electronic Engineering, Wuhan University of Technology（武汉理工大学机电工程学院） ； Intelligent Transportation Systems Research Center, Wuhan University of Technology（武汉理工大学智能交通系统研究中心） ； School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院） 纠错

专题命中 指令微调 ：language model(abstract)；SFT(abstract)

AI总结 研究针对自动驾驶中视觉语言模型生成低级控制动作的局限，提出S平方-VLA解耦语义和空间流，语义流用于意图推理，空间流保留空间特征并赋予先验，双流规划适配器融合二者，在基准测试中取得新的最先进水平，优于基线。

Screening of Biosecurity Features in Metagenomic Data with Evo 2 Probes

使用Evo 2探针筛选宏基因组数据中的生物安全特征

Jeremy Guntoro, Alexander Dack, Dylan Danno, Michaela Jančovičová, Križan Jurinović, Vanessa Smilansky

机构 * Department of Bioengineering, Imperial College London（帝国理工学院生物工程系） ； John Innes Centre（约翰·英尼斯研究中心） ； Independent Research Scientist（独立研究者） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 研究利用Evo 2探针在宏基因组数据中筛选生物安全特征，通过训练线性和注意力探针检测抗菌抗性及细菌毒力等，发现其在检测AMR等方面效果良好，可作为快速低成本首过检测层，明确了该方法的优势与局限。

TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents

TRACE：通过信用估计进行长期奖励分配的回合级奖励分配

Leitian Tao, Baolin Peng, Wenlin Yao, Tao Ge, Hao Cheng, Mike Hang Wang, Jianfeng Gao, Sharon Li

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Microsoft Research（微软研究院） 纠错

专题命中 指令微调 ：post-training(abstract)；分类 cs.LG

AI总结 研究针对多轮智能体训练后的信用分配难题，提出TRACE方法，通过特定状态转换、对数概率获取及转换等步骤进行奖励分配。该方法无需额外训练，在长期复杂搜索任务中显著提升基础模型工具使用能力，在基准测试中表现良好且学习曲线更佳。

Comments 26 pages

Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach

语言模型进行同步语音翻译需要架构改变吗？一种前缀到前缀的数据驱动方法

Junkun Chen, Jian Xue, Ming Tang, Abdel Heba, Hoda Gholami, Ruchao Fan, Jinyu Li

机构 * Microsoft（微软） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.CL

AI总结 研究同步语音翻译中仅解码器语言模型面临的挑战，提出基于固定长度块、回退前缀及教师标记前缀到前缀目标的CSSEL-P2P方法，经实验其在可比延迟下提升了流质量，证明无需架构改变可有效实现同步语音翻译。

Exploring Post-Training Alignment of Small Language Models for Biomedical Data-to-Text Generation: A Case Study of Medication Leaflet

探索用于生物医学数据到文本生成的小语言模型的训练后对齐：以药品说明书为例

Xi Yang, Guodong Liu, Chuqin Li, Fan Wu, Ergin Soysal, Min Jiang, Xing He, Jiang Bian, Yi Guo, Shams Zaman, Thomas Fuchs, Todd Sanger, Yonghui Wu

专题命中 后训练与偏好优化 ：language model(title,abstract)；small language model(title,abstract)；post-training(title,abstract)；SFT(abstract,abstract_cn)

AI总结 该研究对生物医学数据到文本生成任务训练小语言模型的方法进行比较分析，在药品说明书数据集上用基于Qwen的SLMs探索多种训练后方法，通过整理数据评估模型，结果显示对齐后的SLMs性能优异，GRPO跨数据集性能最稳健。

Comments 10 pages, 1 figures

Groc-PO: Grounded Context Preference Optimization for Truthful Multimodal LLMs

Groc-PO：用于真实多模态大语言模型的基于上下文的偏好优化

Zhixiao Zheng, Zheren Fu, Zhiyuan Yao, Chunxiao Liu, Dongming Zhang, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） ； Xiaomi Corporation（小米公司） ； State Key Laboratory of Communication Content Cognition, People’s Daily Online（人民日报社传播内容认知国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对多模态大语言模型的不真实问题，提出基于上下文的偏好优化框架Groc-PO，构建相关数据集，通过多阶段偏好样本捕捉基础上下文，加强上下文相关推理，减轻跨阶段错误传播，提升模型性能。

Comments Accepted by ACM-MM 2026

Where Should RL Post-Training Compute Go? Model Size, Search, Learning, and Feedback

强化学习训练后计算资源应投向何处？模型大小、搜索、学习与反馈

Patrick Wilhelm, Odej Kao

机构 * Technische Universität Berlin（柏林工业大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.LG

AI总结 研究强化学习训练后计算资源分配问题，引入浮点运算核算框架，通过LoRA适配的Qwen2.5策略发现条件分配前沿，揭示模型选择与训练分配关联及奖励系统对核算影响，提出RACE协议，建议相关论文报告总浮点运算及计算分配方式。

SARFA: Segment Anything with Radiomic Feature Alignment

SARFA：基于放射组学特征对齐的任意分割

Tyler Ward, Abdullah Imran

机构 * University of Kentucky（肯塔基大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；prompting(abstract)

AI总结 针对医学成像中目标分割模糊问题，提出SARFA框架，通过概率性提示生成掩码，基于弗雷歇放射组学距离和直接偏好优化进行训练，在CT和MRI基准测试中优于现有方法，有效提升医学图像分割效果。

Comments 15 pages, 9 figures, 5 tables, 1 algorithm

SIVA-RL: Sensitivity-Invariance Visual Alignment for Multimodal Reinforcement Learning

SIVA-RL：用于多模态强化学习的灵敏度不变视觉对齐

Cheng Tang, Junzhi Ning, Min Cen, Wei Li, Xinyi Zeng, Pinxian Zeng, Rongbin Li, Qiming Zhu, Yuqiang Li, Junjun He, Yirong Chen, Ming Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Sichuan University（四川大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Macau（澳门大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)

AI总结 研究多模态强化学习中视觉语言模型预测与视觉证据结合问题，提出SIVA-RL框架，通过特定方法构建局部干预并以奖励下降为权重驱动对齐，在多基准测试中相比基线改进了模型。

Comments 27 pages, 11 figures

Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents

作为受控过程的记忆：为大语言模型智能体学习自适应内存管理

Eric Hanchen Jiang, Zhi Zhang, Yuchen Wu, Levina Li, Dong Liu, Xiao Liang, Rui Sun, Yubei Li, Edward Sun, Haozheng Luo, Zhaolu Kang, Aylin Caliskan, Kai-Wei Chang, Ying Nian Wu

机构 * University of California Los Angeles（加利福尼亚大学洛杉矶分校） ； University of Washington（华盛顿大学） ； Northwestern University（西北大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 研究LLM智能体内存管理问题，提出MemCon框架将内存操作建模为马尔可夫决策过程，通过在线策略自适应管理内存，该框架与后端无关，实验表明其在多基准测试中优于基线，提升任务成功率并减少令牌消耗。

Harness Handbook: Making Evolving Agent Harnesses Readable,Navigable, and Editable

Harness手册：使不断演进的智能体框架具有可读性、可导航性和可编辑性

Ruhan Wang, Yucheng Shi, Zongxia Li, Zhongzhi Li, Yue Yu, Junyao Yang, Kishan Panaganti, Haitao Mi, Dongruo Zhou, Leoweiliang

机构 * Tencent（腾讯） ； Indiana University（印第安纳大学） ； University of Maryland, College Park（马里兰大学帕克分校） ； University of Georgia（佐治亚大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；foundation model(abstract)；分类 cs.AI

AI总结 研究智能体框架演进中行为定位难的问题，提出通过Harness手册和行为引导的渐进式披露，以行为为中心自动合成框架表示并辅助规划，提高行为定位和编辑计划质量，助力复杂智能体系统发展。

Comments 29 pages, 6 figures. Project page: https://ruhan-wang.github.io/Harness-Handbook/

HRO: Hierarchical Room-to-Object Framework for Zero-Shot Object Goal Navigation with Large Language Models

HRO：用于基于大语言模型的零样本目标导航的分层房间到物体框架

Luyuan Jia, Yinfeng Yu

机构 * School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） ； Joint Research Laboratory for Embodied Intelligence, Xinjiang University（新疆大学具身智能联合研究实验室） ； Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（新疆大学丝绸之路多语言认知计算国际联合研究实验室） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对零样本目标导航问题，提出LLM驱动的分层房间到物体（HRO）框架，引导智能体粗到细探索导航至目标物体，实验表明该框架在Gibson和HM3D数据集上优于现有基于LLM的方法。

Comments Main paper (6 pages). Accepted for publication by IEEE International Conference on Systems, Man, and Cybernetics 2026 (IEEE SMC 2026)