语言大模型 / LLM

GIFT: Geometry-Informed Low-precision Gradient Communication for LLM Pretraining

GIFT：用于大语言模型预训练的几何感知低精度梯度通信

Jieying Wang, Shuyuan Fan, Mingkai Zheng, Zhao Zhang

机构 * Rutgers University（罗格斯大学） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；pretraining(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对LLM预训练中梯度通信瓶颈，提出几何感知梯度缩放方法GIFT，通过变换梯度到近各向同性空间进行低精度通信，开发简化算法平衡开销与减少量，经实验验证可减少预训练时间并改善下游任务保留情况。

Comments 12 pages, 6 figures, 3 tables

DiaLLM: An Investigation into the Robustness-Generation Gap in English Dialect Adaptation

DiaLLM：英语方言适应中稳健性-生成差距的研究

Jordan Painter, Dipankar Srirag, Adarsh Kappiyath, Diptesh Kanojia, Aditya Joshi, Lu Yin

机构 * Institute for People-Centered AI, University of Surrey（萨里大学以人为本人工智能研究所） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 研究英语方言适应中稳健性与生成的差距，通过DiaLLM持续预训练并结合多种策略对比不同英语变体。发现二者分离，特定变体适应产出受青睐但优化奖励方法未获评估者偏爱，缩小差距需丰富奖励设计和投入方言资源。

Inertia-1: An Open Exploration of Wearable Motion Foundation Models

Inertia-1：可穿戴运动基础模型的开放探索

Zongzhe Xu, Aakarsh Anand, Sarah Jiang, Chuntung Zhuang, Zitao Shuai, Sriram Sankararaman, Yuzhe Yang

机构 * John Hopkins University（约翰·霍普金斯大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究可穿戴运动基础模型，利用大量加速度计数据构建框架，涵盖数据、模型和训练选择等，通过多数据集评估得出有趣发现，不仅提供先进方法，还为可穿戴运动表示学习提供全面实用开放指南。

Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence

用于具身智能的缩放专家混合视频预训练

Shuailei Ma, Jiaqi Liao, Xinyang Wang, Jingjing Wang, Chaoran Feng, Zijing Hu, Chong Bao, Zichen Xi, Yuqi Gan, Weisen Wang, Yanhong Zeng, Qin Zhao, Zifan Shi, Wei Wu, Hao Ouyang, Qiuyu Wang, Shangzhan Zhang, Jiahao Shao, Yipengjing Sun, Liangxiao Hu, Lunke Pan, Nan Xue, Kecheng Zheng, Yinghao Xu, Xing Zhu, Yujun Shen, Ka Leong Cheng

机构 * Robbyant（蚂蚁灵波） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

AI总结 针对视频生成模型领域不匹配问题，提出LingBot-Video，采用MoE架构、构建数据剖析引擎、开发多维奖励系统进行视频预训练，验证了其性能和效率，贡献了首个大规模开源MoE视频基础模型。

Comments Project page: https://technology.robbyant.com/lingbot-video

Ego-Human Motion Prediction with 3D-Aware LLM

基于3D感知语言模型的自我-人类运动预测

Yujin Bae, Jaewoo Jeong, Hyeonseong Kim, Kuk-Jin Yoon

机构 * Visual Intelligence Lab., KAIST（视觉智能实验室，韩国科学技术院） 纠错

专题命中 预训练与数据 ：LLM(title)；instruction tuning(abstract)；pretraining(abstract)

AI总结 研究从自我中心视角预测人类运动问题，提出Ego3DLM模型，基于准确运动预测需3D环境理解及姿势语言整体预测原则，通过三阶段训练，在相关任务中取得领先性能，实现跨模态和时间一致的运动预测。

Comments Accepted to ECCV 2026

FMMC: Harnessing the Power of Foundation Models for Accurate Material Classification

利用基础模型提升材料分类的准确性

Qingran Lin, Fengwei Yang, Chaolun Zhu

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Duke University（杜克大学） ； Waseda University（早稻田大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)

AI总结 本文提出一种利用基础模型克服数据限制并提升分类准确性的新框架，通过生成高质量数据集和融合视觉语言模型先验知识，有效提高材料分类性能。

A Multi-Analyst LLM Pipeline for Auditable Rule Discovery Across 68 Public Physiological Corpora

用于跨68个公共生理语料库进行可审计规则发现的多分析师大语言模型管道

Dovy Paukstys

机构 * Komori Care, LLC（科莫里护理公司） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

AI总结 针对开放生理语料库异质性无法确定新监测平台探测器规则的问题，提出多分析师大语言模型工作流程，通过读取语料库文档、去重、审核、整合等操作，产生可审计规则形状库及探测器组件，推动文献规则向硬件验证发展。

Comments 8 pages, 2 figures, 9 tables; submitted to IEEE SPMB 2026

Self-Supervised Pretraining Improves Cross-Site and Cross-Scale Robustness of Point Cloud Leaf-Wood Segmentation

自监督预训练提高点云树叶-木材分割的跨站点和跨尺度鲁棒性

Heeju Mun, Tackang Yang, Yunsoo Nam, Changhyun Choi

机构 * Department of Landscape Architecture and Rural Systems Engineering, Seoul National University, Seoul, South Korea（景观建筑与乡村系统工程系，首尔国立大学，首尔，韩国） ； Interdisciplinary Program in Landscape Architecture, Seoul National University, South Korea（景观建筑跨学科项目，首尔国立大学，韩国） ； Integrated Major in Smart City Global Convergence, Seoul National University, Seoul, Republic of Korea（智能城市全球融合整合专业，首尔国立大学，首尔，韩国） ； Research Institute of Agriculture and Life Sciences, Seoul National University, Seoul, Republic of Korea（农业与生命科学研究院，首尔国立大学，首尔，韩国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究树木点云树叶-木材分割方法跨森林类型和地点准确性差异问题，采用自监督预训练Point-M2AE并结合递归体素细分，提升了分割精度，在跨站点和跨尺度上表现良好，还改善了下游木材体积估计的性能。

Comments 30 pages, 10 figures

LLMs Silently Correct African American English: Auditing and Mitigating Dialect Bias via Activation Steering

大语言模型对非裔美国英语的隐性纠正：通过激活引导来审计和减轻方言偏见

Huan Wu, Ali Emami, Muhammad Furquan Hassan, Osaretin Igbinoba, Osakpolor Idusuyi, Osamede Igbinoba, Faiza Khan Khattak, Laleh Seyyed-Kalantari

机构 * York University（约克大学） ； Vector Institute（向量研究所） ； Connected Minds（连接思维公司） ； Emory University（埃默里大学） ； Wilfrid Laurier University（威尔弗里德·劳里埃大学） ； University of Toronto（多伦多大学） ； University of Guelph（圭尔夫大学） ； Monark Health（莫纳克健康公司） ； CIFAR Solution Network（加拿大高级研究院解决方案网络） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 研究发现大语言模型会将非裔美国英语重写为标准美国英语，提出端到端框架审计和减轻偏见，审计用cDGI等方法，减轻偏见用激活引导，该方法比提示更有效，还发布了真实AAE平行语料库。

VLRC: Vision-Language Reprojection Consistency as a scalable signal for better feed-forward 3D pretraining

VLRC：视觉语言重投影一致性作为用于更好的前馈3D预训练的可扩展信号

Marwane Hariat, David Filliat, Antoine Manzanera

机构 * U2IS, ENSTA – Institut Polytechnique de Paris（U2IS，法国国立高等先进技术学校 - 巴黎综合理工学院） ； Pôle Recherche, Agence Ministérielle pour l’IA de Défense（军事人工智能部研究中心） 纠错

专题命中 预训练与数据 ：pretraining(title)

AI总结 研究提出视觉语言重投影一致性（VLRC），利用冻结的视觉语言表征作为语义多视图监督，无需额外3D标注，能提升3D重建精度等，为前馈3D预训练提供可扩展辅助目标。

Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval

Omni-Embed-Audio: 利用多模态大语言模型实现鲁棒的音频-文本检索

HaeJun Yoo, Yongseop Shin, Insung Lee, Myoung-Wan Koo, Du-Seong Chang

机构 * Sogang University（首尔大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 提出Omni-Embed-Audio（OEA）检索编码器，利用多模态大语言模型原生理解音频，并通过用户意图查询（UIQ）和硬负样本挖掘，在文本到音频检索中达到与M2D-CLAP相当的性能，同时在文本到文本检索和硬负样本判别上显著优于现有方法。

Comments Accepted at ACL 2026 Main Conference. Camera-ready version

Documents Are People and Words Are Items: A Psychometric Approach to Textual Data with Contextual Embeddings

文档是人，词语是项目：一种使用上下文嵌入的文本数据心理测量方法

Jinsong Chen

机构 * Faculty of Education, University of Hong Kong（香港大学教育学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出一种基于上下文嵌入的心理测量方法，用于分析文本数据，通过将文档视为个体和词语视为项目，揭示文本中的潜在知识维度。

A Word-Level Digital Reader of the Prasthanatrayi with Sankara's Bhasya: Corpus, Method, and an Open, Offline Reading Aid for the Advaita Vedanta Canon

带有商羯罗注疏的吠檀多三经的词级数字阅读器：语料库、方法以及为不二论吠檀多经典提供的开放离线阅读辅助工具

Tamal Maharaj

机构 * Ramakrishna Mission Vivekananda Educational and Research Institute（罗摩克里希那传道会辨喜教育与研究学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 该研究针对吠檀多三经阅读难题，构建开放离线词级数字阅读器。利用混合管道和人工审核循环处理文本，涵盖多单元及大量词分析与字典。经评估其分析与权威词典高度一致，提供了便捷的教学阅读辅助工具。

SonoRank: Towards Calibration-Free Real-Time Finger Flexion Detection from Forearm Ultrasound Sequences

SonoRank：迈向无需校准的实时前臂超声序列手指弯曲检测

Dean Zadok, Alon Wolf, Alex M. Bronstein, Oren Salzman

机构 * Technion（以色列理工学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 针对动力假肢手因依赖sEMG功能受限的问题，提出SonoRank方法，通过对超声序列对排序学习及微调，实现无需校准的手指弯曲检测，在交叉验证中F1分数比直接分类基线提高28%，推动超声假肢实用化。

Infinite Worlds with Versatile Interactions

具有通用交互的无限世界

Zelin Gao, Qiuyu Wang, Jiapeng Zhu, Jingye Chen, Zichen Liu, Qingyan Bai, Jiahao Wang, Yufeng Yuan, Hanlin Wang, Yichong Lu, Ka Leong Cheng, Haojie Zhang, Jian Gao, Tianrui Feng, Yuzheng Liu, Yao Yao, Yinghao Xu, Xing Zhu, Yujun Shen, Hao Ouyang

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 介绍LingBot-World 2.0的升级，包括通过因果预训练实现无界交互、提炼实时变体保证快速响应，引入多样交互元素，集成智能控制并开发共享界面，还将主模型与轻量级模型配对便于单GPU部署。

Comments Project page: https://technology.robbyant.com/lingbot-world-v2 Code: https://github.com/robbyant/lingbot-world-v2

`Attention-Guided Cross-Temporal Clustering for Self-Supervised Video Object Segmentation

用于自监督视频对象分割的注意力引导跨时间聚类

Waqas Arshid, Mohammad Awrangjeb, Alan Wee-Chung Liew, Yongsheng Gao

机构 * Griffith University（格里菲斯大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 针对视频对象分割任务，现有自监督方法存在问题。本文提出跨时间一致性和聚类框架，结合注意力引导令牌选择与轻量级时间聚类，通过显著性加权目标对齐软部分分配，利用冻结变压器主干实现有效扩展，提升自监督视频对象分割性能。

Comments Accepted for publication in Machine Intelligence Research journal

Physically Grounded Monocular Depth via Nanophotonic Wavefront Encoding

通过纳米光子波前编码实现物理基础的单目深度

Bingxuan Li, Jiahao Wu, Yuan Xu, Zezheng Zhu, Yunxiang Zhang, Kenneth Chen, Yanqi Liang, Nanfang Yu, Qi Sun

机构 * New York University（纽约大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 研究旨在解决单目深度感知中度量尺度模糊问题，核心方法是用超透镜通过纳米光子学编码深度线索，结合DFMs与输入自适应策略及模拟管道，实验证明该方法有效提升单目度量深度传感精度。

Comments ECCV 2026

What's on My Network? Using Large Language Models to Identify Real-World IoT Devices at Scale

我的网络上有什么？使用大语言模型大规模识别现实世界中的物联网设备

Rameen Mahmood, Tousif Ahmed, Sai Teja Peddinti, Danny Yuxing Huang

机构 * New York University（纽约大学） ； Google（谷歌） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 研究共享环境中物联网设备识别难题，引入语义推理管道，用大语言模型构建高保真标签并指令微调模型，在众多供应商中取得高准确率，对多种问题保持稳健，为大规模可信设备识别提供基础。

Comments 18 pages, 3 figures

Journal ref Proc. ACM Netw. 4, CoNEXT2, Article 26 (2025)

A Physics-guided Fine-tuned LLM-based Framework for Customized Power Distribution System Feeder Generation

基于物理引导微调大语言模型的定制化配电网馈线生成框架

Zhenghao Zhou, Yiyan Li, Tao Xu, Yike Guo, Zheng Yan, Mo-Yuen Chow

专题命中 指令微调 ：LLM(title,abstract)；SFT(abstract)

AI总结 针对配电网馈线模型获取难问题，提出基于大语言模型的合成馈线生成框架。通过监督微调、组相对策略优化及双智能体架构，实现从自然语言到物理一致馈线模型的端到端生成，所生成馈线具备多种优势。

TeamTR: Trust-Region Fine-Tuning for Multi-Agent LLM Coordination

TeamTR: 用于多智能体大语言模型协调的信赖区域微调

Yi Xie, Siao Liu, Falong Fan, Yuanqi Yao, Yue Zhao, Bo Liu

机构 * Department of Electrical \& Computer Engineering, University of Arizona ； Engineering College, Soochow University ； INSAIT, Sofia University "St. Kliment Ohridski" ； Department of Electrical ； Computer Engineering, Stony Brook University 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.LG

AI总结 本文提出TeamTR，通过信赖区域框架在每个组件更新后重采样轨迹并控制每个智能体的发散度，解决多智能体系统中因上下文分布变化导致的性能下降问题，实验表明其在协调回归抑制和组件替换支持方面优于单智能体和序列基线。

Comments 9pages, Accepted at ICML2026

Multi-Agent Robotic Control with Onboard Vision-Language Models

基于机载视觉语言模型的多智能体机器人控制

Kajetan Rachwał, Maciej Majek, Bartłomiej Boczek, Jakub Matejczyk, Dominik Matejkowski, Adam Dąbrowski, Tim Seyde, Alexander Amini, Maria Ganzha

机构 * Faculty of Mathematics and Information Science, Warsaw University of Technology（华沙技术大学数学与信息科学学院） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 研究针对视觉语言模型用于机器人控制的挑战，提出多智能体系统架构，在机载硬件部署智能体，用紧凑型VLMs并经微调及新型编排智能体，经硬件在环模拟验证，证明该机载架构可行高效，有实际应用潜力且模拟环境已开源。

Comments 6 pages, 2 figures, accepted to 24th International Conference on Practical applications of Agents and Multi-Agent Systems (PAAMS'26)

Online Data Selection Is Implicit Alignment

在线数据选择即隐式对齐

Aoxiong Zeng, Yuxin Yang, Xiangquan Yang

机构 * East China Normal University（华东师范大学） ； Shanghai University（上海大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；preference optimization(abstract)；分类 cs.LG

AI总结 研究将在线数据选择视为隐式对齐机制，给定相同条件比较多种在线选择器在无偏好优化时引起的行为漂移，提出评估和量化方法，引入ADA和AAS，可在保持数据效率时限制安全和风格轴漂移。

HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment

HARC：耦合有害性与拒绝方向以实现鲁棒的安全对齐

Shei Pern Chua, Hao Wu, Qianli Ma, Fangzhao Wu

机构 * Tsinghua University（清华大学） ； Southeast University（东南大学） ； Microsoft（微软公司） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 提出HARC微调方法，通过耦合提示和响应位置的有害性与拒绝方向，在不损害通用能力的情况下提升LLM安全对齐的鲁棒性。

Trading Human Curation for Synthetic Augmentation in RLVR

在RLVR中用合成增强替代人工策展

Akshansh, Leonardo Rosa Rodrigues, Michael Korostelev, Youssef Hassan, Mark E. Whiting

机构 * Pareto AI 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过预指定、门控过滤的增强任务替代人工策展任务，在RLVR中实现成本效益权衡，并保持泛化性能。

Comments 21 pages, 5 main-text figures, 4 appendix figures. Preprint

The Appeal and Reality of Recycling LoRAs with Adaptive Merging

通过自适应合并回收LoRAs的吸引力与现实

Haokun Liu, Gyung Hyun Je, Marco Ciccone, Zhenlin Xu, Prasanth YSS, Colin Raffel

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Mistral AI ； Hugging Face 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 研究针对回收在模型库中“野生”的LoRAs，通过实证研究多种自适应和非自适应合并方法，发现自适应合并虽能提升性能，但相比用相同数据训练新LoRA优势有限，且合并LoRAs的具体选择重要性不大，还证实了正向迁移的可能性并开源相关资源。

Comments 24 pages, 14 figures, 5 tables. Preprint

FedMark-FM: Auditable, Risk-Adjusted Data Markets for Federated Foundation-Model Adaptation

FedMark-FM：用于联邦基础模型适配的可审计、风险调整数据市场

Phat T. Tran-Truong, Xuan-Bach Le, Minh Nhat Nguyen

专题命中 指令微调 ：foundation model(abstract)

AI总结 研究联邦基础模型适配中激励机制问题，提出FedMark-FM框架，将客户端视为工件卖家，用S3Val估计贡献，转换支付惩罚不良行为，经多任务评估表现出色，证明管道有序估值独特性，能在一定规模下保留专家。

DiffCVE: Diffusion-based Compressed Video Enhancement

DiffCVE：基于扩散的压缩视频增强

Wenqiang Xiao, Wenzhuo Ma, Junxi Zhang, Zhenzhong Chen

机构 * School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院） 纠错

专题命中 指令微调 ：prompting(abstract)

AI总结 针对严重压缩视频感知质量增强难题，提出DiffCVE方法。设计CPDC分支联合建模，引入CDSP机制与CPWF模块，利用编码先验及条件提示等，经实验验证该方法能有效提升感知质量，尤其在严重压缩时。

Selective Timestep Weighting and Advantage-Based Replay for Sample-Efficient Diffusion RLHF

用于样本高效扩散强化学习从人类反馈中学习的选择性时间步加权和基于优势的重放

Eric Zhu, Abhinav Shrivastava, Soumik Mukhopadhyay

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究如何提高扩散模型中强化学习从人类反馈的效率，提出选择性时间步加权和基于优势的重放两种互补策略，通过强调信息丰富的时间步和轨迹优化，提升反馈效率，样本效率比基线提高6倍。

Comments 19 pages, 18 figures, 4 tables. Submission under review. A shorter, non-archival 4-page abstract version of this work was accepted to CVPR 2026 Workshops (GCV, CVEU)

RL Post-Training Builds Compositional Reasoning Strategies

强化学习后训练构建组合推理策略

Azwar Abdulsalam, Nishil Patel, Andrew Saxe

专题命中 后训练与偏好优化 ：post-training(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 研究强化学习后训练能否组合原始技能成高级策略，通过在可观察环境实验发现，强化学习能解决预训练模型难题，通过分阶段组合机制重组能力，组合过程可复用巩固，与拒绝微调关键差异在选择性，预训练消融表明其对组合策略出现有影响。

Comments 8 pages, 6 figures. Accepted to the 2nd Workshop on Compositional Learning at ICML 2026, Seoul, South Korea

DPO-F+: Aligning Code Repair Feedback with Developers' Preferences

DPO-F+：使代码修复反馈与开发者偏好对齐

Zihan Fang, Yifan Zhang, Yueke Zhang, Kevin Leach, Yu Huang

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 研究针对大语言模型在代码修复中开发者难解读输出的问题，提出DPO-f+框架，通过定义指标、构建数据集、微调模型及评估反馈质量，提升反馈准确性与对齐度，增强了代码理解和人机协作。

Comments 10 pages, 2 figures