语言大模型 / LLM

From Alignment to Synthesis Contrastive Volumetric Grounding for Text-to-CT Generation

从对齐到合成：用于文本到CT生成的对比体 grounding

Daniele Molino, Camillo Maria Caruso, Filippo Ruffini, Paolo Soda, Valerio Guarrasi

机构 * Unit of Artificial Intelligence and Computer Systems, Department of Engineering, Università Campus Bio-Medico di Roma（人工智能与计算机系统单位，工程系，罗马生物医学大学） ； Department of Diagnostics and Intervention, Biomedical Engineering and Radiation Physics, Umeå University（诊断与干预部门，生物医学工程与放射物理学，乌梅拉大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 该研究针对文本到CT生成的视觉-语言对齐瓶颈，提出带结构化难负样本的3D-CLIP编码器，结合端到端潜在扩散模型，在CT-RATE数据集上实现了优于现有方法的性能。

Comments Accepted at BMVC 2026

Measuring the Cross-Lingual Comprehension Gap: How the language of the evidence shapes what language models understand

测量跨语言理解差距：证据语言如何影响语言模型的理解能力

Rafael da Silva, Jeff Eicher

机构 * Eastern University（东方大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究定义跨语言理解差距（CLCG），通过ParallelQA-18评估5种模型，发现英语能力无法同等迁移，低资源语言用户的模型质量可能被英语中心评估高估。

Comments 55 pages, 17 figures. Submitted to Computational Linguistics (MIT Press / ACL). Supplementary Material: 55 pages, 4 figures

SkillCorpus: Consolidating and Evaluating the Open Skill Ecosystem for Real-World LLM Agents

SkillCorpus：整合与评估面向现实世界大语言模型智能体的开放技能生态系统

Yanze Wang, Pengfei Yao, Tianyi Sun, Chuanrui Hu, Yan Xiao, Xiaotian Luo, Yunyun Han, Yifan Chen, Jun Sun, Yafeng Deng

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL

AI总结 研究针对大语言模型智能体技能文件碎片化等问题，提出SkillCorpus框架，通过多阶段管道过滤技能并与检索选择堆栈配对，经多基准端到端评估，整合该框架能带来一致收益，明确了其对实际智能体任务的作用边界。

Agogic: Performance-Timed Music Tokens for LLM-Native Text-to-Symbolic-Music Generation

Agogic：适用于大语言模型原生文本到符号音乐生成的性能计时音乐 token

Junhao Chen, Mingjin Chen, Jingjia Mao, Lin Chen, Saining Zhang, Minglin Chen, Ruocheng Wu, Liaoyuan Fan, Wenyi Li, Mingju Gao, Henghaofan Zhang, Zhihao Li, Hao Zhao, Yufei Wang, Ruqi Huang

专题命中 预训练与数据 ：LLM(title)；language model(abstract)；分类 cs.CL

AI总结 该研究固定模型规模、数据等变量，发现音乐 token 化的表示形式而非模型规模是影响文本到符号音乐生成分布保真度的关键，发布了相关工具链、模型及语料库，为该领域提供了可测量的表示形式研究基础。

Comments Project Page: https://yisuanwang.github.io/Agogic

Disentangling Language Modeling and Boundaries

解耦语言建模与边界

Mykola Haltiuk

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究提出字节级语言模型可解耦下一字节分布与边界位置分布，设计实验验证该假设，主张采用字节级接口作为共享标准以实现模型间低成本的能力传递与边界重塑。

ED-DiT: Physics-Guided Diffusion Pretraining for Transferable Molecular Representations from Electron Density

ED-DiT：用于从电子密度学习可迁移分子表示的物理引导扩散预训练

Liang Shuang, Haocheng Wang, Jiayi Song, Shuquan Ye, Ben Fei

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本研究提出ED-DiT，一种物理引导的扩散Transformer，通过电子密度点云自监督预训练学习可迁移分子表示，在6项EDBench任务及低监督场景下均优于基线，展现出良好效果。

Comments 16 pages, 9 figures, 7 tables, including supplementary material

Rethinking Pretraining for Specialized Design Data: Evidence from the JONES-19 Cultural Design Dataset

重新思考针对专业设计数据的预训练：来自JONES-19文化设计数据集的证据

Alexandros Haridis, Charles Zhou

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 该研究以JONES-19文化设计数据集为对象，对比两种CNN训练策略，发现小型高质量设计数据集结合多裁剪采样，可替代大规模通用预训练，为专业设计领域的ML研究提供新思路。

Comments 2026 Design Computing and Cognition Conference

Logographic Character Visual Pretraining via Semantic-based Contrastive Learning

基于语义对比学习的表意文字视觉预训练

Daqian Shi, Wei Cao, Xiaoyu Zheng, Lida Shi, Xiaolei Diao, Cedric M John

机构 * Queen Mary University of London（伦敦玛丽女王大学） ； Jilin University（吉林大学） ； King’s College London（伦敦国王学院） ； University College London（伦敦大学学院） 纠错

专题命中 预训练与数据 ：pretraining(title)；language model(abstract)；分类 cs.AI

AI总结 针对表意文字数据集不平衡问题，提出结合视觉与上下文语义的多模态学习方法，通过语义对比预训练提升字符识别性能，在多数据集及下游任务上优于现有最优方法。

Comments ACM MM 2026 paper

Curriculum Matters: Data-Efficient Relational PFN Pretraining with Synthetic Data

课程很重要：基于合成数据的数据高效关系型PFN预训练

Mohammad Sadeq Abolhasani, Viswanath Ganapathy

机构 * SAP Labs, LLC.（思爱普实验室有限责任公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 该研究针对关系型PFN预训练，发现采用PluRel作为合成数据源，渐进式课程设计可大幅减少所需合成数据量，且其性能接近专用关系型管线，凸显课程设计与合成数据多样性的关键作用。

Comments Accepted to the International Conference on Very Large Databases (VLDB 2026), Tabular Data Analysis (TaDA)

Bayesian Repetition Penalty: A Principled Adjacent-Conditional Framework for Reversing Attention Collapse in Autoregressive Language Models

贝叶斯重复惩罚：一种用于扭转自回归语言模型中注意力崩溃的有原则的相邻条件框架

Wenjie Fan, Bin Ma, Dong Li

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 针对自回归语言模型注意力崩溃问题，提出基于相邻条件概率构造的贝叶斯重复惩罚框架，通过自归一化惩罚率校正异常置信度，经指数移动平均累积到输出层偏差，实验表明该机制能拯救崩溃模型并保持生成质量。

Towards Cultural Bridge by Bahnaric-Vietnamese Translation Using Transfer Learning of Sequence-To-Sequence Pre-training Language Model

通过基于序列到序列预训练语言模型的迁移学习实现巴拿语-越南语翻译以搭建文化桥梁

Dat Minh Tran Phan, Khang Nhat Hoang Vo, Tho Thanh Quan

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 为解决巴拿语-越南语翻译中资源不足问题，利用基于序列到序列预训练语言模型的迁移学习方法，借助预训练越南语模型，结合有限双语资源继续训练，并通过数据增强等优化，有效实现翻译，促进民族文化交流。

OPTScientist: Multi-Agent Discovery of Typed Optimizer Programs for Transformer Pretraining

OPTScientist：用于Transformer预训练的类型化优化器程序的多智能体发现

Zhongzheng Li, Tiancan Feng, Wenhao Li, Qingsong Ran, Shikun Feng, Xiaoyuan Zhang, Yue Wang, Xiaoguang Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Zhongguancun Academy（中关村科学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究针对深度学习优化器设计难题，提出OPTScientist多智能体框架，在类型化DSL中结合进化搜索与第二阶段机制，发现RS-MR优化器改进Transformer预训练，为自动优化器科学提供新路径。

Exposure is Optional: Learning Unlike Coordination in Language Models

曝光非必需：语言模型中学习不同类别的并列结构

Jiamu Luo, Shane Steinert-Threlkeld

机构 * University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 研究语言模型中不同类并列结构习得是否需直接曝光，用过滤语料库训练GPT-2模型，发现无需直接曝光，模型能泛化处理，还揭示了模型处理方式及可从同类并列结构学习，助力理解语言模型结构表示。

Comments 13 pages, 6 tables, 2 figures, to submit to TACL

On the Effectiveness of Pretraining for Graph Combinatorial Optimization

关于图组合优化预训练的有效性

David Aguado, Daniel Fuertes, Carlos R. del-Blanco, Fernando Jaureguizar

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究图组合优化的预训练有效性，提出自监督预训练框架，利用图对比学习和几何增强，使模型学习不变表示与距离分布，实验表明该策略优于未预训练模型，混合策略在TSP1000上有显著提升。

Comments This work was accepted to be presented at the Graph Signal Processing Workshop 2026

Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

长度值模型：用于令牌级长度建模的可扩展值预训练

Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； LMSYS Org（LMSYS组织） ； Apple Inc.（苹果公司） 纠错

专题命中 预训练与数据 ：pretraining(title)；prompting(abstract)；分类 cs.CL

AI总结 本文提出Length Value Model，通过令牌级建模实现高效的长度预测，提升生成长度的准确性和效率，实验显示其在多个任务中优于现有模型。

Why Do Vision Language Models Struggle To Recognize Human Emotions?

为什么视觉语言模型难以识别人类情绪？

Madhav Agarwal, Sotirios A. Tsaftaris, Laura Sevilla-Lara, Steven McDonagh

机构 * The University of Edinburgh, UK（爱丁堡大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 本文探讨视觉语言模型在识别人类情绪上的不足，指出面部表情识别任务的连续性和动态性导致模型存在连续性和时间信息处理的漏洞，提出改进采样策略和多阶段上下文增强方法以提升情绪识别能力。

Comments European Conference on Computer Vision (ECCV) 2026

Learning Spatio-Temporal Foundation Models from Pure Synthetic Data

从纯合成数据中学习时空基础模型

Yutong Feng, Shiyuan Piao, Yutong Xia, Xu Liu, Wenqi Fan, Fugee Tsung, See-Kiong Ng, Yuxuan Liang

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； National University of Singapore（新加坡国立大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究旨在学习时空基础模型，提出NeoST，通过在程序生成的合成系统上预训练，引入可扩展语料库、潜在空间推理架构和目标，实验证明其在多样真实世界时空系统中性能优越，有长期稳定性和推理效率。

Pretraining in Actor-Critic Reinforcement Learning for Locomotion

在机器人运动强化学习中预训练Actor-Critic算法

Jiale Fan, Andrei Cramariuc, Tifanny Portela, Marco Hutter

机构 * Robotic Systems Lab, ETH Zürich（苏黎世联邦理工学院机器人系统实验室） ； Section of Microengineering, EPFL（日内瓦联邦理工学院微工程系） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本研究提出了一种在机器人运动强化学习中预训练Actor-Critic算法的方法，通过预训练模型提升样本效率和任务性能。

Comments Published in IEEE Robotics and Automation Letters (RA-L)

SynCLIP: Synonym-Coherent Language-Image Pretraining for Robust Open-Vocabulary Dense Perception

SynCLIP：用于鲁棒开放词汇密集感知的同义词一致语言-图像预训练

Mingjie Xie, Guangjun He, Dongli Xu, Youtian Lin, Hongjue Li, Pengming Feng, Jian Guan, Yue Deng

机构 * Beihang University（北京航空航天大学） ； State Key Laboratory of Space Information System and Integrated Application（空间信息系统与集成应用国家重点实验室） ； Nanjing University（南京大学） ； Harbin Engineering University（哈尔滨工程大学） ； Beijing Zhongguancun Academy（北京中关村科学城） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究针对开放词汇密集感知中同义词引起的定位不一致问题，提出SynCLIP框架，通过SSA和SAR模块增强注意力一致性与定位精度，构建SEViC支持预训练，实验证明该方法显著提升定位一致性并达领先性能。

Comments Accepted by CVPR 2026

Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?

Play2Perfect：灵巧操作预训练对精密装配的关键因素

Tyler Ga Wei Lum, Kushal Kedia, C. Karen Liu, Jeannette Bohg

机构 * Stanford University（斯坦福大学） ； Cornell University（康奈尔大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 提出Play2Perfect框架，通过任务无关的玩耍预训练获取可复用的操作先验，再微调用于精密装配，在稀疏奖励和接触密集任务中实现33倍样本效率提升。

Comments 22 pages, 12 figures, 4 tables. Project page: https://play2perfect.github.io

A Multi-Analyst LLM Pipeline for Auditable Rule Discovery Across 68 Public Physiological Corpora

用于跨68个公共生理语料库进行可审计规则发现的多分析师大语言模型管道

Dovy Paukstys

机构 * Komori Care, LLC（科莫里护理公司） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

AI总结 针对开放生理语料库异质性无法确定新监测平台探测器规则的问题，提出多分析师大语言模型工作流程，通过读取语料库文档、去重、审核、整合等操作，产生可审计规则形状库及探测器组件，推动文献规则向硬件验证发展。

Comments 8 pages, 2 figures, 9 tables; submitted to IEEE SPMB 2026

Self-Supervised Pretraining Improves Cross-Site and Cross-Scale Robustness of Point Cloud Leaf-Wood Segmentation

自监督预训练提高点云树叶-木材分割的跨站点和跨尺度鲁棒性

Heeju Mun, Tackang Yang, Yunsoo Nam, Changhyun Choi

机构 * Department of Landscape Architecture and Rural Systems Engineering, Seoul National University, Seoul, South Korea（景观建筑与乡村系统工程系，首尔国立大学，首尔，韩国） ； Interdisciplinary Program in Landscape Architecture, Seoul National University, South Korea（景观建筑跨学科项目，首尔国立大学，韩国） ； Integrated Major in Smart City Global Convergence, Seoul National University, Seoul, Republic of Korea（智能城市全球融合整合专业，首尔国立大学，首尔，韩国） ； Research Institute of Agriculture and Life Sciences, Seoul National University, Seoul, Republic of Korea（农业与生命科学研究院，首尔国立大学，首尔，韩国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究树木点云树叶-木材分割方法跨森林类型和地点准确性差异问题，采用自监督预训练Point-M2AE并结合递归体素细分，提升了分割精度，在跨站点和跨尺度上表现良好，还改善了下游木材体积估计的性能。

Comments 30 pages, 10 figures

RMISC: A Large-scale Real-world Multivariate Corpus for Time Series Foundation Models

RMISC：用于时间序列基础模型的大规模真实世界多元语料库

Qian Sun, Yong-Ming Tian, Jia-Wei Huang, Cheng Feng, Shao-Qun Zhang

机构 * Nanjing University（南京大学） ； Siemens Data and AI Research（西门子数据与人工智能研究院） ； Nanjing University – Siemens Joint Research Center on Industrial AI（南京大学-西门子工业人工智能联合研究中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

AI总结 研究真实世界多元数据对时间序列基础模型泛化性能的影响，通过建立RMISC语料库，预训练四个先进TSFMs并评估，发现纳入真实世界多元数据可提升泛化性能，为理解其对模型发展的作用提供了依据。

BlueMagpie-TTS: A Token-Efficient Tokenizer, Language Model, and TTS for Taiwanese-Accent Code-Switching Speech

蓝鹊语音合成系统：用于台湾口音语码转换语音的高效令牌分词器、语言模型和语音合成系统

Ho Lam Chung, Bo-Xuan Zheng, Cheng-Chieh Huang, Cheng-Han Chang, Jung-Ching Chen, Lok-Lam Ieong, Ting-Lin Hsiao, Yu-Cheng Lee, Yi-Hsin Chung, Yu-Kai Guo, Hung-yi Lee

机构 * National Taiwan University（台湾大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 研究针对现成语音合成系统不适配台湾普通话的问题，提出从底层解决文本问题的方法，包括训练PangolinTokenizer分词器、Barbet语言模型，构建蓝鹊语音合成系统，显著降低了字符错误率和词错误率，获多数盲听投票青睐。

Information Limits and Attractor Dynamics in Economies of Frontier LLM Agents: A Pre-Registered Test

前沿语言模型智能体经济中的信息限制与吸引子动力学：一项预注册测试

Cheng Qian

机构 * Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

AI总结 该研究对前沿语言模型智能体小型经济体进行预注册实验，测试耦合多智能体系统的两个预测。通过实验验证了比例投注耦合经济体中一些信息论相关定律，同时发现残差缩放测试结果否定了平滑平均场模型假设，还发布了相关代码等资料。

Comments 15 pages. Preprint. Zenodo: https://doi.org/10.5281/zenodo.21185866. Companion synthesis: arXiv:2606.12502

Mitigating Errors in LLM-Generated Web API Invocations via Retrieval-Augmented Generation and Constrained Decoding

通过检索增强生成和约束解码减轻大语言模型生成的Web API调用中的错误

Daniel Maninger, Leon Chemnitz, Jannis Brugger, Tushar Lamba, Amir Molzam Sharifloo, Mira Mezini

机构 * Technische Universität Darmstadt（德累斯顿技术大学） ； Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心） ； Pariton AI ； National Research Center for Applied Cybersecurity ATHENE（应用网络安全国家研究中心ATHENE） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.LG

AI总结 研究如何减轻大语言模型生成的Web API调用错误，提出检索增强生成（RAG）和约束解码（CD）两种互补方法，设计相应技术细节，在合成和真实数据集上评估，结果显示RAG、CD各有优劣，能提升Web API调用代码正确性。

Comments 54 pages, 11 figures; supersedes arXiv:2509.20172v6, which is a discarded journal extension of our work

PoseVLA: Universal Pose Pretraining for Generalizable Vision-Language-Action Policies

面向通用视觉-语言-动作策略的通用姿态预训练

Haitao Lin, Hanyang Yu, Jingshun Huang, He Zhang, Yonggen Ling, Ping Tan, Xiangyang Xue, Yanwei Fu

机构 * Tencent Robotics X（腾讯机器人X） ； Futian Laboratory（福田实验室） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：pretraining(title)；post-training(abstract)；分类 cs.LG

AI总结 本文提出Pose-VLA，通过分离预训练和后训练阶段，解决视觉-语言-动作模型中的特征坍塌和训练效率问题，实现通用3D空间先验提取与机器人特定动作空间的高效对齐。

Comments Accepted to Robotics: Science and Systems (RSS) 2026. Project website: https://hetolin.github.io/PoseVLA

Journal ref Robotics: Science and Systems, 2026

Identifiability of Relational Queries in Multi-View Pretraining

多视图预训练中关系查询的可识别性

Ratan Bahadur Thapa, Daniel Hernández

机构 * University of Stuttgart, Germany（斯图加特大学，德国） ； Analytic Computing, KI, University of Stuttgart（斯图加特大学分析计算与人工智能研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 研究数据集成中查询可识别性问题，通过形式化接口定律下的查询可识别性，证明多项式时间证书CheckCert可判定、不可识别查询有误差下限、最小增强算法Greedy-MinAug可找最小接口集，实验验证了算法效果。

Comments Artifacts to be archived at DaRUS: https://doi.org/10.18419/DARUS-6292

Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs

先学移动再学做事：面向VLA的任务无关预训练

Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 提出任务无关预训练（TAP）框架，先通过自监督逆动力学从廉价无标签交互数据学习可迁移运动先验，再用少量专家数据将先验与语言对齐，显著降低VLA模型对专家演示的依赖。

Comments Accepted to ICML 2026, 21 pages,6 figures

BamiBERT: A New BERT-based Language Model for Vietnamese

BamiBERT: 一种新的基于BERT的越南语语言模型

Dat Quoc Nguyen, Thinh Pham, Chi Tran, Linh The Nguyen

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 提出BamiBERT，一种从头训练的越南语BERT模型，支持2048 token上下文长度且无需分词，在15项指标中11项最优，刷新越南语编码器性能。