语言大模型 / LLM

Wrong Code, Right Structure: Learning Netlist Representations from Imperfect LLM-Generated RTL

错误代码，正确结构：从不完美的LLM生成RTL学习网表表示

Siyang Cai, Cangyuan Li, Haoyu Gao, Kun Wang, Yinhe Han, Ying Wang

机构 * CICS, Institute of Computing Technology, Chinese Academy of Sciences（计算技术研究所，中国科学院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出利用不完美的LLM生成RTL进行网表表示学习，通过数据增强和端到端流程，提升电路分析任务的性能。

Role-Agent: Bootstrapping LLM Agents via Dual-Role Evolution

Role-Agent: 通过双角色演化引导LLM智能体

Xucong Wang, Ziyu Ma, Shidong Yang, Tongwen Huang, Pengkun Wang, Yong Wang, Xiangxiang Chu

机构 * University of Science and Technology of China（中国科学技术大学） ； AMAP, Alibaba Group（阿里巴巴集团高德地图） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Role-Agent框架，让单个LLM同时作为智能体和环境，通过世界在智能体（WIA）和智能体在世界（AIW）两个组件实现自举协同演化，在多个基准上平均提升超过4%。

Comments 20 pages, including 12 pages of main text and 8 pages of appendix; work in progress

Beyond Captions: Context-Grounded Reconstruction for Biomedical Multimodal Continued Pretraining

PMC-InterCPT：重新思考用于多模态持续预训练的医学交错数据

Guanghao Zhu, Zeyu Liu, Zhitian Hou, Pengkai Wang, Zhijie Sang, Yang Yu, Minheng Ni, Wenjun Wang, Yanggan Gu, Shuo Cai, Congkai Xie, Jianmin Wu, Hongxia Yang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Sun Yat-sen University（中山大学） ； InfiX.ai ； PolyU-Daya Bay Technology and Innovation Research Institute（PolyU-大亚湾技术与创新研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(summary_cn,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 针对医学多模态持续预训练中图像-文本对数据存在的上下文缺失、结构噪声等问题，提出PMC-InterCPT交错语料库，通过恢复缺失标题、清洗文本、重建交错样本及LLM监督过滤，结合模态感知重采样，有效提升医学与通用多模态性能。

PluRel-to-RDB-PFN: Schema-Guided Synthetic Relational Pretraining

PluRel-to-RDB-PFN：模式引导的合成关系预训练

Mohammad Sadeq Abolhasani, Viswanath Ganapathy

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract,comments)；分类 cs.LG

AI总结 该研究将合成关系数据库生成器PluRel作为RDB-PFN的外部预训练数据源，通过三种课程策略对比，发现模式优先引导策略仅用少量数据即可恢复RDB-PFN近94%的性能，证实早期接触真实模式的有效性。

Comments Proceedings of the 2nd ICML on Foundation Models for Structured Data

Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?

证据类型竞争：干预数据何时能教会语言模型因果方向？

Xining Xun

机构 * Tsingjiao Information Science (Beijing) Co., Ltd（北京清教信息科技有限公司） 纠错

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 该研究发现干预数据训练语言模型因果推理的金标准假设存在局限，观测上下文会抑制模型的因果方向判断能力，提出证据平均方案可降低符号错误率。

Comments 13 pages, 6 figures, 4 tables

Point2Radio: A Foundation Model for Cross-Scene Radio Fields from Material-Aware Point Clouds

Point2Radio：面向材料感知点云的跨场景无线电场基础模型

Chaozheng Wen, Chenghong Bian, Hongze Chen, Jun Zhang

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Point2Radio是从多环境学习可迁移传播先验的基础模型，基于材料感知点云实现跨场景无线电场预测，在路径增益预测上较UNet基线误差降76.7%，轻量微调可提升环境适应性。

Curriculum Matters: Data-Efficient Relational PFN Pretraining with Synthetic Data

课程很重要：基于合成数据的数据高效关系型PFN预训练

Mohammad Sadeq Abolhasani, Viswanath Ganapathy

机构 * SAP Labs, LLC.（思爱普实验室有限责任公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 该研究针对关系型PFN预训练，发现采用PluRel作为合成数据源，渐进式课程设计可大幅减少所需合成数据量，且其性能接近专用关系型管线，凸显课程设计与合成数据多样性的关键作用。

Comments Accepted to the International Conference on Very Large Databases (VLDB 2026), Tabular Data Analysis (TaDA)

FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale

精细指令：将合成指令扩展到预训练规模

Ajay Patel, Colin Raffel, Chris Callison-Burch

机构 * University of Pennsylvania（宾夕法尼亚大学） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对大语言模型监督训练数据有限的问题，提出将互联网规模预训练文档知识转化为合成指令和答案训练对的程序，生成FineInstructions数据集，经实验验证该方法在预训练中表现优于其他技术。

"Not in My Backyard": LLMs Uncover Online and Offline Social Biases Against Homelessness

"Not in My Backyard"：LLMs揭示针对无家可归者的在线和线下社会偏见

Jonathan A. Karr, Benjamin F. Herbst, Matthew L. Sisk, Xueyun Li, Ting Hua, Matthew Hauenstein, Georgina Curto, Nitesh V. Chawla

机构 * University of Notre Dame（诺丁汉大学） ； United Nations University Institute in Macau（联合国大学澳门研究所） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文通过大规模数据集和LLM训练揭示了针对无家可归者的在线和线下社会偏见，展示了数据量对模型性能的重要性。

GPA-RAM: Grasp-Pretraining Augmented Robotic Attention Mamba for Spatial Task Learning

GPA-RAM：用于空间任务学习的抓取预训练增强型机器人注意力Mamba

Juyi Sheng, Yangjun Liu, Sheng Xu, Zhixin Yang, Tiantian Xu, Mengyuan Liu

机构 * State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（国家一般人工智能重点实验室，北京大学深圳研究生院） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所，中国科学院） ； State Key Laboratory of Internet of Things for Smart City, University of Macau（智慧城市物联网重点实验室，澳门大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 该研究提出GPA-RAM框架，通过GPA增强模仿策略并开发RAM实现高效计算，在多机器人平台的空间操纵任务中显著提升成功率，兼顾精度与实时性。

RTLCurator: Label-Efficient Data Curation for RTL Generation

RTLCurator：用于RTL生成的标签高效数据整理

Siyang Cai, Cangyuan Li, Wenjing Chang, Kun Wang, Haoyu Gao, Yinhe Han, Ying Wang

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 RTLCurator通过对比规范与模拟失败的实现学习兼容性先验，用少量验证配对校准后，平衡对齐度、覆盖度与结构丰富度保留80%语料，在CodeV和RTLCoder上提升RTL生成模型性能，仅需验证10%语料池。

Detecting Experiential Intertextuality Across Migration Routes: Beyond Surface Similarity in French Narratives

检测移民路线间的经验互文性：法语叙事中超越表面相似性

Sakayo Toadoum Sari, Nelly Robin, Michelle Auzanneau, Lakhdar Sais, Veronique Petit, Marie Veniard, Said Jabbour, Fabien Delorme

机构 * CRIL, CNRS – Université d’Artois（CRIL，法国国家科学研究中心——阿图瓦大学） ； CEPED, Université Paris Cité（CEPED，巴黎西岱大学） ； EDA, Université Paris Cité（EDA，巴黎西岱大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 本文提出无需标注训练数据的经验互文性检测任务，采用多种方法分析法语移民叙事，发现Qwen2.5-7B零-shot及监督混合方法表现最优，且叙事位置显著影响互文性。

Comments 11 pages, 3 figures, 5 tables. Accepted at SIGDIAL 2026 (27th Annual Meeting of the Special Interest Group on Discourse and Dialogue)

Journal ref Proceedings of the 27th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL 2026), Association for Computational Linguistics, 2026

Tokenizer-Agnostic Engram Module

与分词器无关的恩格拉姆模块（Tokenizer-Agnostic Engram Module）

Jia Peng Lim, Hai Leong Chieu

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对Deepseek Engram模块与分词器耦合的问题，通过替换哈希方式构建联合嵌入空间，实现了分词器无关性，同时保持了相当的性能。

Comments Preprint, 7 pages

GoldenRetriever: Non-Interactive Homomorphic Encrypted Retrieval for Privacy-Preserving RAG

GoldenRetriever：用于隐私保护RAG的非交互式同态加密检索

Yang Gao, Gang Quan, Scott Piersall, Qian Lou, Dongdong Wang, Liqiang Wang

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对现有隐私保护RAG检索方案延迟高、易泄露的问题，提出基于阈值选择的非交互式同态加密检索框架，通过CKKS同态计算与掩码极化方法实现高效安全的检索，性能优于排名式加密方法。

Comments 10 pages

Maximum Entropy Behavior Exploration for Sim2Real Zero-Shot Reinforcement Learning

为实机零样本强化学习的最大熵行为探索

Jiajun Hu, Nuria Armengol Urpi, Jin Cheng, Stelian Coros

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出FB-MEBE算法，通过最大熵行为探索策略和正则化批评者，提升实机四足机器人控制的零样本强化学习性能，实现自然可部署的政策。

Influence-driven Curriculum Learning for Pre-training on Limited Data

Loris Schoenegger, Lukas Thoma, Terra Blevins, Benjamin Roth

机构 * Faculty of Computer Science, University of Vienna（维也纳大学计算机科学系） ； UniVie Doctoral School Computer Science, University of Vienna（维也纳大学UniVie计算机科学博士学院） ； Faculty of Philological and Cultural Studies, University of Vienna（维也纳大学文学与文化研究系） ； Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Comments Added acknowledgments section. 9 pages, Accepted to the BabyLM Workshop at EMNLP 2025

Temporally Centered SIGReg Improves Multi-Task LeWorldModel Learning: From Analysis to Method

时间中心SIGReg改进多任务LeWorldModel学习：从分析到方法

Chang Liu, Fei Suo, Yanzhou Jin, Yusuke Iwasawa, Yutaka Matsuo, Yaonan Zhu

机构 * Graduate School of Engineering, The University of Tokyo（东京大学工程学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 该研究针对SIGReg在多任务LeWM中导致表示混叠的问题，提出将其应用于时间中心残差的改进方法，在LIBERO基准上显著提升了多任务世界模型的下游性能。

Can Synthetic Data Overcome the Generalization Limits of AI-Based Flower and Pod Detection Across Cowpea Breeding Genotypes and Environments?

合成数据能否克服基于AI的豇豆花与荚果检测在不同育种基因型及环境下的泛化极限？

Hamid Kamangir, Jonathan Berlingeri, Earl Ranario, Isaac Kazuo Uyehara, Lars Lundqvist, Heesup Yun, Christine H. Diepenbrock, Brian N. Bailey, J. Mason Earles

机构 * University of California Davis（加州大学戴维斯分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本研究针对AI豇豆花荚检测在不同基因型环境下泛化差的问题，发现优化的HDR合成数据仅需少量真实图像即可达到真实数据基线性能，证实合成数据可克服该检测的泛化极限。

PEFT of SLM for Telecommunications Customer Support: A Comparative Study of LoRA Configurations with Energy Consumption Analysis

面向电信客户支持的SLM的PEFT：LoRA配置与能耗分析的比较研究

Lucas Tamic, Ilan Jaffeux-Cheniout, Xavier Marjou

机构 * Orange 纠错

专题命中 指令微调 ：SLM(title,title_cn)；LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究系统比较了不同LoRA配置在Qwen2.5-3B模型上的参数高效微调效果，结合能耗分析和LLM评判框架，发现验证损失最低的配置并不一定获得最佳定性排名，并提出了组合式合成数据生成方法。

Progressive Multimodal Alignment for Continual Instruction Tuning

用于持续指令微调的渐进式多模态对齐

Duzhen Zhang, Yahan Yu, Qiaoyi Su, Jiahua Dong, Tielin Zhang

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心） ； Kyoto University（京都大学） ； Migu Culture Technology Co.,Ltd.（咪咕文化科技有限公司） ； State Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology（脑认知与类脑智能技术国家重点实验室） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)

AI总结 针对多模态持续指令微调中投影器级遗忘问题，提出渐进式多模态对齐框架PMA，以亚线性参数增长平衡稳定性与可塑性，在多基准实验中提升了现有方法性能且适配多种MLLM主干。

Comments Accepted by ACM MM2026

OpsLLM: Construction of Large Language Model for Software Operations with Multi-stage Learning

面向软件运维构建大型语言模型的端到端框架

Jingkai He, Pengfei Chen, Chenghui Wu, Shuang Liang, Ye Li, Gou Tan, Xidao Wen, Chuanfu Zhang, Fang Situ, Qi Zhou

机构 * School of Systems Science and Engineering, Sun Yat-sen University（系统科学与工程学院，中山大学） ； School of Computer Science and Engineering, Sun Yat-sen University（计算机科学与工程学院，中山大学） ； Alibaba Cloud Computing（阿里云 computing） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出OpsLLM，一个专为软件运维设计的大型语言模型，支持基于知识的问题回答和根本原因分析。通过人机协同机制构建高质量数据集，并结合监督微调和强化学习优化模型性能，在多个任务中优于现有开源和闭源模型。

PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction

PTP：基于前序令牌预测的大语言模型反演方法，用于近精确提示重构

Pirzada Suhail, Nagasai Saketh Naidu, Atanu R Sinha, Amit Sethi

机构 * IIT Bombay（印度理工学院孟买分校） ； Adobe Research（奥多比研究中心） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出PTP方法，在黑盒场景下从零训练逆语言模型，通过前序令牌预测实现近精确提示重构，泛化性与迁移性良好，性能优于现有LLM反演工作。

Think2Go: Generative Next POI Recommendation with LLM Reasoning

Think2Go：基于大语言模型推理的生成式下一个兴趣点（POI）推荐

Zhuang Zhuang, Shanshan Feng, Hangwei Qian, Mingqi Yang, Heng Qi, Yanming Shen, Baocai Yin

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

AI总结 Think2Go框架统一SFT与RL推理，通过优势加权机制校准策略优化，解决现有POI推荐模型的意图捕捉不足问题，提升推荐性能与稳健性。

Comments Accepted by KDD 2026 Research Track Cycle 1 (Oral presentation)

Curvature-Weighted Capacity Allocation: A Minimum Description Length Framework for Layer-Adaptive Large Language Model Optimization

曲率加权容量分配：一种基于最小描述长度原理的层适应性大语言模型优化框架

Theophilus Amaefuna, Hitesh Vaidya, Anshuman Chhabra, Ankur Mali

机构 * Bellini College of Artificial Intelligence, Cybersecurity and Computing（人工智能与网络安全与计算学院） ； University of South Florida（佛罗里达州立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于最小描述长度原理的曲率加权容量分配框架，用于层适应性大语言模型优化，通过曲率调整的层增益计算，实现高效容量分配和剪枝，具有理论保证和计算效率。

Comments Accepted to UAI 2026. To be published in PMLR

Small Is Enough: Per-User Style Rewriting of AI-Edited Text via LoRA Adapters

小模型已足够：通过LoRA适配器对AI编辑文本进行单用户风格重写

Antorweep Chakravorty

机构 * University of Stavanger（斯塔万格大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI

AI总结 InMyStyle是注重隐私的单用户系统，用多本地辅助LLM构建配对训练示例，微调0.5B-7B参数模型的LoRA适配器，可将AI编辑文本重写为用户风格，小模型即可完成重写任务，其输出感知AI性低于辅助AI生成内容

CLIFT: Turning Gemini Robotics On-Device into Humanoid Specialists via Non-Invasive Closed-Loop Iterative Fine-Tuning

CLIFT：通过非侵入式闭环迭代微调将Gemini机器人端侧模型转化为人形机器人专家

Yuxin Chen, Hari Srikanth, Nathan Jew, Menglin Wu, Pengcheng Wang, Junli Ren, Masayoshi Tomizuka, Peng Xu, Jinyu Xie, Thomas Tian

机构 * University of California, Berkeley（加州大学伯克利分校） ； Google DeepMind（谷歌DeepMind） ； NVIDIA Research（英伟达研究院） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本研究针对闭源机器人模型的托管式SFT API范式，提出CLIFT方法，在不访问模型内部机制的情况下，将Gemini机器人端侧模型经两次飞轮循环提升至接近完美的敏捷接触任务成功率。

TriShield: Zero-Utility-Loss Defense Against Privacy Backdoors in Federated Language Model Fine-Tuning via Orthogonal Gradient Projection and Optimizer State Entanglement

TriShield：通过正交梯度投影与优化器状态纠缠实现联邦语言模型微调中隐私后门的零效用损失防御

Cheng Wei

机构 * Honor Device Co., Ltd.（荣耀终端有限公司） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 TriShield是一种三层确定性防御，通过参数特征检测、有状态虚拟迭代和零效用正交投影，可完全抵御NeuroImprint攻击，且零模型效用损失、无额外通信轮次，计算开销低。

Comments 12 pages,3 figures

TAPR: Enhancing LLM Performance with a Task-Aware Prompt Rewriter

TAPR：利用任务感知提示重写器提升大语言模型性能

Oliver Savolainen, Emanuele Bastianelli, Hosein Azarbonyad

机构 * University of Amsterdam（阿姆斯特丹大学） ； Elsevier（爱思唯尔） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出TAPR模型，采用带GRPO的强化学习训练，可将用户提示优化为任务适配的提示，经微调Phi-4-mini-instruct后，在多任务基准测试中提升了大语言模型的准确率。

Are the Financial Reasoning from LLMs Credible? A Real World Test over Long-Horizon Statements

大型语言模型（LLMs）的财务推理是否可信？针对长期财务报表的现实测试

Xinke Tong, Xuanming Zhang, Tianyi Tang, An Yang, Jiatu Hu, Guojie Lin, Zhenzhen Shi, Lingfeng Zeng, Boyu Yang, Bing Zhao, Hu Wei, Lin Qu, Dayiheng Liu

专题命中 指令微调 ：SFT(abstract,abstract_cn)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究针对LLMs的财务推理可信度，构建含对抗陷阱的FinIndices基准测试，发现其存在知识与结构瓶颈，监督微调可部分恢复结构化逻辑。

Comments The FinIndices dataset is publicly available at https://huggingface.co/datasets/User158072/Finindice

Watermarking Language Models with Error Correcting Codes

用纠错码对语言模型进行水印标记

Patrick Chao, Yan Sun, Edgar Dobriban, Hamed Hassani

机构 * University of Pennsylvania（宾夕法尼亚大学） ； New Jersey Institute of Technology（新泽西理工学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出了一种基于纠错码的鲁棒二进制码水印方法，用于区分机器生成文本与人类文本，具有鲁棒性和高效性。