语言大模型 / LLM

KG2Code: Bridging Knowledge Graphs and Large Language Models via Executable Code for Question Answering

KG2Code：通过可执行代码连接知识图谱与大语言模型以进行问答

Yike Wu, Nan Hu, Guilin Qi, Guohui Xiao, Chen Jiang, Xinchun Zou, Yuchen Lu, Songlin Zhai, Yongrui Chen, Yuyang Zhang, Xiaoguang Li, Lifeng Shang, Jiaoyan Chen, Jeff Z. Pan

机构 * Southeast University（东南大学） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education（教育部新一代人工智能技术及其交叉应用重点实验室（东南大学）） ； Huawei Technologies（华为技术有限公司） ； University of Manchester（曼彻斯特大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 研究针对知识图谱问答中现有方法的局限，提出KG2Code方法，将知识图谱转换为代码表示，在此基础上构建KG2Code-QA框架，把KGQA作为代码生成任务，还构建代码语料库，训练后的模型在KGQA任务中表现优异且泛化性强。

DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data

数据编排器：学习编排预训练数据的示例级整理

Zhen Huang, Yikun Wang, Shijie Xia, Pengfei Liu

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对预训练数据处理未适应各示例需求的问题，提出DataOrchestra框架，统一处理操作并为每个示例编排特定管道，经实验验证该框架在多基准测试中表现良好，在数学持续预训练中有效且能减少计算。

Comments 36 pages

DomainPilot: Domain-Level Loss-Guided Two-Stage Data Mixture Optimization for Efficient Language Model Fine-Tuning

DomainPilot：用于高效语言模型微调的域级损失引导两阶段数据混合优化

He Zhang

机构 * Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；SFT(abstract)

AI总结 研究针对大语言模型训练数据问题，提出DomainPilot框架，通过域级损失引导两阶段数据混合优化，经令牌级监测、缩放与混合定律引导优化，在Qwen3-1.7B模型微调中验证，有效提升指标且不增成本。

CuraWeb: Joint Optimization of Quality, Redundancy, and Diversity for Web-Scale Pretraining Data

CuraWeb：网络规模预训练数据的质量、冗余性和多样性联合优化

Peiguang Li, Yongwei Zhou, Juncheng Diao, Yuchun Fan, Jian Yang, Jianxiao Yang, Zhongda Su, Shuguang Jiao, Xiao Wei, Zhiye Zou, Gan Dong, Zhizhao Zeng, Rongxiang Weng, Jingang Wang, Xunliang Cai

机构 * Meituan（美团） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 研究针对开放网络语料库预训练数据优化的局限性，提出质量、冗余性和多样性联合优化范式，结合双轨清理与混合去重，构建CuraWeb语料库，实验证明其在多基准测试中性能显著优于基线。

Bayesian Repetition Penalty: A Principled Adjacent-Conditional Framework for Reversing Attention Collapse in Autoregressive Language Models

贝叶斯重复惩罚：一种用于扭转自回归语言模型中注意力崩溃的有原则的相邻条件框架

Wenjie Fan, Bin Ma, Dong Li

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 针对自回归语言模型注意力崩溃问题，提出基于相邻条件概率构造的贝叶斯重复惩罚框架，通过自归一化惩罚率校正异常置信度，经指数移动平均累积到输出层偏差，实验表明该机制能拯救崩溃模型并保持生成质量。

EmoTrace: An Emotion Trajectory-Centered Framework for Psychological Support Dialogue Generation

EmoTrace：一种以情感轨迹为中心的心理支持对话生成框架

Kaitong Weng, Lixin Liu, Zihao Liu, Bo Wang, Shiguang Ni

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对现有心理支持对话数据生成方法的局限，提出EmoTrace框架，通过构建求助者认知概况及相关模块，以模拟其情感轨迹，增强情感表达层次性，实验证明该方法在情感丰富度和共情质量上优于现有方法。

Comments 36 pages, 20 figures

cMoLLM at Scale: Horizontal Scaling Laws for Mixture-of-LLMs

大规模的cMoLLM：语言模型混合的水平扩展定律

Xin Yang, Yemin Wang, Mingda Liu, Letian Li, Shuaishuai Cao, Zhengxiao He, Ryan Dong

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型训练和推理成本随模型规模线性增长的瓶颈，将MoE风格混合层 reformulate 为可变内核动态卷积，引入cMoLLM，在FineWeb训练的模型中提升了语言建模及下游任务表现，有更好流利用率等优势。

Comments 15 pages, 3 figures

The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages

分词器代价：量化并解释印度语言子词分词的跨语言成本

Priyansh Srivastava

机构 * Sirena Ai India（印度Sirena人工智能公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究量化印度语言子词分词跨语言成本，测量六种分词器在十四种语言上的分词丰富度，揭示字节对合并失败是高代价主因，多语言分词器可降低代价，还发现分词与阅读理解性能关联受语言资源可用性影响。

IndicTalk: A Large-Scale Persona-Based Multilingual Conversational Corpus for Indic Languages

IndicTalk：用于印度语言的大规模基于角色的多语言对话语料库

Sahil Deepak Gawande, Mayank Singh

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对印度语言高质量多语言代码混合对话资源稀缺问题，提出通过全自动管道生成IndicTalk语料库，涵盖多种印度语言变体，经多种评估表现良好，将发布该语料库支持相关人工智能开发评估。

DecoupleMix: Decoupled Ratio Search and Convex Allocation for Scalable VLM Data Recipes

DecoupleMix：用于可扩展视觉语言模型数据配方的解耦比率搜索和凸分配

Jiahao Xie, Zhongbin Guo, Qianle Wang, Ruiqi Lu, Dongling Xiao, Wanxuan Sun, Cheng Yang

机构 * ByteDance（字节跳动） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 该研究针对视觉语言模型数据构建缺乏原则性标准的问题，提出DecoupleMix框架，将其解耦为类间比率搜索和类内凸分配两个子问题，实验证明该方法优于启发式基线，且最优比率可跨规模转移，提升了VLM竞争力。

$N_0$-VTLA: Scaling Vision-Tactile-Language-Action Model with Latent Tactile Tokens

$N_0$-VTLA：使用潜在触觉令牌扩展视觉-触觉-语言-动作模型

NeoteAI Team, Fudan TEAI Team

机构 * NeoteAI Team（NeoteAI团队） ； Fudan TEAI Team（复旦大学TEAI团队） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；post-training(abstract)

AI总结 研究提出$N_0$-VTLA模型，基于视觉主干，通过视觉-触觉预训练、分阶段触觉路径集成和优势条件离线策略改进进行触觉集成训练。该模型在丰富接触基准测试中表现出色，为通用触觉驱动操作策略奠定基础。

Masked Autoencoders Learn Perception-Relevant Representations from Resting State Neural Data

掩码自动编码器从静息态神经数据中学习与感知相关的表示

Aleksandr Kovalev, Antonio Lozano, Fabrizio Grani, Cristina Soto Sanchez, Leili Soo, Rocío López-Peco, Adrian Villamarin-Ortiz, Roberto Morollón Ruiz, María del Mar Ayuso Arroyave, Alfonso Rodil, Eduardo Fernández

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究利用自监督学习，通过在盲人参与者V1区的自发神经活动上预训练掩码自动编码器，测试能否改善感知解码。结果显示该方法有效，表明自发皮层活动有价值，无监督预训练是改善神经解码的好策略。

Comments 6 papers, 4 figures. NeuroAI Workshop, AAAI 2026

Journal ref Proceedings of the First Workshop on NeuroAI Multimodal Intelligence @ AAAI 2026, PMLR 308:93-98, 2026

BHARATI: Morphology-Aware Tokenizers for Classical Indian Languages with Subword Fertility Analysis

BHARATI：用于古典印度语言的形态感知分词器及子词丰富度分析

Poornima Kumaresan, Pavithra Muruganantham, Lakshmi Rajendran, Santhosh Sivasubramani

机构 * Centre for Sensors, Instrumentation and Cyber-Physical System Engineering (Centre for SeNSE), Indian Institute of Technology Delhi（印度理工学院德里分校传感器、仪器仪表和网络物理系统工程中心（SeNSE中心）） ； RSL Quantum, FITT, IIT Delhi（印度理工学院德里分校FITT的RSL量子公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对古典印度语言分词低效问题，提出BHARATI，它基于多语言语料库训练出三个版本的分词器，经子词丰富度分析和实验验证，v3表现出色，能减少序列长度，增加下游语言模型有效上下文长度，相关模型、脚本和基准已开源。

Comments 33 pages, 6 figures

From transcription to semantic corpus analysis: unsupervised learning of sentence representations for ancient languages

从转录到语义语料库分析：古代语言句子表示的无监督学习

Th{é}otime de la Selle

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 研究古代语言句子表示的无监督学习，采用TSDAE和CSE策略，将专门语言模型转换为特定语料库句子编码器，在教父文献圣经重用案例中表现出色，优于多种基线，且可跨作品作者迁移，相关工具可供非专业人员使用。

Scaling GUI Agents with Visual State Transitions

通过视觉状态转换扩展 GUI 智能体

Xiangyan Liu, Kaixin Li, Haonan Wang, Biao Wu, Meng Fang, Longxu Dou, Chao Du, Michael Qizhe Shieh, Tianyu Pang

机构 * NUS（新加坡国立大学） ； Sea AI Lab（Sea人工智能实验室） ； UTS（悉尼科技大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 研究通过状态转换预训练扩展 GUI 智能体，联合优化逆动力学和正向动力学预训练统一多模态模型，在桌面和移动 GUI 场景基准测试中优于基线，联合动力学优化有稳定改进，下游性能随转换数据量提升。

Understanding Human-like Solutions in Combinatorial Optimization via Learning and Search

通过学习和搜索理解组合优化中类人解决方案

Haijiang Yan, Jian-Qiao Zhu, Liqiang Huang, Ming Meng

机构 * The University of Warwick（华威大学） ； The University of Hong Kong（香港大学） ； The Chinese University of Hong Kong（香港中文大学） ； South China Normal University（华南师范大学） ； The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 研究欧几里得旅行商问题中人类如何找到接近最优解，通过大规模行为和计算研究，对比人类与基于指针网络的神经策略，发现类人解决方案或源于结构化监督学习、强化学习及测试时搜索的结合。

CHiPS: Character Histograms and Positional Signals for Lightweight Authorship Attribution in Romanian Texts

CHiPS：罗马尼亚语文本中用于轻量级作者归属的字符直方图和位置信号

Sanda-Maria Avram, George C. Ţurcaş

机构 * Faculty of Mathematics and Computer Science, Babeş-Bolyai University（巴比什-波雅依大学数学与计算机科学学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 该研究针对罗马尼亚语文本提出CHiPS轻量级字符级作者归属方法，研究两种互补写作风格指纹，包括字符直方图分类器和位置信号分类器，还介绍了融合变体等，通过实验探讨受限字符证据在严格泄漏控制下的效果。

Comments 17 pages, 12 tables

DeVA: Decoupled Video-Action Model with physical guidance for robot policy learning

DeVA：用于机器人策略学习的具有物理引导的解耦视频-动作模型

Mengqi Zhang, Sahil Khose, Simar Kareer, Yuchen Song, Unnat Jain, Judy Hoffman

机构 * University of California, Irvine（加利福尼亚大学欧文分校） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 研究可泛化机器人操纵策略，提出DeVA模型，通过专门的视频和动作专家、多级特征转移及物理显著引导，实现丰富信息交换，使策略学习更易处理，在模拟和实际实验中展现良好性能。

Comments Project page with videos, code, and checkpoints: https://deva-model.github.io/

How LLM Task-Adaptation Reshapes Alignment: A Multi-dimensional Study of Behavioral and Representational Drift

大语言模型任务适应如何重塑对齐：行为和表征漂移的多维研究

James Elcock, William F. Shen, Xinchi Qiu, Nicholas D. Lane

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究大语言模型任务适应对对齐的影响，通过系统评估监督微调、KL正则化SFT和可验证奖励强化学习等方法，发现训练后调整非均匀重塑对齐，不同方法影响各异，强调任务适应是对齐干预，应进行多维对齐评估。

Comments 21 pages, 7 figures (includes references and appendices)

Learning When to Reason for Text-to-SQL via SFT and DPO

通过监督微调（SFT）和直接偏好优化（DPO）学习何时对文本到SQL进行推理

Soohyuk Jang, Jiheum Yeom, Nohil Park, Sang Hun Kim, Yoonyoung Choi, Kiwook Bae, Sungroh Yoon

机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电气与计算机工程系） ； AI Center, Samsung Electronics（三星电子人工智能中心） ； AIIS, ASRI, INMC, ISRC, and IPAI, Seoul National University（首尔国立大学人工智能研究所、高级科学研究所以及综合纳米技术中心、信息存储研究中心和人工智能平台研究所） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 研究文本到SQL推理问题，提出AutoThinkSQL框架，集成自动思考机制到SFT和DPO中，使模型能根据查询难度动态调整推理，在基准测试中提升效果，减少输出令牌和延迟，让推理决策与查询难度匹配。

Comments 8 pages, 5 figures. Model checkpoints are available at https://huggingface.co/autothinksql

ARdena: Scenario-driven control of real-time LLM agents

ARdena：实时大语言模型智能体的场景驱动控制

Luka Borozan, Domagoj Matijević

机构 * Faculty of Applied Mathematics and Informatics, University of Osijek Croatia（奥西耶克大学应用数学与信息学院，克罗地亚） ； Meet Intelligent Innovations LLC（Meet智能创新有限责任公司） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究如何在实时交互环境中控制大语言模型智能体行为，提出分层场景驱动的LLM控制框架，通过结构化提示实现运行时行为控制，在ARDena中实现该框架并评估，结果显示场景驱动提示能有效控制LLM智能体。

Comments 12 pages, 3 figures

Generative Artificial Intelligence (GenAI) to convert images of queuing networks into verifiable simulation models: an open-weight LLM workflow approach

生成式人工智能（GenAI）将排队网络图像转换为可验证的仿真模型：一种开放权重的大语言模型工作流方法

Thomas Monks, Alison Harper, Amy Heather, Navonil Mustafee

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究提出Sketch2DES工作流，利用开放权重LLMs将排队网络图像转换为可验证仿真模型，经多阶段处理，在多图表评估中各阶段可靠性高，相比直接代码生成提升多项性能，证明结构化工作流模型生成对LLM辅助仿真建模的可行性。

Group Preference Collapse in Personalized Multimodal Large Language Models

个性化多模态大语言模型中的群体偏好崩溃

Fan Lyu, Wenqi Zhang, Joost van de Weijer

机构 * Computer Vision Center, Universitat Autònoma de Barcelona（计算机视觉中心，巴塞罗那自治大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究个性化多模态大语言模型中群体偏好崩溃问题，提出PrefMoE框架，它分离配置文件信息与偏好表示，分解偏好，保留个性化残差并通过单独路径路由因素，实验表明该框架能改善偏好敏感个性化并减少偏好崩溃。

Separating Clicks from Baits: Using Large Language Models to Detect Misleading YouTube Thumbnails

从诱饵中分离点击：使用大语言模型检测误导性的YouTube缩略图

Wajiha Naveed, Muhammad Muneeb Pervez, Zaeem Mohtashim Khan, Zafar Ayyub Qazi, Zartash Afzal Uzmi

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究针对YouTube等平台误导性缩略图问题，提出用大语言模型的多模态检测管道，构建数据集并评估多个模型，发现Claude 3.5 Sonnet性能突出，通过失败分析为视频平台发展提供方向。

Comments Accepted to the 21st International AAAI Conference on Web and Social Media (ICWSM 2027)

Journal ref Proceedings of the International AAAI Conference on Web and Social Media, 2027

Strategy-Aware Parameter-Efficient Adaptation for LLM-based Auto-Bidding

基于大语言模型的自动出价的策略感知参数高效适配

Songyue Cai, Lianyu Wang, Shan Gu, Ziru Xu, Jian Xu, Xiaofeng Zhu, Bo Zheng

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究广告自动出价问题，提出SAGE框架，通过位置增强、文本对齐和约束门控LoRA三个组件，实现参数高效多模态对齐，在大规模基准实验中性能卓越，调整参数少，消融研究验证各组件贡献。

CHS-SQL: A Text-to-SQL approach based on Confidence-Guided Heuristic Search Schema Linking process

CHS-SQL：一种基于置信度引导启发式搜索模式链接过程的文本到SQL方法

Minghao Yang, Yanjun Xu

机构 * Hainan COSCO Shipping Technology Co., Ltd.（海南中远海运科技有限公司） 纠错

专题命中 指令微调 ：SLM(summary_cn,abstract)；language model(abstract)；small language model(abstract)；分类 cs.AI

AI总结 研究针对文本到SQL任务，提出CHS-SQL框架，在模式链接阶段结合模型内部置信度进行启发式搜索，平衡精确率和召回率，在SQL生成时进一步优化候选查询，避免局部最优，通过SLM取得了文本到SQL任务的最新成果。

IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems

IKS-Instruct：一个用于教授语言模型印度知识体系的包含24000个示例的多语言数据集

Shwetha Singaravelu, Gayathri Muruganantham, Lakshmi Rajendran, Santhosh Sivasubramani

机构 * Intrinsic Lab, Centre for Sensors, Instrumentation and Cyber-Physical System Engineering (Centre for SeNSE), Indian Institute of Technology Delhi（印度理工学院德里分校传感器、仪器仪表和网络物理系统工程中心（传感中心）本征实验室） ； RSL Quantum, FITT, IIT Delhi（印度理工学院德里分校 FITT 学院 RSL 量子实验室） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对现有指令数据集问题，提出IKS-Instruct多语言数据集教授语言模型印度知识体系，源于六种源类型，经多评判评估框架评估质量，展示了该数据集在特定模型微调上的效果及模型质量与数据整理的关系。

Comments 32 pages, 5 figures

Foundation Models and Fine-Tuning: Toward a New Generation of Models for Time Series Forecasting

基础模型与微调：迈向新一代时间序列预测模型

Morad Laglil, Bertrand Pracca, Emilie Devijver, Eric Gaussier

机构 * Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔国立综合理工学院、信息与地理实验室） ； Savoye（萨瓦亚） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究受自然语言处理中大型语言模型突破启发，探讨基础模型用于时间序列预测，回顾其架构、预训练策略等，研究预训练后微调选定基础模型，实证结果表明微调可提高预测精度

Cheap Probes Predict Expensive Training in 3D-CT Vision--Language Models

廉价探针预测3D-CT视觉语言模型中的昂贵训练

Renjie Liang

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.AI

AI总结 研究为3D-CT视觉语言模型选编码器及压缩方案时，候选组合多难比较。提出用廉价探针替代，构建含验证门限的探测基准，比较读出头并配对探针与下游任务，早期结果显示廉价探针排序与昂贵微调一致，有望快速筛选方案。

FlowCTS: On-policy Continuous Trajectory Supervision of Flow Models

FlowCTS：流模型的在线连续轨迹监督

Kaiyang Ye, Yuan Ge, Junxiang Zhang, Bei Li, Ziming Zhu, Haishu Zhao, Xiaoqian Liu, Chenglong Wang, Jingbo Zhu, Zhengtao Yu, Tong Xiao

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 【一句话总结】研究针对策略蒸馏在流模型中的扩展探索不足的问题，提出FlowCTS，通过匹配轨迹等方法得出速度匹配上限并离散化，在多参考设置下有优势，还揭示了基于KL的策略蒸馏的不足，且在策略外设置也表现出色。