语言大模型 / LLM

Large Language Models for Travel Behavior Prediction

基于大语言模型的出行行为预测

Baichuan Mo, Hanyong Xu, Ruoyun Ma, Jung-Hoon Cho, Dingyi Zhuang, Xiaotong Guo, Jinhua Zhao

机构 * Department of Civil Engineering, Tsinghua University, Beijing, China（清华大学土木工程系） ； Department of Civil and Environmental Engineering, Massachusetts Institute of Technology, Cambridge, MA 02139（麻省理工学院土木与环境工程系） ； Department of Urban Studies and Planning, Massachusetts Institute of Technology, Cambridge, MA 20139（麻省理工学院城市研究与规划系） ； Department of Management Science and Engineering, Stanford University, Stanford, CA 94305（斯坦福大学管理科学与工程系） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文提出利用大语言模型进行出行行为预测，通过零样本提示和文本嵌入两种方法，实现了与传统模型相当的预测性能。

UniWeTok: An Unified Binary Tokenizer with Codebook Size $\mathit{2^{128}}$ for Unified Multimodal Large Language Model

UniWeTok: 一种具有 $2^{128}$ 大小代码本的统一二进制分词器用于统一多模态大语言模型

Shaobin Zhuang, Yuang Ai, Jiaming Han, Weijia Mao, Xiaohui Li, Fangyikang Wang, Xiao Wang, Yan Li, Shanchuan Lin, Kun Xu, Zhenheng Yang, Huaibo Huang, Xiangyu Yue, Hao Chen, Yali Wang

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 UniWeTok通过大规模二进制代码本和改进的训练框架，实现统一多模态大语言模型的高效视觉表示。

Comments 29 pages, 9 figures, 33 tables

Automatic End-to-End Data Integration using Large Language Models

基于大语言模型的自动端到端数据集成

Aaron Steiner, Christian Bizer

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL

AI总结 本文提出基于大语言模型的自动端到端数据集成方法，通过生成必要 artifacts 实现数据集成管道的自动化配置，实验表明其在性能和成本上均具竞争力。

Comments 8 pages, 9 tables. Accepted at the Beyond SQL Workshop at ICDE 2026

MITRA: An AI Assistant for Knowledge Retrieval in Physics Collaborations

MITRA：一种用于物理学协作中知识检索的AI助手

Abhishikth Mallampalli, Sridhara Dasu

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MITRA是一种基于RAG的AI助手，通过本地化框架实现物理学协作中的高效知识检索与生成。

Comments Accepted at NeurIPS 2025 Machine Learning for the Physical Sciences workshop and Lepton Photon conference 2025 (Computing AI/ML track)

FG-CLTP: Fine-Grained Contrastive Language Tactile Pretraining for Robotic Manipulation

FG-CLTP: 用于机器人操作的细粒度对比语言触觉预训练

Wenxuan Ma, Chaofan Zhang, Yinghao Cai, Guocai Yao, Shaowei Cui, Shuo Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 FG-CLTP通过细粒度对比学习提升机器人触觉感知，实现高精度分类和控制，减少误差并增强跨传感器泛化能力。

Comments 9 pages, 6 figures

A Systematic Study of Pseudo-Relevance Feedback with LLMs

基于大语言模型的伪相关反馈的系统研究

Nour Jedidi, Jimmy Lin

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文系统研究了基于大语言模型的伪相关反馈方法，发现反馈模型选择和反馈源对PRF效果有重要影响，且从语料库获取反馈在强检索器支持下效果最佳。

Regime-aware financial volatility forecasting via in-context learning

基于情境学习的领域感知金融波动预测

Saba Asaad, Shayan Mohajer Hamidi, Ali Bereyhi

机构 * Department of Electrical and Computer Engineering, University of Toronto（多伦多大学电气与计算机工程系） ； Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种基于情境学习的领域感知金融波动预测方法，通过条件采样策略提升非平稳市场下的预测性能。

Comments 11 pages, 1 figure, Published as a conference paper at ICLR 2026 Workshop on Advances in Financial AI

Talking like Piping and Instrumentation Diagrams (P&IDs)

像管道和仪表图（P&IDs）一样交流

Achmad Anggawirya Alimin, Dominik P. Goldstein, Lukas Schulze Balhorn, Artur M. Schweidtmann

机构 * Process Intelligence Research Group（过程智能研究组） ； Department of Chemical Engineering（化学工程系） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出通过自然语言与P&IDs交互的方法，利用图表示和LLM结合，实现P&IDs信息的检索与解释，提升工程师工作效率。

Journal ref Systems and Control Transactions 2025

Assessing Cognitive Biases in LLMs for Judicial Decision Support: Virtuous Victim and Halo Effects

评估大语言模型在司法决策支持中的认知偏差：善良的受害者效应和光环效应

Sierra S. Liu

机构 * Sierra S. Liu 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究评估大语言模型在司法决策支持中的认知偏差，发现善良受害者效应和光环效应存在差异，部分偏差在人类和模型间有显著差异。

Comments IEEE ICDM 2025

FutureVLA: Joint Visuomotor Prediction for Vision-Language-Action Model

FutureVLA: 视觉-运动联合预测用于视觉-语言-动作模型

Xiaoxu Xu, Hao Li, Jinhui Ye, Yilun Chen, Jia Zeng, Xinyi Chen, Linning Xu, Dahua Lin, Weixin Li, Jiangmiao Pang

专题命中 预训练与数据 ：pretraining(abstract)；post-training(abstract)

AI总结 FutureVLA通过联合视觉-运动预测架构，解决视觉-语言-动作模型中联合建模的挑战，提升时间连续性和视觉监督解耦能力。

Lost in the Middle at Birth: An Exact Theory of Transformer Position Bias

出生时便迷失在中间：变换器位置偏置的精确理论

Borun D Chowdhury

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出变换器位置偏置的精确理论，揭示U形性能曲线源于初始化时因果解码器的几何属性，证明中间上下文检索和训练在结构上具有敌意。

Comments 11 pages, 7 figures

COMIC: Agentic Sketch Comedy Generation

COMIC：基于代理的即兴喜剧生成

Susung Hong, Brian Curless, Ira Kemelmacher-Shlizerman, Steve Seitz

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 COMIC提出了一种基于代理的自动化系统，通过LLM评论家和迭代优化生成高质量喜剧视频。

Comments Project page: https://susunghong.github.io/COMIC/

Global Minimizers of Sigmoid Contrastive Loss

对Sigmoid对比损失的全局极小值

Kiril Bangachev, Guy Bresler, Iliyas Noman, Yury Polyanskiy

机构 * Department of Electrical Engineering and Computer Science（电气工程与计算机科学系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文理论分析了Sigmoid对比损失中同步可训练逆温度和偏置的优势，并提出改进训练动态的重参数化方法。

Comments Author names listed in alphabetical order. NeurIPS 2025. New version includes some results on the geometry of CLIP in addition to geometry of SigLIP

AILS-NTUA at SemEval-2026 Task 8: Evaluating Multi-Turn RAG Conversations

AILS-NTUA 在 SemEval-2026 任务 8: 评估多轮 RAG 对话

Dimosthenis Athanasiou, Maria Lymperaiou, Giorgos Filandrianos, Athanasios Voulodimos, Giorgos Stamou

机构 * National Technical University of Athens（国家技术大学雅典） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 AILS-NTUA 系统通过查询多样性策略和多阶段生成管道，在多轮 RAG 任务中取得领先表现。

Panda: A pretrained forecast model for chaotic dynamics

Panda：用于混沌动力学的预训练预测模型

Jeffrey Lai, Anthony Bao, William Gilpin

机构 * Oden Institute UT Austin（奥登学院德克萨斯大学） ； ECE Department UT Austin（电子与计算机工程系德克萨斯大学） ； Department of Physics UT Austin（物理系德克萨斯大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 Panda是一种预训练模型，通过训练于合成数据集，能够零样本预测混沌系统并有效预测现实世界的时间序列。

Splat2Real: Novel-view Scaling for Physical AI with 3D Gaussian Splatting

Splat2Real：基于物理AI的新型视角缩放与3D高斯点云技术

Hansol Lim, Jongseong Brad Choi

机构 * Department of Mechanical Engineering, State University of New York（纽约州立大学机械工程系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 Splat2Real通过CN-Coverage策略提升物理AI在新型视角下的鲁棒性，实现更稳定的深度预训练和下游控制代理性能。

Learning Bimanual Cloth Manipulation with Vision-based Tactile Sensing via Single Robotic Arm

通过单个机械臂实现基于视觉的触觉感知的双臂布料操作学习

Dongmyoung Lee, Wei Chen, Xiaoshuai Chen, Rui Zong, Petar Kormushev

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 本文提出Touch G.O.G.，通过单个机械臂实现基于视觉的触觉感知的双臂布料操作，结合新颖抓取器设计、视觉Transformer流程和合成数据生成器，实现高精度布料识别与操作。

Comments 11 pages, 13 figures

Scaling Multilingual Semantic Search in Uber Eats Delivery

在Uber Eats配送中扩展多语言语义检索

Bo Ling, Zheng Liu, Haoyang Chen, Divya Nagar, Luting Yang, Mehul Parsana

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出了一种面向生产的多语言语义检索系统，通过微调Qwen2模型和Matryoshka Representation Learning技术，实现了在多个市场和垂直领域中的高召回率提升。

Comments 15 pages, 11 tables, 1 figure. Planned for submission to SIGIR or KDD 2026

No Memorization, No Detection: Output Distribution-Based Contamination Detection in Small Language Models

无记忆，无检测：基于输出分布的污染检测在小语言模型中

Omer Sela

机构 * Tel Aviv University（特拉维夫大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了基于输出分布的污染检测方法CDD在小语言模型中的有效性，发现其在多数情况下表现不佳，而基于概率的方法更优。

Comments Code available at https://github.com/Sela-Omer/Contamination-Detection-Small-LM

Token Cleaning: Fine-Grained Data Selection for LLM Supervised Fine-Tuning

令牌清理：面向LLM监督微调的细粒度数据选择

Jinlong Pang, Na Di, Zhaowei Zhu, Jiaheng Wei, Hao Cheng, Chen Qian, Yang Liu

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出了一种令牌清洗方法，通过评估令牌质量并过滤无信息令牌，提升LLM监督微调的下游性能。

When Fine-Tuning Fails and when it Generalises: Role of Data Diversity and Mixed Training in LLM-based TTS

当微调失效且泛化时：数据多样性与混合训练在基于大语言模型的文本到语音系统中的作用

Anupam Purwar, Aditya Choudhary

机构 * Sprinklr AI 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了LoRA微调在语音克隆任务中的有效性，发现其在语音质量和信噪比提升方面优于基模型，尤其在数据多样性支持下表现更佳。

Comments We finetune the Qwen 0.5B backbone in an LLM TTS with LoRA to raise MOS speaker similarity and SNR. It works best with diverse training audio with uniform data it can amplify noise so tune decoding and use GGUF quantization for low latency stable quality

Learning What Reinforcement Learning Can't: Interleaved Online Fine-Tuning for Hardest Questions

学习强化学习无法做到的：用于最难问题的交错在线微调

Lu Ma, Hao Liang, Meiyi Qiang, Lexiang Tang, Xiaochen Ma, Zhen Hao Wong, Junbo Niu, Chengyu Shen, Runming He, Yanhao Li, Bin Cui, Wentao Zhang

机构 * Peking University（北京大学） ； Zhongguancun Academy（中关村学院） ； Beijing Key Laboratory of Data Intelligence and Security (Peking University)（北京数据智能与安全重点实验室（北京大学）） ； Beijing Key Laboratory of Software and Hardware Cooperative Artificial Intelligence Systems（北京软件与硬件协同人工智能系统重点实验室） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 ReLIFT通过结合强化学习和在线微调，提升模型在复杂问题上的推理能力，实现超过5.2分的性能提升。

Comments 12 pages, 5 figures

Journal ref ICLR 2026

One Model, Many Skills: Parameter-Efficient Fine-Tuning for Multitask Code Analysis

一个模型，多种技能：用于多任务代码分析的参数高效微调

Amal Akli, Maxime Cordy, Mike Papadakis, Yves Le Traon

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出多任务PEFT方法，通过共享模块在代码分析中实现性能与效率的平衡，验证了其在多任务场景下的有效性。

Training with Pseudo-Code for Instruction Following

通过伪代码训练指令跟随

Prince Kumar, Rudra Murthy, Riyaz Bhat, Danish Contractor

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 通过伪代码训练提升LLM指令跟随能力，实现8-21%的提升并在数学和常识推理中取得平均30%的提升。

Comments Under Review

Reason and Verify: A Framework for Faithful Retrieval-Augmented Generation

推理与验证：一种忠实检索增强生成的框架

Eeham Khan, Luis Rodriguez, Marc Queudot

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一种领域特定的RAG框架，通过显式推理和验证机制提升检索增强生成的准确性与透明性，在生物医学问答任务中取得显著性能提升。

Comments Accepted to Canadian AI 2026

Gemma Needs Help: Investigating and Mitigating Emotional Instability in LLMs

Gemma需要帮助：调查并缓解大语言模型中的情绪不稳定

Anna Soligo, Vladimir Mikulik, William Saunders

机构 * Imperial College London（伦敦帝国理工学院） ； Anthropic 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 研究发现Gemma模型在训练后表现出显著情绪不稳定，通过偏好优化可有效缓解，但需进一步改进训练以提升情绪鲁棒性。

ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning

ReMix：用于LoRAs混合的强化路由

Ruizhong Qiu, Hanqing Zeng, Yinglong Xia, Yiwen Meng, Ren Chen, Jiarui Feng, Dongqi Fu, Qifan Wang, Jiayi Liu, Jun Xiao, Xiangjun Fan, Benyu Zhang, Hong Li, Zhining Liu, Hyunsik Yoo, Zhichen Zeng, Tianxin Wei, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta AI ； Washington University St. Louis（华盛顿大学圣路易斯分校） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.LG

AI总结 ReMix通过引入不可学习的路由权重和强化学习技术，改进了混合LoRAs模型的路由机制，提升了模型的表达能力和微调效果。

Comments LLA @ ICLR 2026

A Two-Stage Architecture for NDA Analysis: LLM-based Segmentation and Transformer-based Clause Classification

面向NDA分析的两阶段架构：基于LLM的分段与基于Transformer的条款分类

Ana Begnini, Matheus Vicente, Leonardo Souza

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.AI

AI总结 本文提出基于LLM和Transformer的两阶段架构，用于自动化NDA文档的分段和条款分类，实验结果显示方法在准确率和精确度上均表现优异。

Comments 14 pages, 2 figures, 3 tables. Published at STIL @ BRACIS 2025

Journal ref Simposio Brasileiro de Tecnologia da Informacao e da Linguagem Humana (STIL) 2025

GR-SAP: Generative Replay for Safety Alignment Preservation during Fine-Tuning

GR-SAP: 生成性重放用于在微调过程中保持安全对齐

Zhouxiang Fang, Jiawei Zhou, Hanjie Chen

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 GR-SAP通过生成领域特定对齐数据来保持微调过程中的安全对齐，有效缓解了微调导致的安全退化问题。

Sabiá-4 Technical Report

Sabiá-4 技术报告

Thiago Laitz, Thales Sales Almeida, Hugo Abonizio, Roseval Malaquias Junior, Giovana Kerche Bonás, Marcos Piau, Celio Larcher, Ramon Pires, Rodrigo Nogueira

机构 * Maritaca AI ； Jusbrasil 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 Sabiá-4和Sabiazinho-4是新一代巴西葡萄牙语模型，通过四阶段训练流程提升法律文档、多轮对话和智能体任务能力，实现成本与性能的平衡。