语言大模型 / LLM

AMALIA Technical Report: A Fully Open Source Large Language Model for European Portuguese

AMALIA技术报告：一个完全开源的大型语言模型用于葡萄牙语（欧洲葡萄牙语）

Afonso Simplício, Gonçalo Vinagre, Miguel Moura Ramos, Diogo Tavares, Rafael Ferreira, Giuseppe Attanasio, Duarte M. Alves, Inês Calvo, Inês Vieira, Rui Guerra, James Furtado, Beatriz Canaverde, Iago Paulo, Vasco Ramos, Diogo Glória-Silva, Miguel Faria, Marcos Treviso, Daniel Gomes, Pedro Gomes, David Semedo, André Martins, João Magalhães

机构 * NOVA School of Science and Technology（新大学科学与技术学院） ； NOVA LINCS（新大学LINCS实验室） ； Instituto de Telecomunicações（电信研究所） ； Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院） ； Fundação para a Ciência e Tecnologia（科学技术基金会） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

AI总结 AMALIA是一个完全开源的大型语言模型，专注于欧洲葡萄牙语，通过增加高质量数据提升模型性能，并发布新基准测试以评估葡萄牙语生成和语言能力。

Comments PROPOR 2026 - The 17th International Conference on Computational Processing of Portuguese

DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models

DataFlex: 一种统一的以数据为中心的大型语言模型动态训练框架

Hao Liang, Zhengyang Zhao, Meiyi Qiang, Mingrui Chen, Lu Ma, Rongyi Yu, Hengyi Feng, Shixuan Sun, Zimo Meng, Xiaochen Ma, Xuanlin Yang, Qifeng Cai, Ruichuan An, Bohan Zeng, Zhen Hao Wong, Chengyu Shen, Runming He, Zhaoyang Han, Yaowei Zheng, Fangcheng Fu, Conghui He, Bin Cui, Zhiyu Li, Weinan E, Wentao Zhang

机构 * Peking University（北京大学） ； Institute for Advanced Algorithms Research, Shanghai（上海先进算法研究所） ； OriginHub Technology ； LLaMA-Factory Team（LLaMA-Factory团队） ； Zhongguancun Academy（中关村学院） ； OpenDataLab, Shanghai Artificial Intelligence Laboratory（上海人工智能实验室OpenDataLab） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

AI总结 DataFlex 提供了一种统一的以数据为中心的动态训练框架，支持样本选择、领域混合调整和样本再加权，提升了大型语言模型的训练效率和可重复性。

Towards Knowledge Guided Pretraining Approaches for Multimodal Foundation Models: Applications in Remote Sensing

面向多模态基础模型的知识引导预训练方法：遥感应用

Praveen Ravirathinam, Ajitesh Parthasarathy, Ankush Khandelwal, Rahul Ghosh, Vipin Kumar

机构 * University of Minnesota（明尼苏达大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出KG-VSF方法，通过条件生成任务建模预测，提升遥感任务中因果关系的建模能力，提升下游任务性能。

Comments 33 pages with appendix

Detecting Non-Membership in LLM Training Data via Rank Correlations

通过排名相关性检测LLM训练数据中的非成员

Pranav Shetty, Mirazul Haque, Zhiqiang Ma, Xiaomo Liu

机构 * JPMorgan AI Research（摩根大通人工智能研究院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究提出PRISM方法，利用模型logits的排名相关性检测训练数据未被使用，有效排除训练数据中的成员身份，提升模型合规性验证。

Comments Accepted to EACL 2026 Main Conference

LLM-to-Speech: A Synthetic Data Pipeline for Training Dialectal Text-to-Speech Models

LLM-to-Speech: 一种用于训练方言文本到语音模型的合成数据管道

Ahmed Khaled Khamis, Hesham Ali

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Nile University（尼罗大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出NileTTS数据集，通过LLM生成埃及阿拉伯语内容并合成语音，用于训练多语言TTS模型，填补了埃及阿拉伯语语音合成的研究空白。

Comments 8 pages, 2 figures, EACL26

MDKeyChunker: Single-Call LLM Enrichment with Rolling Keys and Key-Based Restructuring for High-Accuracy RAG

MDKeyChunker: 基于滚动键和键驱动重构的单次调用LLM增强方法用于高精度RAG

Bhavik Mangla

机构 * Independent Research（独立研究） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MDKeyChunker通过结构感知分块、单次LLM调用增强和键驱动重构提升RAG精度，实现单次调用提取七种元数据，消除多轮提取需求。

Comments 13 pages, 4 figures, 7 tables, 2 algorithms. Code: https://github.com/bhavik-mangla/MDKeyChunker

Can AI Scientist Agents Learn from Lab-in-the-Loop Feedback? Evidence from Iterative Perturbation Discovery

AI科学家代理能否从循环实验室反馈中学习？来自迭代扰动发现的证据

Gilles Wainrib, Barbara Bodinier, Haitem Dakhli, Josep Monserrat, Almudena Espin Perez, Sabrina Carpentier, Roberta Codato, John Klein

机构 * Owkin Inc（Owkin公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过800次独立重复实验，比较了基于LLM的代理在循环扰动发现中利用反馈与零样本基线的性能差异，发现反馈能显著提升发现效率，且模型能力提升后效果更显著。

Seeing Like Radiologists: Context- and Gaze-Guided Vision-Language Pretraining for Chest X-rays

像放射科医生一样观察：面向胸部X光片的上下文和目光引导的视觉-语言预训练

Kang Liu, Zhuoqi Ma, Siyu Liang, Yunan Li, Xiyue Gao, Chao Liang, Kun Xie, Qiguang Miao

机构 * Xidian University（西安电子科技大学） ； Wuhan University（武汉大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 本文提出CoGaze框架，通过整合临床上下文和放射科医生目光引导，提升胸部X光片的视觉-语言预训练效果，实验显示在多个任务上均优于现有方法。

Comments Code: https://github.com/mk-runner/CoGaze

The Limits of Learning from Pictures and Text: Vision-Language Models and Embodied Scene Understanding

图像与文本学习的极限：视觉语言模型与具身场景理解

Gillian Rosenberg, Skylar Stadhard, Bruce C. Hansen, Michelle R. Greene

机构 * Barnard College, Columbia University（哥伦比亚大学巴纳德学院） ； Colgate University（科尔盖特大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 研究探讨图像与文本学习在人类场景理解中的局限性，通过对比18个视觉语言模型与2000名人类观察者在15项任务中的表现，发现模型在具身认知任务中存在显著缺陷，表明分布学习不足以实现基于 affordance 的场景理解。

Comments 7 figures, 5 tables

THFM: A Unified Video Foundation Model for 4D Human Perception and Beyond

THFM：一种用于4D人体感知及更广泛领域的统一视频基础模型

Letian Wang, Andrei Zanfir, Eduard Gabriel Bazavan, Misha Andriluka, Cristian Sminchisescu

专题命中 预训练与数据 ：foundation model(title,abstract)

AI总结 THFM是一种统一的视频基础模型，能够同时处理密集任务和稀疏任务，其基于预训练的文本到视频扩散模型，并通过可学习的标记增强稀疏预测能力，且在合成数据上表现优异。

Approaches to Analysing Historical Newspapers Using LLMs

利用大语言模型分析历史报纸的方法

Filip Dobranić, Tina Munda, Oliver Pejić, Vojko Gorjanc, Uroš Šmajdek, David Bordon, Jakob Lenardič, Tjaša Konovšek, Kristina Pahor de Maiti Tekavčič, Ciril Bohak, Darja Fišer

机构 * Institute of Contemporary History（当代史研究所） ； Faculty of Arts, University of Ljubljana（卢布尔雅那大学文学院） ； Faculty of Computer Science, University of Ljubljana（卢布尔雅那大学计算机科学学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文结合主题建模和LLM情感分析，探讨20世纪初斯洛文尼亚历史报纸中集体身份和政治倾向的表达。

Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding

迈向GUI代理：用于GUI定位的视觉-语言扩散模型

Shrinidhi Kumbhar, Haofu Liao, Srikar Appalaraju, Kunwar Yashraj Singh

机构 * Arizona State University（亚利桑那州立大学） ； AWS Agentic AI 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文探讨了离散扩散视觉-语言模型在GUI定位中的应用，通过混合掩码策略提升定位精度，并在多个数据集上验证了其有效性。

Comments Accepted to CVPR 2026

Machine Unlearning under Retain-Forget Entanglement

机器遗忘中的保留-遗忘纠缠

Jingpu Cheng, Ping Liu, Qianxiao Li, Chi Zhang

机构 * National University of Singapore（新加坡国立大学） ； University of Nevada Reno（内华达大学里诺分校） ； Institute for Functional Intelligent Materials（功能智能材料研究所） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出一种两阶段优化框架，解决保留与遗忘样本间的纠缠问题，通过增强遗忘集损失并保留无关样本准确性，结合梯度投影和Wasserstein-2距离正则化，提升遗忘任务的可靠性与准确性。

Comments ICLR 2026 camera-ready

PriVi: Towards A General-Purpose Video Model For Primate Behavior In The Wild

PriVi：一种面向野生灵长类行为的通用视频模型

Felix B. Mueller, Jan F. Meier, Timo Lueddecke, Richard Vogg, Roger L. Freixanet, Valentin Hassler, Tiffany Bosshard, Elif Karakoc, William J. O'Hearn, Sofia M. Pereira, Sandro Sehner, Kaja Wierucka, Judith Burkart, Claudia Fichtel, Julia Fischer, Alexander Gail, Catherine Hobaiter, Julia Ostner, Liran Samuni, Oliver Schülke, Neda Shahidi, Erin G. Wessling, Alexander S. Ecker

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 PriVi通过数据驱动方法构建大规模灵长类视频预训练数据集，提升视频模型在低标签场景下的数据效率和泛化能力，优于现有方法。

Comments 9 pages, 5 figures, CVPR 2026

QPT V2: Masked Image Modeling Advances Visual Scoring

QPT V2：掩码图像建模在视觉评分中的进展

Qizhi Xie, Kun Yuan, Yunpeng Qu, Mingda Wu, Ming Sun, Chao Zhou, Jihong Zhu

机构 * Tsinghua University（清华大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出QPT V2框架，通过掩码图像建模提升视觉质量和审美评分能力，通过数据筛选、降质引入和模型结构调整，在11个下游基准测试中表现优异。

Comments 8 pages, 6 figures. Accepted by ACM MM 24

Diffusion MRI Transformer with a Diffusion Space Rotary Positional Embedding (D-RoPE)

具有扩散空间旋转位置嵌入的扩散磁共振成像变换器（D-RoPE）

Gustavo Chau Loo Kung, Mohammad Abbasi, Camila Blank, Juze Zhang, Alan Q. Wang, Sophie Ostmeier, Akshay Chaudhari, Kilian Pohl, Ehsan Adeli

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出D-RoPE以解决扩散磁共振成像中空间、扩散加权和方向依赖性的建模问题，通过自监督预训练提升模型在多种任务中的表现，实现更稳健的跨设置表示。

The Specification as Quality Gate: Three Hypotheses on AI-Assisted Code Review

规范作为质量门：关于AI辅助代码审查的三个假设

Christo Zietsman

专题命中 预训练与数据 ：LLM(abstract)

AI总结 本文探讨AI辅助代码审查的三个假设，指出缺乏可执行规范时审查过程的循环性，并提出规范优先、确定性验证管道和AI审查残余的架构。

Comments 10 pages. Experiments, corpus, and specifications publicly available at https://github.com/czietsman/nuphirho.dev/tree/main/experiments

CoVFT: Context-aware Visual Fine-tuning for Multimodal Large Language Models

CoVFT：面向多模态大语言模型的上下文感知视觉微调

Nan Zhou, Huiqun Wang, Yaoyan Zheng, Di Huang

机构 * State Key Laboratory of Complex and Critical Software Environment, Beihang University（北京航空航天大学复杂关键软件环境国家重点实验室） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出CoVFT框架，通过整合上下文向量提取和上下文混合专家模块，解决多模态任务中视觉微调的不稳定性问题，实现更稳定的视觉更新。

Comments Accepted by CVPR 2026

Aligning LLMs with Biomedical Knowledge using Balanced Fine-Tuning

通过平衡微调对齐大语言模型与生物医学知识

Zhenchao Tang, Fang Wang, Haohuai He, Jiale Zhou, Tianxu Lv, Jun Zhu, Shouzhi Chen, Minghao Yang, Yu Wang, Jiayang Wu, Yidong Song, Yaokun Li, Jiehui Huang, Dawei Huang, Zhi Song, Jianhua Yao

机构 * Tencent AI for Life Sciences Lab（腾讯AI生命科学实验室） ； Sun Yat-sen University（中山大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Westlake University（西湖大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出平衡微调方法，通过双尺度后训练技术提升大语言模型对生物医学知识的理解与生成能力，实验表明其在医疗和生物学推理任务中优于传统方法。

GazeQwen: Lightweight Gaze-Conditioned LLM Modulation for Streaming Video Understanding

GazeQwen: 轻量级 gaze-条件 LLM 调制用于流视频理解

Trong Thang Pham, Hien Nguyen, Ngan Le

机构 * University of Arkansas（阿肯色大学） ； University of Houston（休斯顿大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 GazeQwen 通过隐藏状态调制使开源 MLLM 获得 gaze 意识，采用紧凑的 gaze resampler 和可选 LoRA 调整，在 StreamGaze 基准上达到 63.9% 准确率，优于其他模型。

mSFT: Addressing Dataset Mixtures Overfitting Heterogeneously in Multi-task SFT

mSFT：在多任务SFT中异质性地解决数据混合过拟合问题

Woosung Koh, Jeyoung Jeon, Youngjin Song, Yujin Cheon, Soowon Oh, Jaehyeong Choi, Se-Young Yun

机构 * KAIST AI（韩国科学技术院人工智能系） ； Yonsei University（延世大学） ； Samsung Advanced Institute of Technology（三星高级技术研究所） 纠错

专题命中 指令微调 ：SFT(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 mSFT通过迭代和过拟合感知的搜索算法，解决多任务数据混合中的过拟合问题，优于四个基线方法，在十个基准和六个基模型上表现优异，且在不同数据规模和任务粒度下保持鲁棒性。

Comments Pre-print (newer versions are minor edits)

VLA-OPD: Bridging Offline SFT and Online RL for Vision-Language-Action Models via On-Policy Distillation

VLA-OPD: 通过在线策略蒸馏连接离线SFT与在线RL以构建视觉-语言-动作模型

Zhide Zhong, Haodong Yan, Junfeng Li, Junjie He, Tianran Zhang, Haoang Li

专题命中 指令微调 ：SFT(title,abstract)；post-training(abstract)

AI总结 本文提出VLA-OPD框架，通过在线策略蒸馏结合离线SFT与在线RL，解决预训练模型在部署中的分布偏移和灾难性遗忘问题，提升样本效率与鲁棒性。

Local Precise Refinement: A Dual-Gated Mixture-of-Experts for Enhancing Foundation Model Generalization against Spectral Shifts

局部精确细化：一种双门控专家混合模型用于增强对抗光谱偏移的基础模型泛化能力

Xi Chen, Maojun Zhang, Yu Liu, Shen Yan

机构 * National University of Defense Technology（国防科技大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)

AI总结 本文提出SpectralMoE，通过双门控专家混合模型实现基础模型的局部精确细化，以提升光谱偏移下的语义分割性能，实验表明其在多个基准上达到新状态。

Mitigating the Reasoning Tax in Vision-Language Fine-Tuning with Input-Adaptive Depth Aggregation

通过输入自适应深度聚合缓解视觉语言微调中的推理税

Yiming Ren, Yujiu Yang, Junjie Wang

机构 * Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：language model(abstract)；post-training(abstract)；SFT(abstract)；分类 cs.AI

AI总结 本文提出IADA机制，通过输入自适应的跨深度检索提升视觉语言模型的推理能力，实验表明其在参数效率方面优于LoRA微调。

Learning Rollout from Sampling:An R1-Style Tokenized Traffic Simulation Model

从采样中学习：一种R1风格的分词交通仿真模型

Ziyan Wang, Peng Chen, Ding Li, Chiwei Li, Qichao Zhang, Zhongpu Xia, Guizhen Yu

机构 * State Key Laboratory of Intelligent Transportation System, Key Laboratory of Autonomous Transportation Technology for Special Vehicles, Ministry of Industry and Information Technology, School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院，智能交通系统国家重点实验室，特种车辆自主运输技术重点实验室（工业和信息化部）） ； State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所，多模态人工智能系统国家重点实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI

AI总结 本文提出R1Sim模型，通过分词交通仿真结合熵引导采样和GRPO优化，实现探索与利用的平衡，生成真实安全的多智能体行为。

FairLLaVA: Fairness-Aware Parameter-Efficient Fine-Tuning for Large Vision-Language Assistants

FairLLaVA: 大规模视觉-语言助手中的公平性感知参数高效微调

Mahesh Bhosale, Abdul Wasi, Shantam Srivastava, Shifa Latif, Tianyu Luan, Mingchen Gao, David Doermann, Xuan Gong

机构 * University at Buffalo（布法罗大学） ； University of Kashmir（克什米尔大学） ； Accenture（埃森哲） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.AI

AI总结 FairLLaVA通过减少目标属性间的互信息，实现视觉指令微调中的公平性改进，提升医疗影像生成的公平性和自然语言生成质量。

Comments Accepted to CVPR 2026

DiReCT: Disentangled Regularization of Contrastive Trajectories for Physics-Refined Video Generation

DiReCT：对比轨迹解耦的对比正则化用于物理精细视频生成

Abolfazl Meyarian, Amin Karimi Monsefi, Rajiv Ramnath, Ser-Nam Lim

机构 * Path Robotics ； The Ohio State University（俄亥俄州立大学） ； University of Central Florida（中佛罗里达大学） 纠错

专题命中 指令微调 ：LLM(abstract)；post-training(abstract)；SFT(abstract)；分类 cs.AI

AI总结 本文提出DiReCT方法，通过解耦对比轨迹正则化提升物理精细视频生成的物理合理性，改进VideoPhy的物理常识评分。

Facet-Level Persona Control by Trait-Activated Routing with Contrastive SAE for Role-Playing LLMs

通过对比稀疏自编码器的特质激活路由实现面向级人格控制

Wenqiu Tang, Zhen Wan, Takahiro Komamizu, Ichiro Ide

机构 * Nagoya University（名古屋大学） ； Kyoto University（京都大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL

AI总结 本文提出一种基于对比稀疏自编码器的特质激活路由框架，用于角色扮演大语言模型的人格控制，通过构建平衡监督的语料库，实现稳定的人格表现和输出质量。

Comments Accepted in PAKDD 2026 special session on Data Science :Foundation and Applications

Protecting User Prompts Via Character-Level Differential Privacy

通过字符级差分隐私保护用户提示

Shashie Dilhara Batan Arachchige, Hassan Jameel Asghar, Benjamin Zi Hao Zhao, Dinusha Vatsalan, Dali Kaafar

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种基于差分隐私的字符级扰动方法，用于保护用户提示中的敏感信息，通过远程LLM恢复非敏感词并完成下游任务，实验显示其在隐私与效用之间取得良好平衡。

Label-Free Cross-Task LoRA Merging with Null-Space Compression

无标签跨任务LoRA融合与空域压缩

Wonyoung Lee, Wooseong Jeong, Kuk-Jin Yoon

机构 * KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出无标签的NSC融合方法，通过适配器几何设置合并权重，实现跨分类、回归和序列生成任务的高效融合，优于现有方法。

Comments Accepted at CVPR 2026