语言大模型 / LLM

AMALIA Technical Report: A Fully Open Source Large Language Model for European Portuguese

AMALIA技术报告：一个完全开源的大型语言模型用于葡萄牙语（欧洲葡萄牙语）

Afonso Simplício, Gonçalo Vinagre, Miguel Moura Ramos, Diogo Tavares, Rafael Ferreira, Giuseppe Attanasio, Duarte M. Alves, Inês Calvo, Inês Vieira, Rui Guerra, James Furtado, Beatriz Canaverde, Iago Paulo, Vasco Ramos, Diogo Glória-Silva, Miguel Faria, Marcos Treviso, Daniel Gomes, Pedro Gomes, David Semedo, André Martins, João Magalhães

机构 * NOVA School of Science and Technology（新大学科学与技术学院） ； NOVA LINCS（新大学LINCS实验室） ； Instituto de Telecomunicações（电信研究所） ； Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院） ； Fundação para a Ciência e Tecnologia（科学技术基金会） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

AI总结 AMALIA是一个完全开源的大型语言模型，专注于欧洲葡萄牙语，通过增加高质量数据提升模型性能，并发布新基准测试以评估葡萄牙语生成和语言能力。

Comments PROPOR 2026 - The 17th International Conference on Computational Processing of Portuguese

DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models

DataFlex: 一种统一的以数据为中心的大型语言模型动态训练框架

Hao Liang, Zhengyang Zhao, Meiyi Qiang, Mingrui Chen, Lu Ma, Rongyi Yu, Hengyi Feng, Shixuan Sun, Zimo Meng, Xiaochen Ma, Xuanlin Yang, Qifeng Cai, Ruichuan An, Bohan Zeng, Zhen Hao Wong, Chengyu Shen, Runming He, Zhaoyang Han, Yaowei Zheng, Fangcheng Fu, Conghui He, Bin Cui, Zhiyu Li, Weinan E, Wentao Zhang

机构 * Peking University（北京大学） ； Institute for Advanced Algorithms Research, Shanghai（上海先进算法研究所） ； OriginHub Technology ； LLaMA-Factory Team（LLaMA-Factory团队） ； Zhongguancun Academy（中关村学院） ； OpenDataLab, Shanghai Artificial Intelligence Laboratory（上海人工智能实验室OpenDataLab） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

AI总结 DataFlex 提供了一种统一的以数据为中心的动态训练框架，支持样本选择、领域混合调整和样本再加权，提升了大型语言模型的训练效率和可重复性。

Towards Knowledge Guided Pretraining Approaches for Multimodal Foundation Models: Applications in Remote Sensing

面向多模态基础模型的知识引导预训练方法：遥感应用

Praveen Ravirathinam, Ajitesh Parthasarathy, Ankush Khandelwal, Rahul Ghosh, Vipin Kumar

机构 * University of Minnesota（明尼苏达大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出KG-VSF方法，通过条件生成任务建模预测，提升遥感任务中因果关系的建模能力，提升下游任务性能。

Comments 33 pages with appendix

Detecting Non-Membership in LLM Training Data via Rank Correlations

通过排名相关性检测LLM训练数据中的非成员

Pranav Shetty, Mirazul Haque, Zhiqiang Ma, Xiaomo Liu

机构 * JPMorgan AI Research（摩根大通人工智能研究院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究提出PRISM方法，利用模型logits的排名相关性检测训练数据未被使用，有效排除训练数据中的成员身份，提升模型合规性验证。

Comments Accepted to EACL 2026 Main Conference

LLM-to-Speech: A Synthetic Data Pipeline for Training Dialectal Text-to-Speech Models

LLM-to-Speech: 一种用于训练方言文本到语音模型的合成数据管道

Ahmed Khaled Khamis, Hesham Ali

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Nile University（尼罗大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出NileTTS数据集，通过LLM生成埃及阿拉伯语内容并合成语音，用于训练多语言TTS模型，填补了埃及阿拉伯语语音合成的研究空白。

Comments 8 pages, 2 figures, EACL26

MDKeyChunker: Single-Call LLM Enrichment with Rolling Keys and Key-Based Restructuring for High-Accuracy RAG

MDKeyChunker: 基于滚动键和键驱动重构的单次调用LLM增强方法用于高精度RAG

Bhavik Mangla

机构 * Independent Research（独立研究） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MDKeyChunker通过结构感知分块、单次LLM调用增强和键驱动重构提升RAG精度，实现单次调用提取七种元数据，消除多轮提取需求。

Comments 13 pages, 4 figures, 7 tables, 2 algorithms. Code: https://github.com/bhavik-mangla/MDKeyChunker

Can AI Scientist Agents Learn from Lab-in-the-Loop Feedback? Evidence from Iterative Perturbation Discovery

AI科学家代理能否从循环实验室反馈中学习？来自迭代扰动发现的证据

Gilles Wainrib, Barbara Bodinier, Haitem Dakhli, Josep Monserrat, Almudena Espin Perez, Sabrina Carpentier, Roberta Codato, John Klein

机构 * Owkin Inc（Owkin公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过800次独立重复实验，比较了基于LLM的代理在循环扰动发现中利用反馈与零样本基线的性能差异，发现反馈能显著提升发现效率，且模型能力提升后效果更显著。

Seeing Like Radiologists: Context- and Gaze-Guided Vision-Language Pretraining for Chest X-rays

像放射科医生一样观察：面向胸部X光片的上下文和目光引导的视觉-语言预训练

Kang Liu, Zhuoqi Ma, Siyu Liang, Yunan Li, Xiyue Gao, Chao Liang, Kun Xie, Qiguang Miao

机构 * Xidian University（西安电子科技大学） ； Wuhan University（武汉大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 本文提出CoGaze框架，通过整合临床上下文和放射科医生目光引导，提升胸部X光片的视觉-语言预训练效果，实验显示在多个任务上均优于现有方法。

Comments Code: https://github.com/mk-runner/CoGaze

The Limits of Learning from Pictures and Text: Vision-Language Models and Embodied Scene Understanding

图像与文本学习的极限：视觉语言模型与具身场景理解

Gillian Rosenberg, Skylar Stadhard, Bruce C. Hansen, Michelle R. Greene

机构 * Barnard College, Columbia University（哥伦比亚大学巴纳德学院） ； Colgate University（科尔盖特大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 研究探讨图像与文本学习在人类场景理解中的局限性，通过对比18个视觉语言模型与2000名人类观察者在15项任务中的表现，发现模型在具身认知任务中存在显著缺陷，表明分布学习不足以实现基于 affordance 的场景理解。

Comments 7 figures, 5 tables

THFM: A Unified Video Foundation Model for 4D Human Perception and Beyond

THFM：一种用于4D人体感知及更广泛领域的统一视频基础模型

Letian Wang, Andrei Zanfir, Eduard Gabriel Bazavan, Misha Andriluka, Cristian Sminchisescu

专题命中 预训练与数据 ：foundation model(title,abstract)

AI总结 THFM是一种统一的视频基础模型，能够同时处理密集任务和稀疏任务，其基于预训练的文本到视频扩散模型，并通过可学习的标记增强稀疏预测能力，且在合成数据上表现优异。

Approaches to Analysing Historical Newspapers Using LLMs

利用大语言模型分析历史报纸的方法

Filip Dobranić, Tina Munda, Oliver Pejić, Vojko Gorjanc, Uroš Šmajdek, David Bordon, Jakob Lenardič, Tjaša Konovšek, Kristina Pahor de Maiti Tekavčič, Ciril Bohak, Darja Fišer

机构 * Institute of Contemporary History（当代史研究所） ； Faculty of Arts, University of Ljubljana（卢布尔雅那大学文学院） ； Faculty of Computer Science, University of Ljubljana（卢布尔雅那大学计算机科学学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文结合主题建模和LLM情感分析，探讨20世纪初斯洛文尼亚历史报纸中集体身份和政治倾向的表达。

Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding

迈向GUI代理：用于GUI定位的视觉-语言扩散模型

Shrinidhi Kumbhar, Haofu Liao, Srikar Appalaraju, Kunwar Yashraj Singh

机构 * Arizona State University（亚利桑那州立大学） ； AWS Agentic AI 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文探讨了离散扩散视觉-语言模型在GUI定位中的应用，通过混合掩码策略提升定位精度，并在多个数据集上验证了其有效性。

Comments Accepted to CVPR 2026

Machine Unlearning under Retain-Forget Entanglement

机器遗忘中的保留-遗忘纠缠

Jingpu Cheng, Ping Liu, Qianxiao Li, Chi Zhang

机构 * National University of Singapore（新加坡国立大学） ； University of Nevada Reno（内华达大学里诺分校） ； Institute for Functional Intelligent Materials（功能智能材料研究所） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出一种两阶段优化框架，解决保留与遗忘样本间的纠缠问题，通过增强遗忘集损失并保留无关样本准确性，结合梯度投影和Wasserstein-2距离正则化，提升遗忘任务的可靠性与准确性。

Comments ICLR 2026 camera-ready

PriVi: Towards A General-Purpose Video Model For Primate Behavior In The Wild

PriVi：一种面向野生灵长类行为的通用视频模型

Felix B. Mueller, Jan F. Meier, Timo Lueddecke, Richard Vogg, Roger L. Freixanet, Valentin Hassler, Tiffany Bosshard, Elif Karakoc, William J. O'Hearn, Sofia M. Pereira, Sandro Sehner, Kaja Wierucka, Judith Burkart, Claudia Fichtel, Julia Fischer, Alexander Gail, Catherine Hobaiter, Julia Ostner, Liran Samuni, Oliver Schülke, Neda Shahidi, Erin G. Wessling, Alexander S. Ecker

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 PriVi通过数据驱动方法构建大规模灵长类视频预训练数据集，提升视频模型在低标签场景下的数据效率和泛化能力，优于现有方法。

Comments 9 pages, 5 figures, CVPR 2026

QPT V2: Masked Image Modeling Advances Visual Scoring

QPT V2：掩码图像建模在视觉评分中的进展

Qizhi Xie, Kun Yuan, Yunpeng Qu, Mingda Wu, Ming Sun, Chao Zhou, Jihong Zhu

机构 * Tsinghua University（清华大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出QPT V2框架，通过掩码图像建模提升视觉质量和审美评分能力，通过数据筛选、降质引入和模型结构调整，在11个下游基准测试中表现优异。

Comments 8 pages, 6 figures. Accepted by ACM MM 24

Diffusion MRI Transformer with a Diffusion Space Rotary Positional Embedding (D-RoPE)

具有扩散空间旋转位置嵌入的扩散磁共振成像变换器（D-RoPE）

Gustavo Chau Loo Kung, Mohammad Abbasi, Camila Blank, Juze Zhang, Alan Q. Wang, Sophie Ostmeier, Akshay Chaudhari, Kilian Pohl, Ehsan Adeli

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出D-RoPE以解决扩散磁共振成像中空间、扩散加权和方向依赖性的建模问题，通过自监督预训练提升模型在多种任务中的表现，实现更稳健的跨设置表示。

The Specification as Quality Gate: Three Hypotheses on AI-Assisted Code Review

规范作为质量门：关于AI辅助代码审查的三个假设

Christo Zietsman

专题命中 预训练与数据 ：LLM(abstract)

AI总结 本文探讨AI辅助代码审查的三个假设，指出缺乏可执行规范时审查过程的循环性，并提出规范优先、确定性验证管道和AI审查残余的架构。

Comments 10 pages. Experiments, corpus, and specifications publicly available at https://github.com/czietsman/nuphirho.dev/tree/main/experiments