语言大模型 / LLM

Geometric Filtering of LLM-Generated Samples for Few-Shot Text Classification

用于小样本文本分类的大语言模型生成样本的几何过滤

Benjamín Schindler, Gonzalo A. Ruz

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究针对LLM生成样本质量异质性问题，提出基于句子嵌入空间欧氏距离的几何过滤框架，结合软加权机制提升小样本文本分类性能，在多任务、多模型及多配置下均表现优异。

Comments 6 pages, 2 figures, to be published in IEEE LACCI 2026

The More Popular, The Harder to Forget: Adaptive Popularity for LLM Unlearning

越受欢迎，越难遗忘：用于大语言模型遗忘的自适应受欢迎度

Anna Borisiuk, Andrey Savchenko, Alexander Panchenko, Elena Tutubalina

机构 * AIRI ； Sber AI Lab（Sber AI实验室） ； Skoltech（斯科尔科沃科学技术研究院） ； ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息学研究所可信人工智能研究中心） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；pretraining(abstract)；分类 cs.CL

AI总结 针对现有LLM遗忘方法未区分训练数据频率的问题，提出AdaPop方法，经实验其在转述查询和对抗性重构下均能显著减少遗忘内容泄露。

MINT: A Universal Zero-Shot Predictor for Transaction Data

MINT：一种用于交易数据的通用零样本预测器

Parameswaran Kamalaruban, Viktor Drobnyi, Maeve Madigan, Julia Rozanova, David Sutton, Stuart Burrell

机构 * Visa Inc.（维萨公司） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；foundation model(abstract,abstract_cn)；instruction tuning(abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出通用零样本预测框架MINT，通过轻量级嵌入注入等技术连接交易序列编码器与LLM，在交易预测问答任务中性能领先且资源消耗更低，证实紧凑交易嵌入更具优势。

RepBench: Compiling Benchmarks into Capability Representations for Large Language Models

RepBench：将基准编译为大语言模型的能力表征

Yanshi Li, Xueru Bai, Shuman Liu, Long Zhang

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 RepBench构建多基准支撑的大语言模型能力表征探测数据层，揭示读出方式与聚合准则对评估的重要性，相关资源以闭环工作流形式发布。

Comments 22 pages, 8 figures, with appendices. Yanshi Li and Xueru Bai contributed equally

Training Fair Tabular Foundation Models

训练公平表格基础模型

Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

机构 * ÉTS Montréal（蒙特利尔高等技术学院） ； Mila - Quebec AI Institute（米拉-魁北克人工智能研究所） ； Layer 6 AI（第六层人工智能公司） ； University of Calgary（卡尔加里大学） ； CIFAR（加拿大高级研究所） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对表格基础模型（TFMs）公平性未被充分探索的问题，本研究提出FairTFM训练策略，将公平约束融入TFMs训练，在132个公平任务上实现公平性提升且保持竞争力准确性。

Comments Spotlight paper at the ICML 2026 Workshop on Foundation Models for Structured Data

CytoBERT: A Foundation Model for Cytometry Data

CytoBERT：用于细胞计数数据的基础模型

Syed Abdul Haseeb Qadri, Bjarne C. Hiller, Felix Blanke, Vanja Sophie Cangalovic, Kutalmış Coşkun, Amin Mirzaei, Tom Siegl, Sebastian Bader, Thomas Kirste, Martin Becker

机构 * University of Rostock（罗斯托克大学） ； Marburg University（马尔堡大学） ； Hessian Center for Artificial Intelligence（黑森人工智能中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对细胞计数数据异质性与非标准化导致机器学习难以应用的问题，推出开源基础模型CytoBERT，经5000万细胞数据预训练后可实现跨数据集迁移学习，为通用细胞计数分析提供新方案。

Scaling Creative Writing Beyond Story-Centric Data with Attribute-Guided Genre Expansion

通过属性引导的体裁扩展扩展非以故事为中心数据的创意写作规模

Hwan Chang, Yongil Kim, Heuiyeen Yeen, Yireun Kim, Jinsik Lee, Hwanhee Lee

机构 * Chung-Ang University（中央大学） ； LG AI Research（LG AI研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究提出属性引导的体裁扩展框架，构建涵盖13种体裁的5万示例语料库，经微调的模型在多类创意写作任务上表现优于基线模型，证实受控体裁扩展是提升创意写作能力的关键。

Comments CIKM 2026

Language-Specific Gaps in AI Safety Training Datasets

AI安全训练数据集中的语言特定缺口

Chialuka Prisca-Mary Onuoha, Bright Etornam Sunu, Rashidat Sikiru

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究审计多语言AI安全训练数据集的语言缺口，发现其与资源层级不完全相关，豪萨语翻译质量未达阈值，非洲语言缺乏特定危害类别覆盖，提出切片级审计方法及建议。

HalluTruthQA-4K: A Fine-Grained Corpus and Annotation Process for Arabic Hallucination Detection and Truth Verification

HalluTruthQA-4K：面向阿拉伯语幻觉检测与事实验证的细粒度语料库及标注流程

Salah Eddine Bekhouche, Abdessalam Bouchekif, Hichem Telli, Mohammed-En-Nadhir Zighem, Abdenour Hadid

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出HalluTruthQA-4K，这一含4000个阿拉伯语问答实例的细粒度语料库，用于阿拉伯语幻觉检测等任务，为HalluScoring 2026共享任务提供官方数据集。

Split the Labor: Separating Evidence Interpretation from Decision Aggregation

分工：将证据解释与决策聚合分离

Zhelun Wu

机构 * Atlassian（亚特兰西安公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出将证据解释与决策聚合分离，设计四字段证据元组解决计数尺度漂移问题，在纵向语料库上实现了优于基线的AUPRC性能。

Comments Atlassian. 22 pages, 2 figures

Rethinking Auxiliary Modalities in Multimodal Zero-shot Anomaly Detection: From Semantic Fusion to Conditional Modulation

重新思考多模态零样本异常检测中的辅助模态：从语义融合到条件调制

Peng Wu, Xin Ge, Yujia Sun, Guansong Pang

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

AI总结 本研究针对现有多模态零样本异常检测方法的缺陷，提出即插即用的辅助条件增强框架，通过全局到局部的条件调制实现选择性多模态增强，在MVTec 3D-AD等数据集上提升了现有RGB零样本异常检测器的性能并达到最优。

LatentAM: Real-Time, Large-Scale Latent Gaussian Attention Mapping via Online Dictionary Learning

LatentAM：通过在线字典学习实现实时、大规模的潜在高斯注意力映射

Junwoon Lee, Yulun Tian

机构 * Robotics Department, University of Michigan（密歇根大学机器人系） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 LatentAM通过在线字典学习实现实时、大规模的潜在高斯注意力映射，提升机器人感知的特征重建保真度与实时性

Comments 8 pages, 7 figures. Accepted for RA-L. Homepage: this https URL (https://junwoonlee.github.io/projects/LatentAM/) Code: this https URL (https://github.com/UMich-SSI-Lab/latentam)

DialectS2S: End-to-End Speech Dialogue Modeling for Low-Resource Chinese Dialects

DialectS2S：面向低资源汉语方言的端到端语音对话建模

Yi Shu, Tianyu Peng, Yingzhuo Deng, Wen Yang, Jun Lin, Changming Xie, Xinyu Yu, Jiajun Zhang

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.CL、cs.AI

AI总结 针对低资源汉语方言语音数据稀缺及语义不一致问题，提出DialectS2S模型，通过合成流水线与自对齐后训练策略提升方言语音生成质量，开源框架实现性能突破。

Multivariate time series transformer embeddings for light curves of periodic variable stars

用于周期性变星光变曲线的多变量时间序列Transformer嵌入

Gabriel Chiong, Ignacio Becker, Pavlos Protopapas

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 该研究扩展了Astromer框架，提出多波段Transformer架构，在周期性变星分类任务中，其F1分数较单波段模型提升10至23个百分点，展现了多波段模型的应用潜力。

Fine-Tuning Qwen3-27B for C-to-Rust Code Translation: A Three-Stage Curriculum of Pretraining, Debugging-Aware SFT, and Task-Specific SFT

微调Qwen3-27B实现C到Rust代码翻译：预训练、调试感知监督微调与任务特定监督微调的三阶段课程

Pu Zhao, Changdi Yang, Yixiao Chen, Yi Gao, Yifan Cao, Haochen Zeng, Yanzhi Wang

专题命中 指令微调 ：SFT(title,abstract)；pretraining(title,abstract)；LLM(summary_cn,abstract_cn)；large language model(abstract)

AI总结 本研究针对C到Rust代码翻译任务，对Qwen3-27B采用三阶段微调课程，结合SACTOR框架评估后，其性能优于基线模型及其他LLM。

LLM-Based Generative Retrieval for Snapchat Content Recommendation

基于大语言模型的生成式检索用于Snapchat内容推荐

Liam Collins, Jiwen Ren, Donald Loveland, Bhuvesh Kumar, Clark Mingxuan Ju, Xuan Guo, Mo Li, Alvin Hou, Yi Cui, Peng Yang, Jian Wang, Saud Afzal Shafi, Nga Than, Ruiming Lu, Wenfeng Zhuo, Dongheng Li, Lili Zhang, Mingtao Zhang, Jinchao Ye, Vincent Xue, Chunhui Zhu, Neil Shah

专题命中 指令微调 ：LLM(title,summary_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对将预训练LLM转化为生成式检索器的挑战，设计了SnapLGR系统，通过三项核心优化实现了Snapchat短视频推荐效果的提升。

Leading-Silence Augmentation and Multi-Stage Synthetic Supervision for the Second MLC-SLM Challenge

面向第二届MLC-SLM挑战赛的前置静音增强与多阶段合成监督

Kexin Shi, Renhe Sun, Yuge Huang, Ximeng Wang, Jiayi Zhou, Jian Liu, Malu Zhang

机构 * Ant Group（蚂蚁集团） ； UESTC（电子科技大学） 纠错

专题命中 指令微调 ：SLM(title,title_cn)；language model(abstract)；分类 cs.CL

AI总结 针对第二届MLC-SLM挑战赛的两项任务，分别采用前置静音增强等策略微调VibeVoice-ASR-7B、用合成问答对微调Qwen3-Omni-30B-A3B-Instruct，提升了任务1和任务2的评估性能。

Approximate Muon with low-rank adapters

基于低秩适配器的近似Muon优化器

Ben Anson, Conor Houghton, Edward Milsom

机构 * University of Bristol（布里斯托大学） ； School of Mathematics（数学学院） ； School of Engineering Mathematics and Technology（工程数学与技术学院） ； University of Bath（巴斯大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文针对Muon优化器难以与LoRA结合用于低秩微调的问题，提出sMuon方法，经实验验证其在SFT和ReLoRA预训练中表现良好，可适度提升低秩微调性能。

Is Convergence Inevitable? Tracing Output Homogeneity Back to Base Models

收敛是不可避免的吗？将输出同质性追溯至基础模型

Alexandrine Fortier, Hazel Chen, Peter West

机构 * University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；pretraining(abstract)；prompting(abstract)；分类 cs.CL

AI总结 该研究指出大语言模型的语义收敛或源于预训练目标，仅靠对齐后干预难缓解，通过实验证实基础模型可被提示诱导类指令式坍缩。

Spatial Message Passing in Language Space for Pathology Image Interpretation

面向病理图像解读的语言空间空间消息传递

Jing-Cheng Yang, Hao-Jung Wang, Jinhao Du, Yang Hu, Ming-shan Tsai, Jens Rittscher, Bin Li

机构 * National Taiwan University（台湾大学） ； University of Oxford（牛津大学） ； ZYTCA Limited（ZYTCA有限公司） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SLMP框架，在语言空间对病理图像执行空间推理，无需微调MLLM，提升肿瘤描述准确率，缩小通用与病理专用MLLM的性能差距。

Comments Accepted at MICCAI 2026 Workshop (Oral)

Towards Efficient Multimodal and Multilingual Opinion Extraction for STI: A QLoRA-Based Fine-Tuning Approach

面向科技情报（STI）的高效多模态多语言观点抽取：一种基于QLoRA的微调方法

Sheng Hong, Xuanqi Wang, Jiacheng Wang, Yuwei Wang

机构 * Beihang University（北京航空航天大学） ； Nanchang University（南昌大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对科技情报观点抽取的噪声过滤与结构化输出问题，提出基于QLoRA微调的多模态框架，在2194样本数据集上实现多语言观点抽取性能显著提升。

HELIX: Model-Harness Co-evolution for Recursive Self-Improvement

HELIX：用于递归自我改进的模型-控制器协同进化

Tianyu Fan, Chao Huang

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 HELIX是支持模型-控制器协同进化的可溯源框架，在代码修复任务中，其65个候选组合提升了4.0%任务覆盖率，生成438条学习记录，形成模型、控制器与数据的反馈系统。

CRAFT: Constrained Reward via Attention Fine-Tuning for Subject Personalization without Composed Targets

CRAFT：无需组合目标的主题个性化的注意力微调约束奖励

Jihun Park, Kyoungmin Lee, Jongmin Gim, Hyeonseo Jo, Jaeyeul Kim, Han Zou, Zhenpeng Zhan, Yan Zhang, Sunghoon Im

机构 * DGIST（大邱科技研究院） ； Baidu, Inc.（百度公司） ； KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)

AI总结 本文提出无需组合目标监督的CRAFT框架，通过LoRA适配器微调参考感知MMDiT，仅用1万张参考样本，在XVerseBench上实现图像主题个性化的最先进性能，且可迁移至其他骨干网络。

Comments 20 pages, 8 figures, ACM SIGGRAPH Asia 2026

Envs-FORGE: Frontier-Optimized Reward-Grounded Environment Synthesis for Agent RL

Envs-FORGE：面向智能体强化学习的前沿优化、奖励驱动的环境合成方法

Xiaojun Wu, Cehao Yang, Honghao Liu, Xueyuan Lin, Zhichao Shi, Hao Zhou, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo

机构 * IDEA Research（IDEA研究院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； DataArcTech Ltd.（DataArcTech有限公司） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.CL

AI总结 Envs-FORGE是面向智能体RL的奖励驱动环境合成方法，通过MILP选动作生成训练环境，在多模型及数据集上显著提升Pass@1等指标。

Comments 19 pages, 5 figures

Adapting Foundation ASR Models to Dysarthric Speech: A Case Study

将基础ASR模型适应于构音障碍语音：案例研究

Christian Huber, Laura Kernahan, Alexander Waibel

机构 * Interactive Systems Lab（交互系统实验室） ； Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.CL

AI总结 通过个性化微调基础ASR模型，针对构音障碍语音将词错误率降至9.7%，验证了适应方法的有效性。

When Gradient Importance Lies: Adaptive LoRA Rank Allocation Fails Under GRPO

基于GRPO的LoRA秩分配：一项实证研究

Yash Ganpat Sawant

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：SFT(abstract)；分类 cs.CL

AI总结 本文探讨LoRA秩分配在强化学习中的有效性，发现GRPO环境下梯度重要性无法预测容量需求，非均匀分配反而降低准确性。

Comments Accepted at the Insights from Negative Results in NLP Workshop, EMNLP 2026

PPOM: Marginalizing Patch-Grid Phase for CLIP-Based Generalizable Vision-Language Prompt Tuning

PPOM：用于基于CLIP的通用视觉-语言提示调优的补丁网格相位边缘化

Liang Wang, Haoyang Li, Chao Wang, Guodong Long, Jing Jiang, Yan Peng

机构 * Shanghai University（上海大学） ； University of Technology Sydney（悉尼科技大学） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 本研究针对基于CLIP的视觉-语言提示调优对补丁网格对齐敏感的问题，提出无训练的PPOM算子，通过边缘化相位偏移提升宿主性能，无需重新训练。

Learning visual representations for compositional analysis of artworks and photographs

面向艺术品与照片的组合分析学习视觉表征

Fatemeh Behrad, Tinne Tuytelaars, Johan Wagemans

机构 * KU Leuven University（KU Leuven大学（荷语鲁汶大学）） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 该研究对比了受人类启发的构图分析方法与微调基础模型两种范式，在三类任务上评估性能，发现前者冻结编码器时具竞争力且可解释，后者微调后性能更优但可解释性与泛化性下降。

Comments ECCV workshops 2026

Rollplex: Cross-Phase GPU Spatial Sharing for Vision Language Model Post-Training

Rollplex：面向视觉语言模型后训练的跨阶段GPU空间共享

Hanfeng Lu, Tianyu Feng, Suyi Li, Yuheng Zhao, Wei Gao, Shaopan Xiong, Ju Huang, Siran Yang, Jiamang Wang, Lin Qu, Wei Wang

机构 * HKUST（香港科技大学） ； Alibaba Inc（阿里巴巴公司） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(title,abstract)；分类 cs.LG

AI总结 Rollplex是一种跨阶段GPU空间共享运行时，通过解耦RL后训练的参考与训练阶段、优化内存与并行度，提升VLMs后训练的GPU利用率与训练速度。

Comments 16 pages, 10 figures

APTER: Adaptive Post-Training with Expert-Grounded Rubrics

APTER：基于专家准则的自适应后训练

Xukai Wang, Liangqi Li, Zhiyue Xu, Jingang Zhou, Xiaoyu Shi, Jiansheng Cai, Bo Zhang, Zhe Li, Xu-Yao Zhang

机构 * Ant Digital Technologies, Ant Group（蚂蚁集团数字科技） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 APTER是将结构化领域知识融入专业复杂推理评估、优化与诊断的框架，通过专家准则生成查询级准则并用于自适应后训练，在数学、医学领域三代模型上均实现性能提升。