arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-06-23 至 2026-06-23 共收录 778 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 52 篇

2606.22189 2026-06-23 cs.LG cs.AI 新提交 93%

L20-Edu-135M: An Auditable Single-GPU Study of Data-Efficient Small Language Modeling

L20-Edu-135M: 一个可审计的单GPU数据高效小语言模型研究

Yin Li

机构 * University of Birmingham(伯明翰大学)

专题命中 指令微调 :SFT(summary_cn,abstract);language model(title,abstract);small language model(title,abstract);pretraining(abstract)

AI总结 本研究在单块NVIDIA L20 GPU上训练134.5M参数的语言模型,使用约13B tokens,通过数据筛选、去重、SFT和RLVR等方法,在零样本任务上达到SmolLM-135M 87.1%的性能,但仅使用其2.17%的tokens。

Comments 13 pages, 8 tables. Model available at https://huggingface.co/AliceYin/l20-edu-135m

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22938 2026-06-23 cs.LG cs.AI 新提交 92%

Provable Benefits of RLVR over SFT for Reasoning Models: Learning to Backtrack Efficiently

RLVR 相对于 SFT 在推理模型中的可证明优势:学习高效回溯

Stanley Wei, Juno Kim

机构 * Princeton University(普林斯顿大学) University of California, Berkeley(加州大学伯克利分校)

专题命中 指令微调 :SFT(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文从理论上证明,在推理任务中,基于可验证奖励的强化学习(RLVR)相比监督微调(SFT)能学习高效回溯,从而在推理时计算上实现指数级优势。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.07930 2026-06-23 cs.CL 版本更新 91%

Patches of Nonlinearity: Instruction Vectors in Large Language Models

非线性补丁:大型语言模型中的指令向量

Irina Bigoulaeva, Jonas Rohweder, Subhabrata Dutta, Iryna Gurevych

机构 * Ubiquitous Knowledge Processing Lab (UKP Lab)(通用知识处理实验室) Department of Computer Science, Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany(计算机科学系,达姆施塔特技术大学和应用网络安全国家研究中心ATHENE,德国)

专题命中 指令微调 :language model(title,abstract);large language model(title);SFT(abstract,abstract_cn);post-training(abstract)

AI总结 通过因果中介分析发现指令表示在模型中高度局部化,称为指令向量(IVs),并揭示其线性可分性与非线性因果交互并存,提出一种免于线性假设的新方法定位信息处理,发现IVs作为电路选择器。

Comments Accepted at ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22942 2026-06-23 cs.CL 新提交 91%

Understanding Knowledge Distillation in Post-Training: When It Helps and When It Fails

理解后训练中的知识蒸馏:何时有效与何时失败

Xin Liu, Simin Ma, Shujian Liu, Song Wang, Sathish Reddy Indurthi, Haoyun Deng, Lu Wang, Kaiqiang Song

机构 * University of Michigan(密歇根大学) Zoom Video Communications(Zoom视频通信公司)

专题命中 指令微调 :SFT(summary_cn,abstract);post-training(title,abstract);large language model(abstract);language model(abstract)

AI总结 本文系统研究后训练阶段的知识蒸馏,发现低数据场景下KD优于SFT,但数据充足时优势减弱;从更强教师蒸馏可恢复增益,并提出两阶段KD策略提升数据稀缺环境下的学生模型性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20641 2026-06-23 cs.RO cs.AI cs.LG 新提交 91%

MAGNIFIED: RL Fine-tuning of Multimodal Large Language Models for Motion Planning

MAGNIFIED: 多模态大语言模型的强化学习微调用于运动规划

Letian Chen, Yiren Lu, Justin Fu, Yichen Xie, Runsheng Xu, Jyh-Jing Hwang, Ben Sapp, Drago Anguelov

机构 * Waymo LLC(Waymo有限责任公司)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);SFT(abstract,abstract_cn);分类 cs.AI、cs.LG

AI总结 提出MAGNIFIED方法,通过强化学习微调多模态大语言模型,利用令牌级奖励优化规划目标,在Waymo数据集上显著降低重叠率和偏离道路率。

Journal ref ICRA 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18487 2026-06-23 cs.LG cs.AI cs.CL 新提交 90%

SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR

SFT 过训练通过熵崩溃预测 RLVR 下的排名反转

Siddharth Aphale, Kelly Liu

机构 * Stanford University(斯坦福大学)

专题命中 指令微调 :SFT(title,title_cn);分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现 SFT 过度训练导致 rollout 分布熵降低,使 GRPO 中优势信号消失,从而引发排名反转;提出基于熵的两阶段诊断方法可预警高风险检查点。

Comments Accepted at the Deep Learning for Code (DL4C) Workshop at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.29473 2026-06-23 cs.HC cs.AI cs.CL cs.CY cs.SI 版本更新 90%

Inform, Coach, Relate, Listen: Auditing LLM Caregiving Support Roles

告知、指导、共情、倾听:审计LLM护理支持角色

Drishti Goel, Agam Goyal, Veda Duddu, Olivia Pal, Jeongah Lee, Qiuyue Joy Zhong, Violeta J. Rodriguez, Daniel S. Brown, Dong Whi Yoo, Ravi Karkar, Koustuv Saha

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校) OSF HealthCare(OSF医疗集团) Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校)

专题命中 指令微调 :LLM(title,title_cn);language model(abstract);prompting(abstract);分类 cs.CL、cs.AI

AI总结 本研究通过操作化四种社会支持角色(告知、指导、共情、倾听),评估大型语言模型在非正式护理对话中的安全概况,发现支持角色系统性地影响交互风险,且存在感知质量-安全性权衡。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23394 2026-06-23 cs.CL 新提交 90%

Do LLM Embedding Spaces Recover Expert Structure?

LLM嵌入空间是否恢复了专家结构?

Yixuan Zhu, Zhenke Duan, Fanghen Li

机构 * Zhongnan University of Economics and Law(中南财经政法大学)

专题命中 指令微调 :LLM(title,title_cn);分类 cs.CL

AI总结 研究LLM嵌入空间能否恢复心理健康领域的专家定义类别结构,通过对比预训练和微调Qwen3嵌入,发现对齐程度依赖于粒度级别且需控制混杂因素。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22082 2026-06-23 cs.SE cs.AI 新提交 90%

CodeTeam: An LLM-Powered Multi-Agent Framework for Repository-Level Code Generation

CodeTeam: 一个基于LLM的多智能体框架用于仓库级代码生成

Yifei Wang, Ruiyin Li, Peng Liang, Qiong Feng, Zengyang Li, Mojtaba Shahin, Arif Ali Khan

机构 * School of Computer Science, Wuhan University(武汉大学计算机学院) School of Computer Science, Nanjing University of Science and Technology(南京理工大学计算机学院) School of Computer Science, Central China Normal University(中央财经大学计算机学院) School of Computing Technologies, RMIT University(皇家墨尔本理工学院计算技术学院) M3S Research Group, SEIS Unit, University of Oulu(奥卢大学M3S研究组,SEIS单元)

专题命中 指令微调 :LLM(title,title_cn);SFT(abstract,abstract_cn);分类 cs.AI

AI总结 提出CodeTeam框架,通过分离规划、决策和实现阶段,结合多智能体协作与依赖感知调度,解决仓库级代码生成中的长程规划与跨文件一致性问题,在SketchEval和NL2Repo-Bench上取得显著提升。

Comments 36 pages, 5 images, 9 tables, Manuscript submitted to a Journal (2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.09777 2026-06-23 cs.NE cs.AI cs.CL cs.LG 版本更新 89%

EvoPref: Multi-Objective Evolutionary Optimization Discovers Diverse LLM Alignments Beyond Gradient Descent

EvoPref:多目标进化优化发现超越梯度下降的多样化大语言模型对齐

Dongxin Guo, Jikun Wu, Siu Ming Yiu

机构 * The University of Hong Kong(香港大学) Stellaris AI Limited(Stellaris AI有限公司)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);preference optimization(abstract)

AI总结 EvoPref通过多目标进化算法在帮助性、无害性和诚实性目标上优化LoRA适配器,发现比梯度下降更丰富的对齐方式,实验显示其在偏好覆盖和崩溃率上均有显著提升。

Comments 10 pages, 2 figures, 6 tables, 1 algorithm. Accepted to GECCO 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.07528 2026-06-23 cs.CL cs.AI 版本更新 89%

From RAG to Agentic RAG for Faithful Islamic Question Answering

从RAG到智能体RAG:面向可靠的伊斯兰问答

Gagan Bhatia, Hamdy Mubarak, Mustafa Jarrar, George Mikros, Fadi Zaraket, Mahmoud Alhirthani, Mutaz Al-Khatib, Logan Cochrane, Kareem Darwish, Rashid Yahiaoui, Firoj Alam

机构 * Qatar Computing Research Institute, HBKU, Qatar(卡塔尔计算研究中心,HBKU,卡塔尔) College of Humanities and Social Sciences, HBKU, Qatar(人文与社会科学学院,HBKU,卡塔尔) Arab Center for Research and Policy Studies, Qatar(阿拉伯研究中心与政策研究所,卡塔尔) College of Islamic Studies, HBKU, Qatar(伊斯兰研究学院,HBKU,卡塔尔) College of Public Policy, HBKU, Qatar(公共政策学院,HBKU,卡塔尔)

专题命中 指令微调 :LLM(summary_cn,abstract_cn);SFT(abstract,abstract_cn);large language model(abstract,comments);language model(abstract,comments)

AI总结 针对LLM在伊斯兰问答中的幻觉与弃权问题,构建双语基准IslamicFaithQA,并提出基于结构化工具调用的智能体RAG框架,显著提升正确性与鲁棒性。

Comments Islamic Question Answering; Faithful Question Answering; Retrieval-Augmented Generation; Agentic RAG; Large Language Models

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23270 2026-06-23 cs.CV 新提交 88%

BoxCtrl: 3D-Aware Visual Prompting for Geometric Image Editing

BoxCtrl: 面向几何图像编辑的3D感知视觉提示

Feifei Wang, Shiyuan Yang, Xiaoyu Li, Jing Liao

机构 * City University of Hong Kong(香港城市大学) Tencent(腾讯)

专题命中 指令微调 :prompting(title,abstract);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 提出BoxCtrl框架,通过投影到2D的RGB 3D边界框作为视觉提示,结合监督微调与强化学习两阶段训练,实现精确的3D几何编辑(平移、旋转、缩放等),达到最先进性能。

Comments Accepted by SIGGRAPH 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.07954 2026-06-23 cs.LG cs.AI 新提交 88%

Minibatch Selection for Language Models via Partition Matroid Constrained Gradient Matching

基于划分拟阵约束梯度匹配的小批量选择

Prayas Agrawal, Prateek Chanda, Ishita Khatri, Ganesh Ramakrishnan, Bamdev Mishra, Pratik Jawanpuria

机构 * Indian Institute of Technology Bombay(印度理工学院班加罗尔) Department of Computer Science and Engineering(计算机科学与工程系) Centre for Machine Intelligence and Data Science(机器智能与数据科学中心) Microsoft Research India(微软印度研究院) Microsoft India(微软印度)

专题命中 指令微调 :language model(title,abstract);LLM(summary_cn);large language model(abstract);分类 cs.AI、cs.LG

AI总结 提出PartitionSel方法,通过划分拟阵约束下的梯度匹配效用最大化,实现跨域小批量选择,减少冗余并提升训练兼容性,在LLM微调中取得鲁棒性提升。

Comments 28 pages, 12 figures, ICML 2026

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026), Seoul, South Korea, PMLR 306, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21453 2026-06-23 cs.HC cs.AI cs.SD eess.AS 新提交 87%

CORTIS: Text-Only Adaptation of Spoken Language Models for Task-Oriented Voice Agents

CORTIS:面向任务型语音代理的纯文本口语语言模型适配

Youngwon Choi, Hyeonyu Kim, Taeyoun Kwon, Donghyuk Jung, Myeongkyun Cho

机构 * Maum AI Inc.(马姆人工智能公司) Seoul National University(首尔国立大学) Korea Culture Technology Institute(韩国文化科技研究所) KAIST(韩国科学技术院)

专题命中 指令微调 :language model(title,abstract);LLM(abstract,abstract_cn);SLM(abstract_cn);分类 cs.AI

AI总结 提出CORTIS框架,通过纯文本任务监督微调口语语言模型,实现推理时直接生成结构化输出,无需配对语音-目标数据,在声学退化下优于级联方法。

Comments Submitted to EMNLP 2026 Industry Track

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19605 2026-06-23 cs.SE cs.AI 新提交 87%

FAPO: Fully Automated Prompt Optimization of Multi-Step LLM Pipelines

FAPO:多步骤LLM流水线的全自动提示优化

Paul Kassianik, Baturay Saglam, Huaibo Zhao, Blaine Nelson, Supriti Vijay, Aman Priyanshu, Amin Karbasi

机构 * Foundation AI–Cisco Systems Inc.(基础AI–思科系统公司) Yale University(耶鲁大学)

专题命中 指令微调 :LLM(title,title_cn);分类 cs.AI

AI总结 提出FAPO框架,通过自动诊断流水线瓶颈并迭代优化提示或链结构,在18个模型-基准比较中15次优于基线GEPA,平均提升14.1个百分点。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.01750 2026-06-23 cs.LG 87%

Communication-Aware Knowledge Distillation for Federated LLM Fine-Tuning over Wireless Networks

面向通信的联邦知识蒸馏用于无线网络上的大语言模型微调

Xinlu Zhang, Na Yan, Yang Su, Yansha Deng, Toktam Mahmoodi

机构 * Department of Engineering, King’s College London(伦敦国王学院工程学院)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出一种通信高效的联邦知识蒸馏方法,通过动态选择Top-k logits和自适应logits聚合方案,降低通信开销并提升蒸馏效果,实验显示在降低约50%通信开销的同时性能更优。

Comments accepted by Globecom 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21638 2026-06-23 cs.CR cs.CL 新提交 86%

Toward Open Weight Models Without Risks: Separating Public and Private Capabilities in LLMs

迈向无风险的开源权重模型:在LLM中分离公共与私有能力

Charbel El Feghali, Arkil Patel, Nicholas Meade, Spandana Gella, Verna Dankers, Siva Reddy

机构 * Mila and McGill University(Mila和麦吉尔大学) Canada CIFAR AI Chair(加拿大CIFAR人工智能主席) ServiceNow Research(ServiceNow研究) McGill-NLP/tiered-language-models(麦吉尔-自然语言处理/分层语言模型)

专题命中 指令微调 :LLM(title_cn,abstract);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出层级语言模型(TLM),通过单一权重集和秘密密钥实现多级能力控制,公共配置保持基础能力,密钥配置解锁私有能力,抵抗微调提取和密钥部分泄露。

Comments Preprint. 28 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.23946 2026-06-23 cs.LG cs.AI cs.CL stat.ML 版本更新 86%

Explore-Execute Chain: Towards an Efficient Structured Reasoning Paradigm

探索-执行链:迈向高效的结构化推理范式

Kaisen Yang, Tinghe Zhang, Rushi Shah, Kaicheng Yang, Qinwei Ma, Dianbo Liu, Alex Lamb

机构 * Qizhi Institute(启智研究院) Dept. of Computer Science, Tsinghua University(清华大学计算机科学系) College of AI, Tsinghua University(清华大学人工智能学院) Engineering Department, National University of Singapore(新加坡国立大学工程系) Dept. of Automation, Shanghai Jiao Tong University(上海交通大学自动化系) IIIS, Tsinghua University(清华大学人工智能研究院) College of Software, Northeastern University(东北大学软件学院)

专题命中 指令微调 :SFT(summary_cn,abstract);LLM(abstract_cn);分类 cs.CL、cs.AI、cs.LG

AI总结 提出探索-执行链(E²C),将推理分为随机探索阶段(生成简洁高层计划)和确定性执行阶段(忠实执行计划),通过因果SFT和RL训练分离,在AIME'2024上以更少token超越思维树,并支持轻量领域适应。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21890 2026-06-23 cs.CL cs.AI 新提交 85%

Scaling Performance and Low-Resource Annotation with Many-Shot In-Context Learning for Named Entity Recognition

扩展性能与低资源标注:面向命名实体识别的多示例上下文学习

Qi Zhang, Fangping Lan, Cornelia Caragea, Longin Jan Latecki, Eduard Dragut

机构 * Temple University(天普大学) University of Illinois Chicago(伊利诺伊大学芝加哥分校)

专题命中 指令微调 :LLM(summary_cn,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文研究多示例上下文学习在命名实体识别中的扩展性,发现使用数百示例可使LLM匹配甚至超越监督BERT,并利用约百个人工标注示例生成高质量数据,在低资源NER上提升约10% F1。

Comments ACL 2026 Findings

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.06985 2026-06-23 cs.CL eess.AS 新提交 83%

Contrastive Training with LLM-generated Near-Misses for Robust Code-Switching Speech Recognition

基于大语言模型生成近误样本的对比训练用于鲁棒语码转换语音识别

Tung X. Nguyen, Hieu Minh Truong, Giang Son Nguyen, Nhu Vo, Wray Buntine, Dung D. Le

机构 * VinUniversity(文大学) University of Technology Sydney(技术悉尼大学) Monash University(莫纳什大学)

专题命中 指令微调 :LLM(title);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出POI感知对比训练框架,通过大语言模型生成近误负样本并过滤,结合POI加权交叉熵与多负例对比损失微调Whisper-small,在语码转换语音识别任务上降低超过2%的错误率。

Comments Accepted at INTERSPEECH 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.14343 2026-06-23 cs.LG 版本更新 83%

Localizing and Editing Knowledge in Large Audio-Language Models

定位与编辑大型音频-语言模型中的知识

Sung Kyun Chung, Jiaheng Dong, Qiuchi Hu, Gongping Huang, Hong Jia, Ting Dang

机构 * The University of Melbourne, Australia(墨尔本大学) University of Auckland, New Zealand(奥克兰大学) Wuhan University, China(武汉大学)

专题命中 指令微调 :language model(title,abstract);LLM(abstract_cn);分类 cs.LG

AI总结 提出首个音频知识定位与编辑基准,通过语音感知因果追踪定位事实知识存储的层和模块,并应用编辑实现细粒度知识控制。

Comments Paper was accepted by Interspeech 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20911 2026-06-23 cs.CL cs.AI 新提交 82%

Latent Personal Memory: Represent personal memory as dynamic soft prompts

潜在个人记忆:将个人记忆表示为动态软提示

Debrup Das, Avinash Amballa, Yashas Malur Saidutta, Vijay Srinivasan, Vivek Kulkarni, Srinivas Chappidi

机构 * University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校) Samsung Research America(三星美国研究院)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 提出潜在个人记忆(LPM)框架,通过可解释的潜在槽矩阵和交叉注意力网络生成动态软提示,在冻结大语言模型上高效编码用户历史,在PersonaMem v1和LoCoMO基准上优于LoRA和提示调优,并大幅降低KV缓存使用。

Comments 17 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22385 2026-06-23 cs.AI cs.CE 新提交 81%

MetaPS: Adaptive Programmatic Strategy Selection for Market Agents

MetaPS:面向市场智能体的自适应程序化策略选择

Jiaxiang Chen, Aotian Luo, Zhouyi Zheng, Weiyi Huang, Chi Zhang, Zenglin Xu

机构 * Fudan University(复旦大学) TensorPacific

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出MetaPS框架,通过模拟市场回滚候选策略并生成监督微调数据,使智能体自适应选择程序化策略,在股票交易和商品交换实验中优于固定策略和直接决策方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14970 2026-06-23 cs.LG 新提交 81%

Zero-order Parameter-free Optimization for LMO-based Methods: Novel Approach for Efficient Fine-tuning

基于LMO方法的零阶无参数优化:高效微调的新方法

Dmitriy Bystrov, Daniil Medyakov, Dmitry Bylinkin, Aleksandr Beznosikov

机构 * University of California, Berkeley(加州大学伯克利分校) Stanford University(斯坦福大学)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 针对大模型微调中反向传播内存开销大、零阶优化对步长和平滑参数敏感的问题,提出统一无梯度训练、自适应调参和非欧几里得更新几何的AdaNAGED方法,并在OPT-1.3B模型上验证有效性。

Comments 29 pages, 1 table

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31201 2026-06-23 cs.CL 版本更新 81%

Point-in-Time Financial RAG with Frozen LLMs and Market-Feedback Adaptive Retrieval

学习信任谁:事件驱动金融RAG中冻结大语言模型的市场反馈自适应检索

Zijie Zhao, Roy E. Welsch

机构 * Massachusetts Institute of Technology(麻省理工学院)

专题命中 指令微调 :LLM(summary_cn,abstract);分类 cs.CL

AI总结 针对事件驱动金融RAG,提出通过外部贝叶斯源记忆更新检索层,利用市场反馈自适应选择证据源,在冻结LLM情况下提升预测和投资组合表现。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23567 2026-06-23 cs.LG cs.AI 新提交 81%

Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models

调度思维:在扩散语言模型中学习思维的顺序

Jiawei Xu, Minghui Liu, Aakriti Agrawal, Yifan Chen, Furong Huang

机构 * University of Maryland, College Park(马里兰大学帕克分校) University of California, Los Angeles(加州大学洛杉矶分校)

专题命中 指令微调 :language model(title,abstract);分类 cs.AI、cs.LG

AI总结 提出自感知调度(SAS),通过策略优化学习扩散语言模型中的去掩码顺序,显著提升Sudoku和数学推理任务的生成质量。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.08206 2026-06-23 cs.LG cs.AI 版本更新 81%

Distributional Regression with Tabular Foundation Models: Evaluating Probabilistic Predictions via Proper Scoring Rules

基于表格基础模型的分布回归:通过适当评分规则评估概率预测

Jonas Landsgesell, Pascal Knoll, Tizian Wenzel

机构 * University of Stuttgart(斯图加特大学) Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学) Munich Center for Machine Learning(慕尼黑机器学习中心)

专题命中 指令微调 :foundation model(title,abstract);分类 cs.AI、cs.LG

AI总结 针对表格基础模型(如TabPFN、TabICL)生成完整预测分布但基准仅用点估计指标的问题,提出使用适当评分规则进行训练、微调和排名,证明不同评分规则在有限数据上导致不同归纳偏差和模型性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23623 2026-06-23 cs.RO 新提交 80%

dVLA-RL: Reinforcement Learning over Denoising Trajectories for Discrete Diffusion Vision-Language-Action Models

dVLA-RL:基于去噪轨迹的强化学习用于离散扩散视觉-语言-动作模型

Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

机构 * Shanghai Jiao Tong University(上海交通大学) Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院) Baidu AI Cloud D-Robotics Shanghai AI Laboratory(百度AI云D-机器人上海人工智能实验室)

专题命中 指令微调 :SFT(summary_cn,abstract)

AI总结 提出dVLA-RL方法,将离散扩散VLA模型的强化学习目标从边缘动作概率转移到采样生成路径的联合概率,通过将去噪过程建模为马尔可夫决策过程,实现变步长调度,在LIBERO上达到99.7%成功率,在RoboTwin 2.0上相比SFT提升30.6%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23494 2026-06-23 cs.CV 新提交 80%

Brain-Adapter: A Dual-Stream Vision-Language MIL Framework for Comprehensive 3D CT Diagnosis of Acute Intracranial Pathologies

Brain-Adapter: 一种用于急性颅内病理综合3D CT诊断的双流视觉-语言MIL框架

Zhenyu Yi, Zhiyun Song, Yusong Sun, Zelin Liu, Manman Fei, Zhenhao Li, Jiaxuan Zhao, Xu Han, Lichi Zhang

机构 * School of Biomedical Engineering, Shanghai Jiao Tong University(上海交通大学生物医学工程学院) Department of Computing, Imperial College London(伦敦帝国理工学院计算系)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 提出Brain-Adapter双流多实例学习框架,利用预训练2D生物医学视觉-语言模型和原始诊断报告,通过文本条件注意力和不确定性感知融合实现3D CT扫描的多标签分类,无需密集标注。

Comments Accepted to MICCAI 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17999 2026-06-23 cs.CL 新提交 79%

VoidPadding: Let [VOID] Handle Padding in Masked Diffusion Language Models so that [EOS] Can Focus on Semantic Termination

VoidPadding: 让 [VOID] 处理掩码扩散语言模型中的填充,以便 [EOS] 专注于语义终止

Chunyu Liu, Zhengyang Fan, Kaisen Yang, Alex Lamb

机构 * Tsinghua University(清华大学)

专题命中 指令微调 :language model(title);instruction tuning(abstract);分类 cs.CL

AI总结 提出VoidPadding方法,通过引入[VOID]令牌处理填充,将[EOS]从双重角色中解放,实现大块解码下的早期停止和自适应响应扩展,在数学推理和代码生成任务上平均提升17.84分,并减少55.7%的NFE。

Comments Minor related-work revisions; results unchanged

详情

展开后加载摘要…

URL PDF HTML 收藏