arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-07-15 至 2026-07-15 共收录 215 信号源:cs.CL, cs.AI, cs.LG

1. 预训练与数据 7 篇

2602.16726 2026-07-15 cs.MA 版本更新 91%

Bridging Individual and Collective Realism in LLM-Based Human Mobility Simulation via Mobility Scaling-Law Guidance

通过共享数据中的移动度量引导基于LLM的人群移动模拟

Hua Yan, Heng Tan, Yu Yang

专题命中 预训练与数据 :LLM(title,title_cn);large language model(abstract);language model(abstract)

AI总结 M2LSimu通过共享数据中的移动度量引导多提示调整,有效提升基于LLM的人群移动模拟的群体协调与真实性

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.04029 2026-07-15 cs.DB cs.AI cs.LG 版本更新 84%

PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models

PluRel: 合成数据解锁关系基础模型的扩展定律

Vignesh Kothapalli, Rishabh Ranjan, Valter Hudovernik, Vijay Prakash Dwivedi, Johannes Hoffart, Carlos Guestrin, Jure Leskovec

机构 * Stanford University(斯坦福大学) SAP Labs LLC(SAP实验室)

专题命中 预训练与数据 :foundation model(title,abstract);pretraining(abstract);分类 cs.AI、cs.LG

AI总结 PluRel通过合成多表关系数据库,实现了关系基础模型在扩展定律上的突破,展示了合成数据在提升模型泛化能力方面的潜力。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12831 2026-07-15 cs.CL 新提交 83%

Knowledgeless Language Models: Suppressing Parametric Recall for Evidence-Grounded Language Modeling

无知识语言模型:抑制参数化记忆以进行基于证据的语言建模

Roi Cohen, Yvan Carré, Nick Lechtenbörger, Hendrik Droste, Lucas Kerschke, Russa Biswas, Gerard de Melo, Jan Buys

机构 * HPI / University of Potsdam(波茨坦大学哈索·普拉特纳数字工程学院) African Institute for Mathematical Sciences(非洲数学科学研究所) Department of Computer Science Aalborg University(奥尔堡大学计算机科学系) Department of Computer Science University of Cape Town(开普敦大学计算机科学系) Polytechnique Montréal(蒙特利尔理工大学)

专题命中 预训练与数据 :language model(title,abstract);pretraining(abstract);分类 cs.CL

AI总结 研究修改预训练信号能否使语言模型从参数化记忆转向基于证据的推理,引入无知识语言模型(KLLMs),其在命名实体匿名化语料库上预训练,实验表明能降低闭卷事实记忆,在多任务基准上表现优,提升鲁棒性与校准,为语言模型训练提供新思路。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11020 2026-07-15 cs.CL cs.LG 版本更新 81%

Can a Language Model Learn Facts Continually in Its Weights?

语言模型能否在其权重中持续学习事实?

Charles O'Neill

机构 * Baseten(巴斯滕)

专题命中 预训练与数据 :language model(title,abstract);分类 cs.CL、cs.LG

AI总结 研究语言模型能否在权重中持续学习事实,通过追踪写入Qwen3模型的虚构事实及实验发现,训练数据广度决定知识类型,事实可行为遗忘但不擦除,广泛数据能创建可用知识,可靠通道是上下文而非权重。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12524 2026-07-15 cs.CR cs.SE 新提交 67%

Open-Source Intelligence for Code Provenance and the Security Patterns that Separate Human and Large-Language-Model Implementations of Common Programming Tasks

用于代码溯源的开源情报以及区分人类和大语言模型对常见编程任务实现的安全模式

Mohammadreza Rashidi

专题命中 预训练与数据 :large language model(abstract);language model(abstract)

AI总结 研究开发者代码来源(人类答案和大语言模型输出)的差异,利用开源构建管道收集样本,训练分类器区分溯源,报告安全差异,通过案例研究发现修复情况及问题,管道数据驱动可添加新任务或语言。

Comments 25 pages, 10 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12360 2026-07-15 cs.LG 新提交 57%

Same Loss, Same Noise, Opposite Schedules: Noise Structure and Optimizer Normalization Jointly Determine Whether Learning-Rate Cooldown Helps

相同损失、相同噪声、相反调度:噪声结构和优化器归一化共同决定学习率冷却是否有帮助

Subham Singh, Ashutosh Mishra, Subha Raut

专题命中 预训练与数据 :pretraining(abstract);分类 cs.LG

AI总结 研究热身 - 稳定 - 衰减学习率调度中冷却阶段效果,发现其取决于梯度噪声结构和优化器更新归一化。通过理论分析和模拟,揭示不同情况下冷却的作用机制,还在真实分类任务中验证噪声 regime 诊断,解释冷却是否有帮助。

Comments 11 pages, 12 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12079 2026-07-15 cs.CL 新提交 57%

The Capacity of Thought: Benchmarking Llama 3.2 in Semantic fMRI Neural Language Decoding and Improving the Huth Encoding-Model Baseline

思维的能力:在语义功能磁共振成像神经语言解码中对Llama 3.2进行基准测试并改进Huth编码模型基线

Milos Suvakovic, Dom Marhoefer, Glenn Grant-Richards, Aidan Pinero

机构 * UC Santa Cruz(加州大学圣克鲁兹分校)

专题命中 预训练与数据 :language model(abstract);分类 cs.CL

AI总结 研究从fMRI信号中解码连续语言的挑战,一方面改进Huth编码管道,另一方面引入fMRIFlamingo,发现高容量语言模型本身未提升fMRI解码能力,且无严格评估会掩盖失败,强调盲控评估的重要性。

Comments 7 pages, 2 tables, 2 figures. Preprint. NLP 244: Advanced Machine Learning for Natural Language Processing report, UC Santa Cruz

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 指令微调 23 篇

2509.24372 2026-07-15 cs.LG cs.AI cs.NE 版本更新 92%

Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning

大规模进化策略:超越强化学习的LLM微调

Xin Qiu, Yulu Gan, Conor F. Hayes, Qiyao Liang, Yinggan Xu, Roberto Dailey, Elliot Meyerson, Babak Hodjat, Risto Miikkulainen

机构 * University of California, Los Angeles, Los Angeles, CA, USA(加州大学洛杉矶分校) Cognizant AI Lab, San Francisco, CA, USA(Cognizant AI实验室) The University of Texas at Austin, Austin, TX, USA(德克萨斯大学奥斯汀分校) Massachusetts Institute of Technology, Cambridge, MA, USA(麻省理工学院)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);post-training(abstract)

AI总结 本文提出使用进化策略进行大规模LLM微调,证明其在多个方面优于强化学习,为LLM微调提供了新的方法。

Comments Published at ICML 2026 main conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12468 2026-07-15 cs.SD cs.AI 新提交 92%

An Omnilingual-ASR-Based Speech-LLM System for the 2nd MLC-SLM Challenge

用于第二届MLC-SLM挑战赛的基于全语言自动语音识别的语音语言模型系统

Shuming Fang, Shuifei Zeng

专题命中 指令微调 :SLM(title,title_cn);LLM(title,abstract);分类 cs.AI

AI总结 该研究针对第二届MLC-SLM挑战赛任务1,提出级联分帧识别系统,结合多种技术,测试无先验信息。分析工程选择影响,如基于嵌入的聚类更优,重叠感知分割虽提召回率但增加tcpMER,在开发集和评估集有相应表现。

Comments Accepted to INTERSPEECH 2026. 4 pages + references. Technical description of our 2nd MLC-SLM Challenge Task 1 submission

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.06715 2026-07-15 cs.CL cs.AI cs.LG 版本更新 90%

Does Topic Sentiment Cause Perceived Ideology? Comparing Human and LLM Annotations in Political News Articles

主题情感是否导致感知意识形态?比较政治新闻文章中人类与LLM的标注

Upasana Chatterjee

机构 * Columbia University(哥伦比亚大学)

专题命中 指令微调 :LLM(title,title_cn);分类 cs.CL、cs.AI、cs.LG

AI总结 研究主题情感对感知政治意识形态的因果效应,通过比较人类与LLM标注,发现微调GPT-4o-mini产生显著因果效应,归因于捷径学习。

Comments V1 accepted to ACL SRW 2026. V2 updates experiments

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.10125 2026-07-15 cs.CR cs.SE 版本更新 89%

D-LiFT: Improving LLM-based Decompiler Backend via Code Quality-driven Fine-tuning

D-LiFT:通过代码质量驱动的微调改进基于大语言模型的反编译器后端

Muqi Zou, Hongyu Cai, Hongwei Wu, Zion Leonahenahe Basque, Arslan Khan, Berkay Celik, Dave, Tian, Antonio Bianchi, Ruoyu, Wang, Dongyan Xu

专题命中 指令微调 :LLM(title,summary_cn);large language model(abstract);language model(abstract)

AI总结 研究针对反编译器输出质量问题,提出D-LIFT方法。通过代码质量感知强化学习微调LLM,利用D-Score综合评估系统指导,在保持准确性的同时提升可读性,实验证明该方法有效提高了反编译代码质量。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.24787 2026-07-15 cs.AI 版本更新 87%

ReLope: KL-Regularized LoRA Probes for Multimodal LLM Routing

ReLope:KL正则化的LoRA探针用于多模态大语言模型路由

Yaopei Zeng, Congchao Wang, Blake JianHang Chen, Lu Lin

机构 * Pennsylvania State University(宾夕法尼亚州立大学) Amazon AGI(亚马逊AGI) Google(谷歌)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 针对多模态大语言模型路由中探针性能下降问题,提出Attention Probe和KL正则化的LoRA探针ReLope,通过改进隐藏状态质量提升路由效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.12682 2026-07-15 cs.LG 版本更新 87%

RAFP: Identifying LLM Lineages via Rare-Region Fingerprints

RAFP:通过稀有区域指纹识别大语言模型谱系

Yun-Yun Tsai, Jia Hao Liang, Chuan Guo, Junfeng Yang, Laurens van der Maaten

机构 * Department of Computer Science, Columbia University, USA(哥伦比亚大学计算机科学系) Meta, USA(Meta公司)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 针对大语言模型所有权验证需求,提出RAFP框架,利用稀有区域指纹识别模型谱系。该方法非侵入性,通过离散梯度优化构建指纹,理论分析表明其在微调下似然变化有界,实验显示在黑盒设置中性能优于基线。

Comments 16 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11893 2026-07-15 cs.CL cs.AI 新提交 82%

I'm Sorry, but I Can't Help with Braille: Revealing Accessibility Failures in State-of-the-Art LLMs

对不起,我无法处理盲文:揭示当前最先进语言模型中的无障碍性缺陷

Abdullah Abdullah

机构 * orinu Inc.(奥里努公司)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 研究评估先进语言模型在韩语-盲文翻译上的表现,发现其存在缺陷。通过人工标注数据集测试,发现输出差且不稳定。对比发现,对小模型进行监督微调效果更好,揭示了当前语言模型的局限,证明特定监督的有效性。

Comments Accepted at the LTEDI Workshop at ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.13013 2026-07-15 cs.AI cs.SD 新提交 79%

Audio-Native Speech Recognition with a Frozen Discrete-Diffusion Language Model

使用冻结离散扩散语言模型的音频原生语音识别

Harsha Vardhan Khurdula, Abhinav Kumar Singh, Yoeven D Khemlani, Vineet Agarwal

机构 * Interfaze AI(Interfaze人工智能公司)

专题命中 指令微调 :language model(title,abstract);分类 cs.AI

AI总结 探讨离散扩散语言模型能否用于语音识别,训练音频原生接口,用冻结Whisper编码器等,约42M参数。自然训练目标遇问题,连接主义时间分类损失打破僵局,模型在LibriSpeech test-clean上字错误率6.6%,能并行转录多种语言。

Comments 10 pages, 2 figures, 6 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.02244 2026-07-15 cs.LG cs.CL 版本更新 79%

Entropy-Preserving Supervised Fine-Tuning via Adaptive Self-Distillation for Large Reasoning Models

在学习中保持好奇心:通过自适应自蒸馏实现熵保持的监督微调以提升大推理模型

Hao Wang, Hao Gu, Hongming Piao, Kaixiong Gong, Yuxiao Ye, Xiangyu Yue, Sirui Han, Yike Guo, Dapeng Wu

机构 * City University of Hong Kong(香港城市大学) The Hong Kong University of Science and Technology(香港科学与技术大学) The Chinese University of Hong Kong(香港中文大学)

专题命中 指令微调 :SFT(abstract,abstract_cn);post-training(abstract);分类 cs.CL、cs.LG

AI总结 CurioSFT通过自适应自蒸馏和熵引导温度选择,提升大推理模型的探索能力,在监督微调和强化学习阶段均取得显著改进。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12782 2026-07-15 cs.CV 新提交 78%

MBTI: A Multi-Branch Efficient Fine-Tuning Framework for Hyperspectral Image Classification with Foundation Models

MBTI:一种用于基于基础模型的高光谱图像分类的多分支高效微调框架

Mingzhen Xu, Haonan Guo, Di Wang, Yinghua Qu, Zhiliang Zhou, Lei Zhang, Huiwen Yao, Rui Zhao, Fengxiang Wang, Gang Wan, Bo Du, Liangpei Zhang

机构 * School of Computer Science, Wuhan University(武汉大学计算机科学学院) State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室) China Petroleum Pipeline Engineering Corporation(中国石油管道局工程有限公司) Hebei Key Laboratory of Underground Energy Storage Technology(河北省地下储能技术重点实验室) No. 7 Oil Production Plant, Changqing Oilfield Branch, PetroChina Company Limited(中国石油天然气股份有限公司长庆油田分公司第七采油厂) Faculty of Electrical Engineering and Computer Science, Ningbo University(宁波大学电气工程与计算机科学学院) College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机科学与技术学院) School of Aerospace Information, Space Engineering University(航天工程大学航天信息学院) Key Laboratory of Intelligent Processing and Applicati(智能处理与应用重点实验室)

专题命中 指令微调 :foundation model(title,abstract)

AI总结 针对高光谱基础模型因传感器光谱带配置差异难以直接转移用于HSI分类的问题,提出MBTI框架,通过多分支预处理、LoRA模块及注意力融合模块,在保留光谱信息同时适应下游任务,实验证明其性能优越且可训练参数少。

Comments The code will be available at https://github.com/Azhenmiddleblock/MBTI/tree/main

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31437 2026-07-15 cs.CV 版本更新 78%

Astra: a generalizable report generation foundation model for 3D computed tomography

Astra:一种用于三维计算机断层扫描的通用报告生成基础模型

Zhuhao Wang, Fang Chen, Chaohui Yu, Zihan Li, Yuchao Zheng, Jing Wang, Xuan Yang, Jia Guo, Zhenlu Yang, Xingju Zheng, Yihua Sun, Haojie Han, Xiaoxiao Qin, Zhan Feng, Wenbo Xiao, Chao Zhu, Yuehua Li, Shipeng Zhang, Hao Luo, Yunsong Peng, Fan Wang, Hongen Liao

机构 * School of Biomedical Engineering, Tsinghua University(清华大学生物医学工程学院) School of Biomedical Engineering, Shanghai Jiao Tong University(上海交通大学生物医学工程学院) DAMO Academy, Alibaba Group(阿里云达摩院) Hupan Laboratory(壶辰实验室) Department of Biomedical Engineering, National University of Singapore(新加坡国立大学生物医学工程系) Department of Radiology, Guizhou Provincial People’s Hospital(贵州省级人民医院放射科) Department of Radiology, The First Affiliated Hospital, Zhejiang University School of Medicine(浙江大学医学院附属第一医院放射科) Department of Radiology, Shanghai Sixth People’s Hospital Affiliated to Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属第六人民医院放射科) College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)

专题命中 指令微调 :foundation model(title,abstract)

AI总结 提出Astra模型,通过风格统一和强化学习,在8个器官系统的CT报告生成中实现高精度,平均细粒度诊断指标提升44.1%,并加速临床工作流。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.28583 2026-07-15 cs.CV cs.AI cs.MM 版本更新 77%

Navigating the Mirage: A Dual-Path Agentic Framework for Robust Misleading Chart Question Answering

穿越幻象:一种双路径代理框架用于鲁棒的误导图表问答

Yanjie Zhang, Yafei Li, Rui Sheng, Zixin Chen, Yanna Lin, Huamin Qu, Lei Chen, Yushi Sun

机构 * The Hong Kong University of Science and Technology(香港科技大学)

专题命中 指令微调 :SFT(abstract,abstract_cn);language model(abstract);分类 cs.AI

AI总结 本文提出ChartCynics双路径框架,通过分离感知与验证,利用诊断视觉路径和OCR驱动数据路径解决图表误导问题,提升模型鲁棒性。

Comments 10pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2110.14746 2026-07-15 q-bio.GN cs.LG q-bio.QM 74%

Deciphering the Language of Nature: A transformer-based language model for deleterious mutations in proteins

解读自然的语言:一种基于变压器的语言模型用于蛋白质中致病性突变预测

Theodore Jiang, Li Fang, Kai Wang

专题命中 指令微调 :language model(title);分类 cs.LG

AI总结 本文提出MutFormer,一种基于transformer的模型,用于预测蛋白质错义突变的致病性,通过结合自注意力和卷积层,提升对氨基酸突变依赖性的建模能力。

Comments The main text has 43 pages, 5 figures and 3 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12279 2026-07-15 cs.CL cs.LG 新提交 73%

A Shared Subcircuit Lets LLMs Count Down Across Tasks

一个共享子电路使大语言模型能够跨任务进行倒计时

Jacob Dunefsky, Wes Gurnee, Emmanuel Ameisen

机构 * Yale University(耶鲁大学) Anthropic

专题命中 指令微调 :LLM(abstract);language model(abstract);分类 cs.CL、cs.LG

AI总结 研究发现Llama-3.1-70B-Instruct中有个“倒计时子电路”可跨任务执行特定任务,先在受控设置中分离它,再研究其表示几何结构,发现与另一模型有相同模式,还通过无监督探测找到其用于多种任务的情况,有助于理解行为推广。

Comments 12 pages, 11 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12112 2026-07-15 cs.LG cs.AI cs.CV cs.DC 新提交 73%

Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning

用于联邦多模态大语言模型微调的弹性正则化和合成重放持续学习

Jing Liu, Chenxuanyin Zou, Jiayang Ren, Gaoyun Fang, Chengfang Li, Yan Wang, Zhenchao Ma, Bo Hu

机构 * The University of British Columbia(英属哥伦比亚大学) Fudan University(复旦大学) Royal College of Science, Imperial College London(伦敦帝国理工学院皇家科学学院) Dyson School of Design Engineering(戴森设计工程学院) Suzhou Institute of Biomedical Engineering and Technology (SIBET), Chinese Academy of Sciences(中国科学院苏州生物医学工程技术研究所) East China Normal University(华东师范大学)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 研究针对联邦多模态大语言模型微调中灾难性遗忘问题,提出FedCMM框架,在参数、数据、聚合三个层面嵌入持续学习保障,经实验验证该框架在准确性和反向迁移上优于基线,能实现跨异构网络AI部署的稳健进化适应。

Comments submitted to IEEE JSTSP

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12111 2026-07-15 cs.LG cs.AI cs.DC cs.MA cs.NI 新提交 73%

PFAdapter: Hierarchical LoRA Decomposition for Personalized Federated MLLMs

PFAdapter:用于个性化联邦多模态大语言模型的分层LoRA分解

Jing Liu, Kun Yang, Yan Wang, Dingkang Yang, Xiaoshuai Hao, Wei Zhang, Yang Liu, Wei Zhou

机构 * College of Future Information Technology, Fudan University(复旦大学未来信息技术学院) Division of Natural and Applied Sciences, Duke Kunshan University(昆山杜克大学自然科学与应用科学部) Department of Electrical and Computer Engineering, The University of British Columbia(英属哥伦比亚大学电气与计算机工程系) Ant Group(蚂蚁集团) College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院) School of Data Science and Engineering, East China Normal University(华东师范大学数据科学与工程学院) College of Intelligent Robotics and Advanced Manufacturing, Fudan University & Fysics AI(复旦大学智能机器人与先进制造学院及复肆智能科技(上海)有限公司) Xiaomi EV, Xiaomi Campus(小米汽车、小米园区) Information and Communications Technology Cluster, Singapore Institute of Technology (SIT)(新加坡理工学院信息通信技术集群) College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院) School of Computer Science and Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 针对分布式网络中联邦微调平衡全局知识与局部适应的挑战,提出PFAdapter框架,用分层LoRA分解将适配器参数分离,通过正交正则化和选择性聚合协议减少通信成本,实验证明该框架在多数据集上性能优于基线,为智能AI部署提供有效方案。

Comments submitted to IEEE TCCN

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11919 2026-07-15 cs.NE cs.AI cs.CV cs.LG 新提交 62%

Do You Remember? Toward Memory-Centric Multimodal AI

你还记得吗?迈向以记忆为中心的多模态人工智能

Xuguang Yu, Weigang Zheng, Minyue Yu

专题命中 指令微调 :LLM(abstract);分类 cs.AI、cs.LG

AI总结 研究针对当前多模态语言模型缺乏重建性记忆的问题,提出DoYouRemember三阶段架构,通过VQ-VAE、LoRA微调语言模型和扩散解码器实现,经实验发现语言模型隐藏状态视觉信息少,还解决了共享记忆矩阵训练问题,统一相关发现于信息论框架。

Comments 43 pages, 8 figures, 3 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12422 2026-07-15 cs.AI 新提交 57%

Accepted Prefixes Are Not All You Need: A Negative Result on PEFT-Based Block-Diffusion Drafting

接受前缀并非全部所需:基于PEFT的块扩散草稿生成的负面结果

Abdurrahman Javat, Allan Kazakov

机构 * Bahçeşehir University(巴赫切希尔大学)

专题命中 指令微调 :language model(abstract);分类 cs.AI

AI总结 研究基于PEFT - BD的推测性解码方法,虽有避免分词器不匹配等优点,但在Qwen3 - 0.6B实验中未实现实际加速,因草稿生成器计算不高效。结果表明成功推测性解码需草稿生成器执行成本远低于验证器。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.04144 2026-07-15 cs.AI 版本更新 57%

RippleBench: Capturing Ripple Effects Using Existing Knowledge Repositories

RippleBench: 利用现有知识库捕捉涟漪效应

Roy Rinberg, Usha Bhalla, Igor Shilov, Flavio P. Calmon, Rohit Gandikota

机构 * Harvard University(哈佛大学) Imperial College London(伦敦帝国学院) Northeastern University(东北大学)

专题命中 指令微调 :language model(abstract);分类 cs.AI

AI总结 提出RippleBench-Maker自动管道,从知识库检索语义邻居生成选择题,评估八种遗忘方法在Llama3-8B-Instruct上的涟漪效应,发现准确率下降随语义距离衰减且跨模型一致。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12820 2026-07-15 cs.CV 新提交 50%

AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning

AVSCap:为全模态视频字幕编排视听协同

Yanghai Wang, Jiahao Wang, Jiafu Tang, Yuanxing Zhang, Zhe Cao, Hanyan Bian, Zijie Zhang, Weiliang Luo, Zhiyu Pan, Zixuan Dong, Jiaheng Liu, Zhaoxiang Zhang

机构 * Nanjing University(南京大学) Kuaishou Technology(快手科技) Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)

专题命中 指令微调 :SFT(abstract)

AI总结 研究全模态视频字幕编排视听协同问题,提出AVSCap框架,构建训练语料库,采用两阶段策略训练字幕生成器,引入新基准,实验表明该模型在非语音音频覆盖率和跨模态绑定方面表现出色,提升了整体性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12450 2026-07-15 cs.CV 新提交 50%

Let RGB Be the Language of Vision

让 RGB 成为视觉的语言

Timing Yang, Jinrui Yang, Xinlong Li, Yuhan Wang, Haoran Li, Yanqing Liu, Guoyizhe Wei, Jixuan Ying, Chen Wei, Rama Chellappa, Yuyin Zhou, Cihang Xie, Alan Yuille, Feng Wang

机构 * Johns Hopkins University(约翰·霍普金斯大学) UC Santa Cruz(加州大学圣克鲁兹分校) Carnegie Mellon University(卡内基梅隆大学) Rice University(莱斯大学)

专题命中 指令微调 :language model(abstract)

AI总结 该研究为视觉模型引入统一表述 RGB In and RGB Out(RINO),将多种视觉信息转为 RGB 图像编辑问题,共享架构参数,基于通用主干无需微调,在多视觉任务上有强大零样本性能,为统一视觉语言系统提供见解。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12418 2026-07-15 cs.CV 新提交 50%

MQAdapter: Multi-Modal Quantum Adapter for Coarse-to-Fine VLM Fine-tuning

MQAdapter:用于从粗到细的视觉语言模型微调的多模态量子适配器

Yumiao Zhao, Bo Jiang, Min Lu, Xiao Wang, Jin Tang

机构 * Anhui University(安徽大学) Origin Quantum Computing Company Limited(本源量子计算有限公司)

专题命中 指令微调 :language model(abstract)

AI总结 针对视觉语言模型在少样本学习中细粒度区分不足的问题,提出多模态量子适配器MQAdapter。先检索Top-K候选类别作语义锚点,再用跨模态量子学习机制,利用量子特性建模高阶交互,细化视觉特征,参数高效且能集成现有算法提升性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.05820 2026-07-15 cs.SE 版本更新 50%

SpecRL: Reinforcement Learning with Test-Based Completeness Rewards for Formal Specification Synthesis

通过负测试作为完整性信号的强化学习用于形式规范综合

Zhechong Huang, Zhao Zhang, Zeyu Sun, Huifeng Sun, Yingfei Xiong

专题命中 指令微调 :LLM(abstract_cn)

AI总结 本文提出SpecRL框架,利用负测试比例作为规范完整性的信号,提升规范强度和验证成功率,实验显示其在不同模型规模上表现优异。

详情

展开后加载摘要…

URL PDF HTML 收藏