arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-06-29 至 2026-06-29 共收录 31 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 31 篇

2606.27483 2026-06-29 cs.AI 新提交 92%

Internalizing the Future: A Unified Agentic Training Paradigm for World Model Planning

内化未来:一种统一的世界模型规划智能体训练范式

Xuan Zhang, Zhijian Zhou, Lingfeng Qiao, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu, Yuan Qi

机构 * Fudan University(复旦大学) Shanghai Innovation Institute(上海创新研究院) Tencent Youtu Lab(腾讯优图实验室)

专题命中 指令微调 :LLM(summary_cn,abstract);SFT(summary_cn,abstract);large language model(abstract);language model(abstract)

AI总结 提出一种三阶段训练范式(WM-AMT、FE-SFT、FC-RL),使LLM智能体内化世界模型以进行前瞻性规划,在搜索和数学推理任务上优于基线方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27845 2026-06-29 econ.GN econ.TH q-fin.EC 新提交 91%

LLM Agents as Static Level-k Players in Behavioural Games

LLM智能体作为行为博弈中的静态k级玩家

Po Han Teo

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract)

AI总结 通过p-beauty竞赛和公共物品博弈实验,发现LLM在不同部署设置下可部分复现人类选择的分散性,但无法模拟人类的策略过程,表现为静态的、按模型规模检索类别的k级玩家,缺乏信念更新和逆向归纳能力。

Comments 30 pages, 3 figures, 6 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.03217 2026-06-29 cs.CL cs.AI cs.CY cs.IR 版本更新 91%

Hybrid Fact-Checking that Integrates Knowledge Graphs, Large Language Models, and Search-Based Retrieval Agents Improves Interpretable Claim Verification

混合事实核查:集成知识图谱、大语言模型和基于搜索的检索代理提高可解释的声明验证

Shaghayegh Kolli, Richard Rosenbaum, Timo Cavelius, Lasse Strothe, Andrii Lata, Jana Diesner

机构 * Technical University Munich(慕尼黑工业大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.CL、cs.AI

AI总结 提出一种混合事实核查方法,集成知识图谱、大语言模型和实时搜索代理,通过三步流水线(KG检索、LM分类、Web搜索)在FEVER基准上达到0.93 F1分数,无需微调,并有效处理信息不足情况。

Comments Paper has been accepted at 9th wiNLP workshop at EMNLP

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27634 2026-06-29 cs.LG 新提交 90%

Continual Learning for Sequential Personalization of Small Language Models: A Stability Monitoring Analysis

小语言模型的持续学习与顺序个性化:稳定性监测分析

Thomas S. Paula, Lucas S. Kupssinskü, Rodrigo C. Barros

机构 * MALTA, Machine Learning Theory and Applications Lab, PUCRS(MALTA,机器学习理论与应用实验室,PUCRS) Kunumi Institute(Kunumi研究所)

专题命中 指令微调 :language model(title,abstract);small language model(title,abstract);large language model(abstract);SLM(abstract_cn)

AI总结 研究小语言模型在顺序LoRA个性化中的灾难性遗忘问题,提出基于检查点的监测协议,利用轻量级参考集分布诊断揭示模型特定不稳定性模式。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23533 2026-06-29 cs.AI 新提交 90%

POTracker: Optimizing Large Language Models for Standard-Compliant Power Outage Report Generation

POTracker:优化大语言模型以生成符合标准的停电报告

Hung Phan, Aniroop Naladala, Dubey Avanindra, Supryia Chinthavali, Lunga Dalton, Ali Jannesari

机构 * Iowa State University(爱荷华州立大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.AI

AI总结 提出POTracker,通过新损失函数POTrackerLoss同时优化文本相似度和结构相似度,微调Qwen2.5-7B-Instruct生成符合美国电力行业标准的停电报告,结构准确率达86.47%。

Comments Data Science paper

详情

展开后加载摘要…

URL PDF HTML 收藏
2412.07380 2026-06-29 cs.CL cs.AI 90%

SpecFuse: Ensembling Large Language Models via Next-Segment Prediction

SpecFuse:通过下一段预测进行大语言模型的集成

Bo Lv, Nayu Liu, Chen Tang, Xin Liu, Yue Yu, Ping Luo

机构 * Peng Cheng Laboratory(鹏城实验室) Key Lab of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)(中国科学院计算技术研究所智能信息处理重点实验室) University of Chinese Academy of Sciences(中国科学院大学) Tianjin Laboratory Autonomous Intelligence Technology and Systems, School of Computer Science and Technology, Tiangong University(天津工业大学计算机科学与技术学院天津市自主智能技术与系统实验室) Institute for Advanced Algorithms Research, Shanghai(上海高级算法研究所)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.CL、cs.AI

AI总结 本文提出SpecEM框架,通过动态调整模型贡献提升集成效果,结合推测解码实现段级语义协作,实验表明在多个LLM家族和基准数据集上性能优于现有方法。

Comments 15 pages, 5 figures

Journal ref NeurIPS 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27511 2026-06-29 cs.CR 新提交 89%

When the Aggregator Cheats: Data-Free Backdoors in Federated LLM-based QA Systems

当聚合者作弊:联邦LLM问答系统中的无数据后门

Chenqing Zhu, Yanbo Dai, Yulong Tian, Qingming Li, Songze Li

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract)

AI总结 针对联邦学习问答系统中恶意聚合者植入广告后门的问题,提出利用客户端梯度恢复样本并构造中毒数据集的两阶段攻击方法,实现高攻击成功率且几乎不影响正常性能。

Comments Accepted at the 35th USENIX Security Symposium (USENIX Security 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.28266 2026-06-29 cs.CV 新提交 89%

RSICCLLM: A Multimodal Large Language Model for Remote Sensing Image Change Captioning

RSICCLLM:用于遥感图像变化描述的多模态大语言模型

Yelin Wang, Zijia Song, Shuo Ye, Chuanguang Yang, Miaoyu Wang, Yong Xu, Zhulin An, Yongjun Xu, Zitong Yu

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China(人工智能安全国家重点实验室,计算技术研究所,中国科学院,北京,中国) Great Bay University, Dongguan, China(东莞Great Bay大学,中国) Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学深圳学院,中国) Dongguan Key Laboratory for Intelligence and Information Technology, Dongguan, China(东莞智能与信息科技重点实验室,中国)

专题命中 指令微调 :language model(title,abstract);large language model(title);post-training(abstract);preference optimization(abstract)

AI总结 提出首个针对遥感图像变化描述任务的大视觉语言模型后训练框架RSICCLLM,通过数据生成范式、差异感知微调和双负偏好优化,仅7B参数即超越更大规模模型。

Comments Accepted by ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27484 2026-06-29 cs.CV 新提交 88%

Fine-tuning a multimodal large language model for clinician-grade autism behavioral scoring from short home videos

微调多模态大语言模型用于从短视频中对自闭症行为进行临床级评分

Mohammadmahdi Honarmand, Parnian Azizian, Aaron Kline, Kae Nurge, Zerin Nasrin Tumpa, Saimourya Surabhi, Kaitlyn Dunlap, Yang Qian, Ali Kargarandehkordi, Sameer Neupane, Peter Washington, Dennis P. Wall

机构 * Stanford University(斯坦福大学) University of Hawaii at Manoa(夏威夷大学马诺阿分校) University of California San Francisco(加利福尼亚大学旧金山分校)

专题命中 指令微调 :large language model(title);language model(title);LLM(abstract,abstract_cn)

AI总结 微调Gemini 2.5 Pro模型,从400个临床评分的家庭视频中提取30个行为特征,在99名儿童上实现与临床医生评分的一致性提升40%,并零样本达到53%的自闭症诊断F1提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.25034 2026-06-29 cs.CV cs.AI 新提交 87%

Yuvion VL: A Multimodal Foundation Model for Adversarial Content and AI Safety

Yuvion VL:面向对抗性内容和AI安全的多模态基础模型

Shikai Qiu, Xiaowen Xu, Benlei Cui, Ting Ma, Xiufeng Huang, Wenjing Jiang, Shaoxuan He, Haolei Xu, Chunyang Chai, Yujian Li, Yiliang Zhang, Guanghui Wang, Ziheng Wang, Ziwen Xu, Zhaoyu Fan, Jinhao Chen, Ruijie Jian, Hongxing Li, Chuxi Xiao, Xinyue Chen, Wenxuan Liu, Libin Dong, Yupeng Cao, Xiaoqian Xia, Jing Wang, Zhe Jiang, Zhenan Ye, Guang Yang, Bin Liu, Wei Peng, Ziqiang Zhu, Meihui Lian, Kaiwen Lv Kacuila, Haidong Ding, Dongjie Zhang, Yangfan Zhou, Bingyu Zhu, Yan Wang, Hai Zhao, Xuan Jin, Wei Zhao, Pengfei Sun, Huiming Zhang, Wei Wang, Xipeng Cao, Jialun Chen, Xiao Chen, Shaola Ren, Yunqing Hu, Bin Li, Chengwen Yao, Meng Huang, Xianfeng Li, Bin Tang, Chao Liu, Hui Xue, Longtao Huang, Haiwen Hong

机构 * Alibaba Security AGI Lab(阿里巴巴安全AGI实验室)

专题命中 指令微调 :foundation model(title);large language model(abstract);language model(abstract);pretraining(abstract)

AI总结 提出Yuvion VL系列多模态大语言模型,通过对抗性感知数据合成、三阶段训练和混淆对比微调,在内容和AI安全任务上达到行业领先性能,同时保持通用能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.18874 2026-06-29 cs.LG cs.CL 版本更新 87%

Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting

在做中保留:在线策略数据在缓解遗忘中的作用

Howard Chen, Noam Razin, Karthik Narasimhan, Danqi Chen

专题命中 指令微调 :SFT(summary_cn,abstract);language model(abstract);post-training(abstract);分类 cs.CL、cs.LG

AI总结 本文系统比较了监督微调(SFT)和强化学习(RL)在语言模型后训练中的遗忘模式,发现RL因使用在线策略数据而更少遗忘,并验证了在线策略数据是缓解遗忘的关键因素。

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27742 2026-06-29 cs.CL cs.AI 新提交 85%

KG2Cypher: Data-Centric Pipeline for Building Enterprise Text-to-Cypher Systems

KG2Cypher:面向构建企业文本到Cypher系统的数据驱动流水线

Minjun Choi, Yerin Kim, Junghyuk Seo, Sujin Mo, Hyemin Lee, Youngjoong Ko

机构 * Sungkyunkwan University(成均馆大学) NAVER

专题命中 指令微调 :LLM(abstract,abstract_cn);SFT(abstract,abstract_cn);prompting(abstract);分类 cs.CL、cs.AI

AI总结 提出KG2Cypher数据驱动流水线,从现有知识图谱生成可执行Cypher查询及对应自然语言问题,通过LoRA微调提升企业文本到Cypher转换的准确率。

Comments 11 pages, 2 figures, 10 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27709 2026-06-29 cs.CL cs.AI 新提交 84%

Low-Agreeableness Persona Conditioning for Safe LLM Fine-Tuning

低宜人性人格条件化用于安全的大语言模型微调

Austin MY Cheung, Yi Yang

机构 * Hong Kong University of Science and Technology(香港科技大学)

专题命中 指令微调 :LLM(title);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 针对温暖微调降低大语言模型安全性的问题,提出基于低宜人性人格的改写流水线,在保持对话温暖的同时降低越狱成功率与有害输出率。

Comments 9 pages, 8 tables, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.19466 2026-06-29 cs.CV 版本更新 83%

ProactiveBench: Benchmarking Proactiveness in Multimodal Large Language Models

ProactiveBench: 多模态大语言模型主动性的基准测试

Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini

机构 * University of Trento(特伦托大学) University of Bergamo(贝拉米奥大学) Inria Grenoble(格勒诺布尔研究所) Bruno Kessler Foundation(布鲁诺·凯斯勒基金会)

专题命中 指令微调 :large language model(title);language model(title)

AI总结 提出ProactiveBench基准,评估多模态大语言模型在遮挡识别等任务中请求用户干预的主动性,发现模型普遍缺乏主动性且与能力无关,但可通过强化学习微调习得。

Comments Accepted at ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.28182 2026-06-29 cs.LG cs.AI cs.CV cs.RO 新提交 82%

LLawCo: Learning Laws of Cooperation for Modeling Embodied Multi-Agent Behavior

LLawCo: 学习合作法则以建模具身多智能体行为

Qinhong Zhou, Chuang Gan, Anoop Cherian

机构 * University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校) Mitsubishi Electric Research Laboratories(三菱电机研究实验室)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 提出LLawCo框架,通过反思失败提取行为模式并推导高层合作法则,结合监督微调融入推理,提升具身多智能体在分散部分可观测环境中的合作效率与任务成功率。

Comments Accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.04862 2026-06-29 cs.SD 版本更新 82%

Focus Then Listen: An Empirical Study of Plug-and-Play Audio Enhancer for Noise-Robust Large Audio Language Models

先聚焦后聆听:探索用于噪声鲁棒的大规模音频语言模型的即插即用音频增强器

Han Yin, Yang Xiao, Younghoo Kwon, Ting Dang, Jung-Woo Choi

机构 * University of California, Berkeley(加州大学伯克利分校) University of Washington(华盛顿大学)

专题命中 指令微调 :language model(title,abstract);foundation model(abstract)

AI总结 提出即插即用的音频增强器FTL,通过分离语音与非语音并利用模态路由器预测目标模态,生成任务自适应增强信号,无需微调即可提升LALMs在噪声环境下的性能。

Comments Accepted by ICML 2026 Workshop (Machine Learning for Audio)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27069 2026-06-29 cs.CL 新提交 81%

Towards Explainable Adjudicative Variance: Quantifying Judicial Discretion via Gated Multi-Task Learning

迈向可解释的裁判差异:通过门控多任务学习量化司法裁量权

Stanisław Sójka, Felix Steffek, Matthias Grabmair

专题命中 指令微调 :SFT(summary_cn,abstract);分类 cs.CL

AI总结 提出法官感知门控多任务学习架构,通过细粒度结果分类和门控融合机制区分客观事实与司法裁量,在UK就业法庭数据上以更少参数超越生成式SFT基线,实现可解释的裁判差异量化。

Comments 17 pages (8 pages main text), 5 figures, 9 tables. Accepted to the AI for Law Workshop at the 43rd International Conference on Machine Learning (ICML 2026), Seoul, South Korea

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.28249 2026-06-29 eess.AS cs.CL cs.SD 新提交 77%

HPRO: Hierarchical Progressive Reward Optimization via Preference Extraction for Emotional Text-to-Speech

HPRO:通过偏好提取的分层渐进奖励优化用于情感文本到语音

Sihang Nie, Xiaofen Xing, Rui Xing, Haoming Li, Ruitong Xiao, Jingyuan Xing, Baiji Liu, Xiangmin Xu

机构 * South China University of Technology, China(华南理工大学,中国) Huya Inc., China(欢丫公司,中国) Tongyi Fun Team, Alibaba Group, China(通义 Fun 团队,阿里巴巴集团,中国) Foshan University, China(佛山大学,中国)

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出HPRO框架,通过HD-Emo编解码器分离内容与情感偏好,并分层对齐帧、词、句级别目标,解决信息冲突和尺度差距,提升情感表现力同时保持语言清晰度。

Comments 7 pages, 3 figures, 3 tables; Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.28164 2026-06-29 cs.CV cs.LG 新提交 77%

EchoSonar-R: A Multi-View Reasoning-Enabled Model for Disease Classification and Report Generation in Echocardiography

EchoSonar-R: 一种用于超声心动图疾病分类和报告生成的多视图推理增强模型

Darya Taratynova, Ahmed Aly, Numan Saeed, Mohammad Yaqub

机构 * Division of Computing and Mathematical Sciences, Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI), Abu Dhabi, UAE(穆罕默德·本·扎耶德人工智能大学计算与数学科学系,阿布扎比,阿联酋)

专题命中 指令微调 :SFT(abstract,abstract_cn);language model(abstract);分类 cs.LG

AI总结 提出EchoSonar-R,一种结合时空视频编码器和结构感知心脏检测器的多视图推理视觉语言模型,通过两阶段训练(监督微调+组相对策略优化)联合实现多标签疾病分类和报告生成,在私有数据集和公共基准上分别提升宏平衡准确率17.1%和6.1%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27446 2026-06-29 cs.CL 新提交 77%

Causal Connections: Leveraging Multilingual Fine-Tuning for Financial QA@FinCausal 2026

因果联系:利用多语言微调进行金融问答@FinCausal 2026

Akash Kumar Gautam, Serhii Hamotskyi, Christian Hänig

机构 * Anhalt University of Applied Sciences(安哈尔特应用技术大学)

专题命中 指令微调 :LLM(abstract,abstract_cn);prompting(abstract);分类 cs.CL

AI总结 本文通过对比编码器、编码器-解码器和仅解码器模型,发现监督微调效果最佳,GPT-4.1 Mini在英西双语微调后取得英语最高分和西班牙语第三名。

Journal ref Proceedings of the 7th Financial Narrative Processing Workshop (FNP 2026) at LREC 2026, pp. 132-138, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19266 2026-06-29 cs.CL cs.AI 版本更新 73%

FormalASR: End-to-End Spoken Chinese to Formal Text

FormalASR: 语音中文到正式文本的端到端系统

Wanyi Ning, Yinshang Guo, Haitao Qian, Jiyuan Cheng, Weiyuan Feng, Yufei Zhang

专题命中 指令微调 :LLM(abstract,abstract_cn);分类 cs.CL、cs.AI

AI总结 本文提出FormalASR,一种端到端的中文语音到正式文本转换模型,通过构建大规模的语音到正式文本数据集,并使用Qwen3-ASR进行微调,实现了比原声基线减少37.4%的CER,同时提升了ROUGE-L和BERTScore指标,提供了一个轻量级的设备端解决方案。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27974 2026-06-29 cs.CV cs.AI 新提交 70%

ProMSA:Progressive Multimodal Search Agents for Knowledge-Based Visual Question Answering

ProMSA: 渐进式多模态搜索智能体用于基于知识的视觉问答

ZhengXian Wu, Hangrui Xu, Kai Shi, Zhuohong Chen, Yunyao Yu, Chuanrui Zhang, Zirui Liao, Jun Yang, Zhenyu Yang, Haonan Lu, Haoqian Wang

机构 * OPPO AI Center, OPPO Inc. China(OPPO AI中心,OPPO公司) The Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院) Nanyang Technological University, Singapore(新加坡南洋理工大学)

专题命中 指令微调 :SFT(abstract,abstract_cn);分类 cs.AI

AI总结 提出渐进式多模态搜索智能体ProMSA,通过迭代选择图像搜索、文本搜索或停止,在显式工具调用预算和去重机制下,结合序列级强化学习优化,提升基于知识的视觉问答的检索和端到端准确性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27755 2026-06-29 cs.RO cs.AI 新提交 70%

Drop-Then-Recovery: How Redundant Are Vision-Language-Action Models?

丢弃-再恢复:视觉-语言-动作模型有多冗余?

Guoheng Sun, Kaixi Feng, Shwai He, Xiaochuan Gong, Yexiao He, Ziyao Wang, Zheyu Shen, Wanghao Ye, Ramana Rao Kompella, Gaowen Liu, Ang Li

机构 * University of Maryland, College Park(马里兰大学帕克分校) Cisco Research(思科研究院)

专题命中 指令微调 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 通过提出Drop-Then-Recovery分析协议和GateProbe敏感性指标,发现VLA模型中语言骨干高度冗余,而视觉和动作路径对移除更敏感。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27721 2026-06-29 cs.LG 新提交 70%

Learning to Reason with Curriculum II: Compositional Generalization

课程学习推理 II:组合泛化

Nived Rajaraman, Audrey Huang, Miroslav Dudik, Robert Schapire, Dylan Foster, Akshay Krishnamurthy

机构 * Microsoft Research(微软研究院) University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)

专题命中 指令微调 :SFT(abstract,abstract_cn);分类 cs.LG

AI总结 通过递归分解序列为子问题并组合解决方案,课程学习在模拟半自动机任务中实现了比亚直接方法更优的统计复杂度,显著降低了监督需求和参考模型覆盖条件。

Comments 82 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.28077 2026-06-29 cs.CV 新提交 67%

TextDS: Parameter-Efficient Representation Alignment for Scene Text Detection under Distribution Shifts

TextDS: 分布偏移下场景文本检测的参数高效表示对齐

Boyuan Chen, Zichen Dang, Chuang Yang, Lap-Pui Chau, Yi Wang

机构 * School of Electrical Engineering, Xi’an Jiaotong University(西安交通大学电气工程学院) Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University(香港理工大学电机及电子工程学系)

专题命中 指令微调 :foundation model(abstract);pretraining(abstract)

AI总结 提出TextDS框架,通过视觉基础模型、逐步LoRA适应和公共子空间融合,仅用4.9M参数实现跨域和退化条件下的鲁棒场景文本检测。

Comments Accepted by ECCV 2026. Project page: https://github.com/ZChenDang/TextDS

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27939 2026-06-29 cs.LG cs.AI q-bio.BM q-bio.GN 新提交 62%

Two-Stage Fine-Tuning for Protein Sequence Generation with Targeted Amino-Acid Composition

针对目标氨基酸组成的蛋白质序列生成的两阶段微调

Violeta Basten-Romero, Rubén Muñoz-Tafalla, Anna María Díaz-Rovira, Bertran Miquel-Oliver, Isaac Filella-Merce, Víctor Guallar

机构 * Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心) Nostrum Biodiscovery S.L.(Nostrum生物发现有限公司) ICREA

专题命中 指令微调 :language model(abstract);分类 cs.AI、cs.LG

AI总结 提出两阶段微调方法,先领域自适应微调,再强化学习迭代微调,以生成符合目标氨基酸组成且保持序列质量的蛋白质序列。

Comments 17 pages, 5 figures, ICML 2026 Workshop GenBio

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27793 2026-06-29 cs.CL cs.AI 新提交 62%

Position Bias Correction is Insufficient for One-Pass Attention Sorting

位置偏差校正不足以实现单遍注意力排序

Qiong Tang, Xiangkun Hu, Xiangyang Liu, Yiran Chen, Yunfan Shao

机构 * Analemma

专题命中 指令微调 :language model(abstract);分类 cs.CL、cs.AI

AI总结 针对长上下文语言模型的位置偏差问题,提出去偏单遍注意力排序方法,通过估计位置偏差曲线校正注意力分数,实验表明校正效果有限,无法替代迭代排序。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.00809 2026-06-29 cs.LG 版本更新 57%

Foundation vs. Specialized Models: Evaluating Catastrophic Forgetting in Continual Time Series Forecasting

基础模型 vs. 专用模型:评估持续时间序列预测中的灾难性遗忘

Nouha Karaouli, Denis Coquenet, Elisa Fromont, Martial Mermillod, Marina Reyboz

机构 * Univ. Rennes, CNRS, Inria, IRISA - UMR 6074(雷恩大学, 法国国家科学研究中心, 法国国家信息与自动化研究所, 法国信息与系统研究实验室 - UMR 6074) Univ. Grenoble Alpes, Univ. Savoie Mont Blanc, CNRS, LPNC(格勒诺布尔-阿尔卑斯大学, 萨瓦大学, 法国国家科学研究中心, 认知心理学与神经心理学实验室) Univ. Grenoble Alpes, CEA, LIST(格勒诺布尔-阿尔卑斯大学, 法国原子能委员会, 信息与系统技术实验室)

专题命中 指令微调 :foundation model(abstract);分类 cs.LG

AI总结 研究时间序列基础模型在持续微调中的灾难性遗忘,发现微调提升新任务精度但触发遗忘,而遗忘缓解技术可缩小大小模型性能差距。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27708 2026-06-29 cs.CV 新提交 50%

ZooClaw-FashionSigLIP2: Distilled Fine-tuning for Robust Fashion Retrieval

ZooClaw-FashionSigLIP2:用于鲁棒时尚检索的蒸馏微调

Siqiao Xue, Chunxue Xu

专题命中 指令微调 :foundation model(abstract)

AI总结 提出ZooClaw-FashionSigLIP2,通过全微调加知识蒸馏和权重插值,解决基础视觉语言模型适应时尚检索时的泛化损失问题,在多个基准上超越LoRA和大模型。

Comments ZooClaw Team

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.17426 2026-06-29 cs.CV 版本更新 50%

SHIFT: Motion Alignment in Video Diffusion Models with Adversarial Hybrid Fine-Tuning

SHIFT: 视频扩散模型中的运动对齐与对抗混合微调

Xi Ye, Wenjia Yang, Yangyang Xu, Xiaoyang Liu, Duo Su, Mengfei Xia, Jun Zhu

机构 * Tsinghua University(清华大学) Ant Group(蚂蚁集团) University of Chinese Academy of Science(中国科学院大学)

专题命中 指令微调 :post-training(abstract)

AI总结 针对视频扩散模型微调后运动保真度下降的问题,提出基于像素通量动力学的像素运动奖励和SHIFT框架(平滑混合微调),通过对抗优势改进收敛并缓解奖励黑客,有效解决动态度坍塌。

Comments Accepted by ECCV2026

详情

展开后加载摘要…

URL PDF HTML 收藏