arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 11211 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 917 篇

2606.21915 2026-06-23 cs.CV 新提交 67%

GTA-Net: Cooperative Game Theory for Vision-Language Alignment in Chest X-Ray Report Generation

GTA-Net:合作博弈论在胸部X光报告生成中的视觉-语言对齐

Saif ur Rehman Khan, Imad Ahmed Waqar, Sebastian Vollmer, Andreas Dengel, Muhammad Nabeel Asim

机构 * Department of Computer Science, Rhineland-Palatinate Technical University of Kaiserslautern-Landau(莱茵兰-普法尔茨凯泽斯劳滕-兰道工业大学计算机科学系) German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心) IntelligentX GmbH

专题命中 指令微调 :large language model(abstract);language model(abstract)

AI总结 提出GTA-Net,利用合作博弈论实现图像区域与文本的显式对齐,通过二元和三元对齐器提升胸部X光报告生成的临床一致性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15980 2026-06-23 cs.LG cs.AI cs.CL 新提交 67%

Do Activation Monitors Survive Model Updates? Benchmarking, Predicting, and Repairing Activation-Monitor Staleness

安全监控器在更新后是否仍可靠?激活监控器陈旧性的基准测试与预测

Evan Duan

机构 * University of Michigan(密歇根大学)

专题命中 指令微调 :language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 研究语言模型更新后激活监控器是否仍可靠,发现量化更新影响小,微调更新常导致监控器失效,且可通过预部署特征预测退化。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19792 2026-06-19 cs.SD 新提交 67%

Exploring Pre-training Benefits on Phoneme Addition through Fine-tuning in Speech Synthesis

探索预训练在语音合成中通过微调对音素添加的益处

Masato Murata, Koichi Miyazaki, Tomoki Koriyama, Tomoki Toda

机构 * CyberAgent, Japan(日本CyberAgent公司) Nagoya University, Japan(日本名古屋大学)

专题命中 指令微调 :LLM(abstract,abstract_cn)

AI总结 研究预训练模型在微调过程中添加新音素时的表现,发现预训练主要提升自然度,但对新音素添加的益处有限。

Comments Accepted by INTERSPEECH 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19010 2026-06-18 eess.SP 新提交 67%

Channel Charting With Physical Channel Fingerprints For Massive MIMO-OFDM Channel Acquisition

基于物理信道指纹的大规模MIMO-OFDM信道获取的信道图构建

Jinke Tang, Xiqi Gao, Li You, Xiang-Gen Xia, Cheng-Xiang Wang

专题命中 指令微调 :SFT(abstract,abstract_cn)

AI总结 提出基于物理信道指纹的信道图构建方法,利用簇几何随机信道模型提取参数,实现大规模MIMO-OFDM系统中信道状态信息的高效获取,并用于波束域统计信道估计,性能接近传统在线探测方法。

Comments 15 pages, 9 figures

Journal ref IEEE Transactions on Wireless Communications, vol. 25, pp. 19243-19259, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19277 2026-06-18 cs.CV 新提交 67%

A Unified Framework for Efficient Remote Sensing Visual Question Answering: Adapting Dual, Hybrid, and Encoder-Decoder Architectures

高效遥感视觉问答的统一框架:适配双编码器、混合架构和编码器-解码器架构

Timothy Agboada, Shikha Chandel, Yadav Raj Ghimire, Leila Hashemi-Beni

机构 * Computational Data Science and Engineering(计算数据科学与工程) College of Science and Technology(科学与技术学院)

专题命中 指令微调 :language model(abstract);foundation model(abstract)

AI总结 提出RS Adapter参数高效微调策略,在三种视觉语言模型架构上注入轻量瓶颈适配器,仅用不到5%可训练参数实现遥感VQA,混合架构FLAVA在多模态推理与检索间取得最佳平衡。

Comments 4 pages, 2 figures, accepted and to be presented at 2026 IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2026), scheduled for 9 to 14 August 2026 in Washington D.C

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16124 2026-06-16 cs.CV 新提交 67%

Training-Free Open-Vocabulary Visual Grounding for Remote Sensing Images and Videos

面向遥感图像与视频的无训练开放词汇视觉定位

Ke Li, Di Wang, Yongshan Zhu, Ting Wang, Weiping Ni, Tao Lei, Quan Wang, Xinbo Gao

机构 * School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院) Interdisciplinary Institute of Artificial Intelligence, Xidian University(西安电子科技大学跨学科人工智能研究院) School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院) Northwest Institute of Nuclear Technology(西北核技术研究所) School of Physics and Information Engineering, Fuzhou University(福州大学物理与信息工程学院)

专题命中 指令微调 :language model(abstract);foundation model(abstract)

AI总结 提出无训练框架RSVG-ZeroOV,利用冻结的通用基础模型通过概览-聚焦-演化范式实现零样本开放词汇遥感视觉定位,并扩展至视频时空定位,在多个基准上超越现有零样本方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.10126 2026-06-10 cs.CL cs.AI cs.CY cs.LG 新提交 67%

Pareto-Guided Teacher Alignment for Fair Personalized Text Generation

帕累托引导的教师对齐用于公平个性化文本生成

Tunazzina Islam

机构 * Purdue University(普渡大学)

专题命中 指令微调 :preference optimization(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 提出帕累托引导的教师对齐框架,通过修订候选生成、对感知可行性门控、帕累托候选选择和偏好优化,在减少人口统计差异的同时保持个性化保真度,实验表明公平缓解效果依赖于目标且跨域迁移不一致。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.09767 2026-06-09 cs.CL cs.AI cs.LG 新提交 67%

Data Synthesis and Parameter-Efficient Fine-Tuning for Low-Resource NMT: A Case Study on Q'eqchi' Mayan

低资源神经机器翻译的数据合成与参数高效微调:以Q'eqchi'玛雅语为例

Alexander Chulzhanov, Soeren Eberhardt, Arjun Mukherjee

机构 * University of Houston(休斯顿大学) MasterWord Services, Inc.(MasterWord Services公司) University of Washington(华盛顿大学)

专题命中 指令微调 :prompting(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 针对低资源土著语言,提出数据合成方法(利用社区词典生成合成语料)结合LoRA参数高效微调,在Q'eqchi'玛雅语上实现高结构习得(BLEU 42.02),但存在结构-语义差距,需结合真实数据进行课程学习。

Comments Accepted to the 29th International Conference on Text, Speech and Dialogue (TSD 2026). This version of the contribution has been accepted for publication, after peer review but is not the Version of Record and does not reflect post-acceptance improvements, or any corrections

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.08572 2026-06-09 cs.CV 新提交 67%

OmniCap-IF: Benchmarking and Improving Instruction Following Abilities for Omni-Video Captioning

OmniCap-IF:全视频字幕遵循指令能力的基准测试与改进

Jiahao Wang, An Ping, Yanghai Wang, Yuanxing Zhang, Shihao Li, Hanyan Bian, Yichi Ren, Yize Zhang, Han Wang, Haowen Chen, Junze Li, Jiaqi Wang, Yiyang Hu, Zhuze Xu, Zijie Zhang, Jiaheng Liu

机构 * NJU-LINK Team, Nanjing University(南京大学 NJU-LINK 团队) Kling Team, Kuaishou Technology(快手科技 Kling 团队)

专题命中 指令微调 :large language model(abstract);language model(abstract)

AI总结 提出首个全模态字幕指令遵循基准OmniCap-IF,通过格式与内容正确性评估50种约束类型,揭示格式-内容权衡,并构建54K指令微调数据集OmniCap-IF-54K及模型OmniCaptioner-IF。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.09834 2026-08-11 cs.CL cs.LG 新提交 62%

RA-FinBERT: Rule-aware LoRA adaptation for low-resource financial sentiment classification

RA-FinBERT:面向低资源金融情感分类的规则感知LoRA适配

Fan Zhang, Jiaming Li

专题命中 指令微调 :language model(abstract);分类 cs.CL、cs.LG

AI总结 本研究提出规则感知FinBERT(RA-FinBERT),将LoRA与VADER衍生特征结合,仅增1024个参数,在金融情感分类任务中较基线模型准确率、宏F1值及中性类召回率均显著提升,适配低资源场景。

Comments 12 pages, 6 figures, 2 tables. Fan Zhang and Jiaming Li are co-first authors. Corresponding author: Jiaming Li

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.09819 2026-08-11 cs.LG cs.CL 新提交 62%

Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA

Macaron-V1:面向具备自我改进与LoRA混合能力的开放持续学习

Mind Lab, :, Vin Bo, Asher Cai, Jingwei Cao, Song Cao, Vic Cao, Amelia Chen, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Pyke Han, Nolan Ho, Ori Hong, Hailee Hou, Piers Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Qiuyu Jin, Fancy Kong, Kuss Koo, Jaron Lee, Andrew Lei, Alexy Li, Dawn Li, Lucian Li, Ray Li, Ricardo Li, Smith Li, Theo Li, Allen Lin, Elliot Lin, Fan Lin, Chen Ling, Kairus Liu, Kieran Liu, Logan Liu, Neo Liu, Xiang Liu, Yuxin Lu, Maeve Luo, Pony Ma, Verity Niu, Cole Qiao, Guian Qiu, Vince Qu, Sentry, Niko Song, Vincent Wang, Bo Wu, Rio Yang, Evelyn Ye, Fiona Ye, Ina Ye, Regis Ye, Josh Ying, Atlas Zeng, Danney Zeng, Salmon Zhan, Anya Zhang, Di Zhang, Mia Zhang, Sueky Zhang, Wei Zhao, Ada Zhou, Adrian Zhou, Yuhua Zhou, Juno Zhu, Murphy Zhuang

专题命中 指令微调 :post-training(abstract);分类 cs.CL、cs.LG

AI总结 本研究提出Macaron-V1开放智能体模型家族,结合MoL架构与递归自我改进机制,经多基准评估验证其有效性,为开放持续学习提供新方案。

Comments 49 pages, technical report

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.07749 2026-08-11 cs.CV cs.AI cs.LG 新提交 62%

LoRSA: Toward Generalizable Parameter-Efficient Fine-Tuning for Biomedical Downstream Tasks

LoRSA:面向生物医学下游任务的可泛化参数高效微调方法

Saed Moradi, Benyamin Ghojogh, M. Hadi Sepanj, Yimin Yang, Ashirbani Saha

机构 * McMaster University(麦克马斯特大学) University of Waterloo(滑铁卢大学) Western University(西安大略大学)

专题命中 指令微调 :foundation model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出LoRSA框架,联合学习两类低秩分量实现生物医学视觉模型的参数高效微调,在乳腺密度分类任务中显著提升了模型对未见医学影像域的泛化性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.03875 2026-08-05 cs.LG cs.AI 新提交 62%

Enhancing VLM Reward Models Through Structure-Aware Fine-Tuning

通过结构感知微调增强视觉语言模型奖励模型

Pyrros Koussios, Chenhao Li, Xin Chen, Andreas Krause

专题命中 指令微调 :language model(abstract);分类 cs.AI、cs.LG

AI总结 本研究提出结构感知微调(SAFT)方法,利用LoRA适配器和内在结构先验优化视觉语言模型奖励信号,实现更快策略收敛与更好对齐,为稳定文本条件强化学习提供可扩展路径。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.03842 2026-08-05 cs.CL cs.LG 新提交 62%

Sensitivity, Causality, and Repair Dissociate: A Layer-Wise Analysis of Perturbation Robustness and Its Scaling

敏感性、因果性与修复能力的分离:扰动鲁棒性的逐层分析及其缩放规律

Nathan Labiosa, David Buff, Ena Nayak, Erica Donno

专题命中 指令微调 :language model(abstract);分类 cs.CL、cs.LG

AI总结 该研究分析了语言模型的扰动鲁棒性,发现敏感性、因果性、补偿能力三种层映射分离,识别两种传播机制,提出级联中断机制,给出实用指导并指出方法学警示。

Comments 29 pages, 18 figures, 11 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.00473 2026-08-04 cs.CV cs.AI cs.CL 新提交 62%

CrossProjection: Geometric Grounding Beyond Viewpoint Change in Architectural Drawings

CrossProjection:建筑图纸中超越视角变化的几何定位

Kaho Li, Pengyu Zeng, Yuqin Dai, Jun Yin, Tianjing Feng, Shuai Lu

机构 * Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院) University College London(伦敦大学学院)

专题命中 指令微调 :language model(abstract);分类 cs.CL、cs.AI

AI总结 该研究提出CrossProjection方法评估视觉语言模型在异构建筑视图间的几何定位能力,发现模型在自由几何定位上性能脆弱,仅封闭选择成功不代表具备可靠几何定位能力。

Comments Initial controlled diagnostic study on 23 natural drawing sets and three VLMs; broader model, building, repeated-inference, and human coverage is planned for a subsequent version

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.28434 2026-07-31 cs.AI cs.CL 新提交 62%

Metaphor Tracer: A Theory-Informed Analysis of Hidden States

隐喻追踪器:基于理论指导的隐状态分析

Marc Heimann, Roxana Assadi Moghaddam, Olga Brovkina, Mark Pettifor, Lutz Goetzmann

机构 * Hermeneutic AI(诠释学人工智能公司)

专题命中 指令微调 :language model(abstract);分类 cs.CL、cs.AI

AI总结 本研究提出Metaphor Tracer工具,通过聚合器与区分器分析语言模型隐状态,验证其可追踪文本结构与隐喻迁移,为隐状态提供关系论解读。

Comments 39 pages, 8 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21595 2026-07-24 cs.CV cs.AI cs.LG 新提交 62%

3D-Aware VLMs with Implicit and Explicit Geometries

具有隐式和显式几何的3D感知视觉语言模型

Wenhao Li, Xueying Jiang, Quanhao Qian, Deli Zhao, Ran Xu, Shijian Lu, Gongjie Zhang

机构 * Nanyang Technological University(南洋理工大学) DAMO Academy, Alibaba Group(阿里巴巴达摩院) HuPan Lab(湖畔实验室)

专题命中 指令微调 :language model(abstract);分类 cs.AI、cs.LG

AI总结 研究针对多数2D视觉输入的VLM处理3D任务困难的问题,提出VLM-IE3D框架,通过引入隐式和显式几何令牌及3D感知适配器,融合几何表示与视觉线索,在多种3D任务中表现优异。

Comments Accepted by ECCV 2026, Open Sourced

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.20460 2026-07-24 cs.CL cs.AI 新提交 62%

Instruct-FD: Can Your Full-Duplex Speech System Follow Turn-Taking Instructions?

Instruct-FD:你的全双工语音系统能遵循轮流发言指令吗?

Yuzhi Tang, Wentao Ma, Xiling Zhao, Ahmad Salimi, Sepehr Harfi Moridani, Dongming Shen, Jixuan Wang, Abdulrahman Abdulrazzag, Murdock Aubry, Yu-Hua Chen, Daniel Lee, Jaewon Lee, Jonah Mackey, Silin Meng, Nicholas Stranges, Chenxu Xiong, Hao Yu, Yi Zhu, Mu Li, Alex Smola

机构 * Boson AI(玻色子人工智能公司)

专题命中 指令微调 :LLM(abstract);分类 cs.CL、cs.AI

AI总结 研究全双工语音系统在明确指令下的轮流发言行为,引入Instruct-FD基准,开发相关工具,通过对六个先进系统测试发现遵循指令的轮流管理有差距,为构建适应性全双工对话系统指明关键方向。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18570 2026-07-22 cs.CL cs.AI 新提交 62%

For What Reason? Interpreting Models' Encoding of Causation and Antithesis

出于什么原因?解释模型对因果关系和对立关系的编码

Abhidip Bhattacharyya, Shira Wein

机构 * University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校) University of South Florida(南佛罗里达大学)

专题命中 指令微调 :language model(abstract);分类 cs.CL、cs.AI

AI总结 研究指令微调的Transformer模型对英语话语关系的编码,聚焦因果和对立关系。通过下一个token预测任务及可解释性技术,发现早期层在序列中间做预测,中层接近末尾确定决策,部分层有答案偏好,揭示话语推理的不对称表示。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.17524 2026-07-21 cs.CL cs.LG 新提交 62%

Token-Level Off-Policy Learning for Faithful Generation Under Distribution Shift

分布转移下忠实生成的令牌级离策略学习

Zitong Huang, Gustavo Lucas Carvalho, Deqing Fu, Robin Jia

机构 * University of Southern California(南加州大学)

专题命中 指令微调 :post-training(abstract);分类 cs.CL、cs.LG

AI总结 研究分布转移下忠实生成问题,提出令牌级离策略标注(TOPL)方法,通过训练模型区分响应中好坏令牌引导生成,在文档摘要等任务实验中实现强大分布外泛化,能有效转移到机器翻译,且学习信号关键,更新具可解释性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11919 2026-07-15 cs.NE cs.AI cs.CV cs.LG 新提交 62%

Do You Remember? Toward Memory-Centric Multimodal AI

你还记得吗?迈向以记忆为中心的多模态人工智能

Xuguang Yu, Weigang Zheng, Minyue Yu

专题命中 指令微调 :LLM(abstract);分类 cs.AI、cs.LG

AI总结 研究针对当前多模态语言模型缺乏重建性记忆的问题,提出DoYouRemember三阶段架构,通过VQ-VAE、LoRA微调语言模型和扩散解码器实现,经实验发现语言模型隐藏状态视觉信息少,还解决了共享记忆矩阵训练问题,统一相关发现于信息论框架。

Comments 43 pages, 8 figures, 3 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.05968 2026-07-08 cs.CL cs.AI cs.IR 新提交 62%

InfluMatch: Frontier-Quality KOL Search at 4B-Model Cost

InfluMatch:以4B模型成本实现前沿质量的关键意见领袖搜索

Krittanon Kaewtawee, Petmongkon Pornpichitsuwan, Natchaya Temyingyong, Nutnicha Laplamoon, Wachiravit Modecrua, Krittin Pachtrachai, Touchapon Kraisingkorn

专题命中 指令微调 :prompting(abstract);分类 cs.CL、cs.AI

AI总结 研究如何将关键意见领袖与泰国营销标准匹配,提出低成本三阶段级联InfluMatch,由小型开放权重模型构建,能以低得多的成本达到前沿模型效果,是可部署、可解释的KOL搜索系统。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03763 2026-07-07 cs.LG cs.AI 新提交 62%

FedACT: Federated Adaptive Coordinate Trust Modulation for Robust Transformer Training under Data Heterogeneity

FedACT:数据异构下用于稳健Transformer训练的联邦自适应坐标信任调制

Shuai Li, Qinglin Wang, Ping Luo, Jiahuan Wang, Hongyang Hu, Haotian Mo, Yigui Feng, Ziang Liu, Qisong Xiao, Jie Liu, Tao Sun

机构 * NUDT(南京理工大学)

专题命中 指令微调 :LLM(abstract);分类 cs.AI、cs.LG

AI总结 研究数据异构下联邦Transformer训练问题,提出FedACT方法,先形成全局校正自适应方向,再依坐标信任分数重分配更新幅度,实验表明其优于基线,能提升跨客户端方向一致性。

Comments 24 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.00687 2026-07-02 cs.CV cs.AI cs.LG cs.PF 新提交 62%

LUMA: Benchmarking Segmentation via a Lightweight Universal Mask Adapter

LUMA: 通过轻量级通用掩码适配器进行分割基准测试

Tobias Christian Nauen, Anosh Billimoria, Federico Raue, Stanislav Frolov, Brian B. Moser, Andreas Dengel

机构 * RPTU University Kaiserslautern-Landau(凯泽斯劳滕-兰道大学) German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))

专题命中 指令微调 :pretraining(abstract);分类 cs.AI、cs.LG

AI总结 提出轻量级通用掩码适配器(LUMA),一种与骨干无关的掩码Transformer头,通过廉价交叉注意力实现高精度分割,并基于此对20种骨干网络和11种预训练方案进行基准测试,发现高效token混合器未实现高效,预训练目标主导分割质量。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.00634 2026-07-02 cs.LG cs.AI 新提交 62%

Loss Smoothing for Stable Adaptation Under Distribution Shift

损失平滑:分布偏移下的稳定自适应

Darshan Patil, Ekaterina Lobacheva, Razvan Pascanu, Sarath Chandar

机构 * Chandar Research Lab(Chandar 研究实验室) Mila – Quebec AI Institute(Mila – 魁北克人工智能研究所) Université de Montréal(蒙特利尔大学) Polytechnique Montréal(蒙特利尔理工学院) Canada CIFAR AI Chair(加拿大 CIFAR 人工智能主席)

专题命中 指令微调 :language model(abstract);分类 cs.AI、cs.LG

AI总结 提出损失平滑方法,通过在自适应初期插值源与目标训练目标,实现平滑过渡,保留有用特征,在多种分布偏移场景下提升性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.00004 2026-07-02 cs.IR cs.AI cs.LG 新提交 62%

Why Advanced Encoders Lag on Sparse Retrieval? The Answer and an Approach to Bridging Vocabulary Gaps

为什么高级编码器在稀疏检索上落后?答案及弥合词汇鸿沟的方法

Zhichao Geng, Yang Yang

专题命中 指令微调 :foundation model(abstract);分类 cs.AI、cs.LG

AI总结 发现高级编码器在稀疏检索中落后于旧模型的原因是词汇鸿沟:现代分词器使用原始、区分大小写的词汇表导致语义单元冗余。提出词汇迁移框架,通过语义初始化和激活势校准解决该问题,在BEIR上取得SOTA性能。

Comments Accepted at SIGIR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27939 2026-06-29 cs.LG cs.AI q-bio.BM q-bio.GN 新提交 62%

Two-Stage Fine-Tuning for Protein Sequence Generation with Targeted Amino-Acid Composition

针对目标氨基酸组成的蛋白质序列生成的两阶段微调

Violeta Basten-Romero, Rubén Muñoz-Tafalla, Anna María Díaz-Rovira, Bertran Miquel-Oliver, Isaac Filella-Merce, Víctor Guallar

机构 * Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心) Nostrum Biodiscovery S.L.(Nostrum生物发现有限公司) ICREA

专题命中 指令微调 :language model(abstract);分类 cs.AI、cs.LG

AI总结 提出两阶段微调方法,先领域自适应微调,再强化学习迭代微调,以生成符合目标氨基酸组成且保持序列质量的蛋白质序列。

Comments 17 pages, 5 figures, ICML 2026 Workshop GenBio

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27793 2026-06-29 cs.CL cs.AI 新提交 62%

Position Bias Correction is Insufficient for One-Pass Attention Sorting

位置偏差校正不足以实现单遍注意力排序

Qiong Tang, Xiangkun Hu, Xiangyang Liu, Yiran Chen, Yunfan Shao

机构 * Analemma

专题命中 指令微调 :language model(abstract);分类 cs.CL、cs.AI

AI总结 针对长上下文语言模型的位置偏差问题,提出去偏单遍注意力排序方法,通过估计位置偏差曲线校正注意力分数,实验表明校正效果有限,无法替代迭代排序。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.26987 2026-06-26 cs.CL cs.AI 新提交 62%

Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs

模型在哪里找到幸福?开源大语言模型中的情感向量

Sinie van der Ben, Raphaël Baur, Yannick Metz, Mennatallah El-Assady

专题命中 指令微调 :language model(abstract);分类 cs.CL、cs.AI

AI总结 研究在开源模型中复现情感向量,发现效价几何结构在层间分布存在差异,且唤醒度编码受语料影响。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.26620 2026-06-26 cs.LG cs.AI 新提交 62%

Discovering Millions of Interpretable Features with Sparse Autoencoders

利用稀疏自编码器发现数百万可解释特征

XinYang He, Wei Wang, Bing Zhao, Xuan Ren, WenBo Li, WeiXu Qiao, Hu Wei, Lin Qu

机构 * AI DATA, Alibaba Group Holding Limited(阿里巴巴集团控股有限公司 AI DATA) Beijing Institute of Technology(北京理工大学)

专题命中 指令微调 :language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出Qwen3-Instruct SAE,在Qwen3指令微调模型系列上训练稀疏自编码器,通过激活级和模型级评估揭示稀疏性-保真度权衡,并展示其在拒绝行为引导中的应用。

详情

展开后加载摘要…

URL PDF HTML 收藏