arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-07-07 至 2026-07-07 共收录 712 信号源:cs.CL, cs.AI, cs.LG

1. 预训练与数据 46 篇

2607.04064 2026-07-07 cs.CL cs.AI cs.SD eess.AS 新提交 62%

Speaker-Disentangled Chunk-Wise Regression for Syllabic Tokenization

用于音节切分的说话人解缠块级回归

Ryota Komatsu, Kota Kawakita, Takuma Okamoto, Takahiro Shinozaki

机构 * JTEKT Corporation(捷太格特公司) Institute of Science Tokyo(东京理科大学) National Institute of Information and Communications Technology(国立情报通信研究机构)

专题命中 预训练与数据 :language model(abstract);分类 cs.CL、cs.AI

AI总结 研究无监督音节切分问题,提出说话人解缠音节切分器,通过在固定长度块内将受说话人干扰的学生表示向干净教师目标回归,取得了音节边界检测和音节段聚类的最优性能。

Comments Accepted by IEEE Open Journal of Signal Processing (OJSP), 10 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03836 2026-07-07 cs.CV cs.AI cs.CL 新提交 62%

When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts

何时越简单越好:评估中世纪拉丁文手稿的翻译管道

Nguyen Kim Hai Bui, Md. Easin Arafat, Tamás Gábor Orosz, Mufti Mahmud

机构 * Eötvös Loránd University(厄特沃什·罗兰大学) King Fahd University of Petroleum and Minerals(法赫德国王石油与矿产大学)

专题命中 预训练与数据 :language model(abstract);分类 cs.CL、cs.AI

AI总结 针对历史手稿翻译难题,提出评估中世纪拉丁文手稿图像到翻译流程的框架。通过CATMuS数据集对比发现领域特定OCR模型优势,引入新数据集IPC,实验揭示简单管道表现更佳,为低资源历史场景翻译系统部署提供基准与指导。

Comments 17 pages, preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02633 2026-07-07 cs.LG cs.CL 新提交 62%

GRAFT: Grafted Reference Audio for Fine-grained Pronunciation in Zero-shot Text-to-Speech

GRAFT:用于零样本文本到语音中细粒度发音的嫁接参考音频

Antonis Asonitis, Francesco Verdini, Aref Farhadipour, Vijeta Avijeet, Pierre-Edouard Honnet, Marzieh Razavi, Juan Pablo Zuluaga Gomez

机构 * AGIGO ETH Zurich(苏黎世联邦理工学院) Sapienza University of Rome(罗马大学) University of Zurich(苏黎世大学)

专题命中 预训练与数据 :language model(abstract);分类 cs.CL、cs.LG

AI总结 研究针对文本到语音神经编解码器语言建模中单词发音问题,提出GRAFT机制,通过短语音样本控制单词发音,经语音转换训练,提升发音效果,在多语言基准测试中表现出色。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.26012 2026-07-07 cs.LG cs.AI 版本更新 62%

Learning in Low-Dimensional Subspaces: Orthogonal Bottlenecks for Reinforcement Learning

低维子空间中的学习:强化学习的正交瓶颈

Aleksandar Todorov, Matthia Sabatelli

专题命中 预训练与数据 :pretraining(abstract);分类 cs.AI、cs.LG

AI总结 提出一种在强化学习编码器特征中插入固定正交投影以约束低维子空间的简单先验,证明其在线性可实现性假设下保持表达能力,并在实验中显示价值表示可压缩至极低维度而不损失性能。

Comments Reinforcement Learning Conference (RLC) 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.26983 2026-07-07 cs.AI cs.CY cs.LG 62%

Transparency as Architecture: Structural Compliance Gaps in EU AI Act Article 50 II

透明度作为架构:欧盟AI法案第50条II项中的结构性合规缺口

Vera Schmitt, Niklas Kruse, Premtim Sahitaj, Julius Schöning

机构 * Technichal University Berlin XpaliNLP Group(柏林工业大学 XpaliNLP 组) Research Center for Artificial Intelligence (DFKI)(人工智能研究中心(DFKI)) Center for European Research on Trusted AI (CERTAIN)(欧洲可信人工智能研究中心(CERTAIN))

专题命中 预训练与数据 :LLM(abstract);分类 cs.AI、cs.LG

AI总结 本文探讨了欧盟AI法案第50条II项对AI生成内容的双重透明度要求,指出当前生成式AI系统存在结构性合规缺口,需将透明度视为架构设计需求。

Comments 10 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.07488 2026-07-07 cs.LG cs.AI stat.ML 版本更新 62%

Deriving Neural Scaling Laws from the statistics of natural language

从自然语言统计中推导神经缩放定律

Francesco Cagnetta, Allan Raventós, Surya Ganguli, Matthieu Wyart

专题命中 预训练与数据 :LLM(abstract);分类 cs.AI、cs.LG

AI总结 研究从自然语言统计推导神经缩放定律,分离出语言关键统计属性预测神经缩放指数,给出基于这些统计量的简单公式,与实验测量定律匹配。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.01460 2026-07-07 cs.LG cs.AI 版本更新 62%

The Three Regimes of Offline-to-Online Reinforcement Learning

离线到在线强化学习的三种模式

Lu Li, Tianwei Ni, Yihao Sun, Pierre-Luc Bacon

机构 * Mila – Québec AI Institute(魁北克AI研究所) Université de Montréal(蒙特利尔大学) CIFAR AI Chair(CIFAR人工智能 chair)

专题命中 预训练与数据 :pretraining(abstract);分类 cs.AI、cs.LG

AI总结 研究离线到在线强化学习,基于稳定性-可塑性原理提出框架解释其经验行为不一致性,识别三种在线微调模式,经实证研究验证该框架可指导相关设计选择。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04563 2026-07-07 cs.CL 新提交 57%

Fidelity-Diversity Metrics for Text

文本的保真度-多样性度量

Amanda Wang, Tudor Manole, Florentina Bunea, John Thickstun

机构 * Department of Computer Science, Cornell University(康奈尔大学计算机科学系) Statistics and Data Science Center, Massachusetts Institute of Technology(麻省理工学院统计与数据科学中心) Department of Statistics, Cornell University(康奈尔大学统计学系)

专题命中 预训练与数据 :language model(abstract);分类 cs.CL

AI总结 随着语言建模技术成熟,数据质量评估对训练模型很关键。基于生成模型精度和召回率的工作,开发一对度量,用最优传输散度函数量化文本的保真度和多样性,能区分候选文本缺陷。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03835 2026-07-07 cs.AR cs.LG 新提交 57%

Weave: Verified Netlist-to-Schematic Conversion via Layered Graph Layout

Weave:通过分层图布局实现经过验证的网表到原理图转换

Senol Gulgonul

机构 * Senol Gulgonul

专题命中 预训练与数据 :LLM(abstract);分类 cs.LG

AI总结 研究电子设计中网表转原理图问题,提出Weave确定性转换器,用分层图布局转换并经往返连通性检查验证,在测试集上表现优于Schemato。

Comments 6 pages, 5 figures, 2 tables. Tool: https://senolgulgonul.github.io/weave/ Code and benchmark: https://github.com/senolgulgonul/weave

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02763 2026-07-07 cs.CL 新提交 57%

LuxSQA: Ask Me in Luxembourgish with TTS-Augmented Spoken Question Answering

LuxSQA:通过文本转语音增强的卢森堡语口语问答

Nina Hosseini-Kivanani, Marco Matassoni, Alessio Brutti

机构 * Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会) University of Luxembourg(卢森堡大学) Trento, Italy(意大利特伦托) Esch-sur-Alzette, Luxembourg(卢森堡埃施-sur-阿尔泽特)

专题命中 预训练与数据 :LLM(abstract);分类 cs.CL

AI总结 研究文本转语音能否为卢森堡语口语问答提供特定任务训练数据。从现有基于文本的问答资源出发,翻译问题合成口语问题并配对答案,训练参数高效架构,比较不同文本转语音系统及合成训练配置,得出多源和基于语音设计的配置性能最强。

Comments 7 pages, under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02212 2026-07-07 stat.ML cs.LG 新提交 57%

An Additive MLP-GNN Framework for Characterizing Chemical and Structural Contributions to Aqueous Solubility

一种用于表征化学和结构贡献对水溶性的加性MLP-GNN框架

Sampreeti Bhattacharya, Arkaprava Roy

专题命中 预训练与数据 :pretraining(abstract);分类 cs.LG

AI总结 提出加性深度学习框架,分别用MLP编码理化描述符、GNN编码分子图拓扑,通过加性模型组合预测水溶性,实现化学与结构贡献的分离解释,并在AqSolDB和BigSolDB2数据集上取得竞争性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.30695 2026-07-07 q-bio.QM cs.AI 新提交 57%

Modeling Cell-Cycle-Aware Single-Cell Drug Perturbation Responses

建模细胞周期感知的单细胞药物扰动响应

Dingping Zhao, Jie Lin, Feng Xu, Zhengwei Xie

机构 * Division of Pharmacognosy, School of Pharmaceutical Sciences, State Key Laboratory of Natural and Biomimetic Drugs, Peking University, China(北京大学药学院生药学系,天然药物及仿生药物国家重点实验室) Department of Computer Science at School of Informatics, Xiamen University, Xiamen, China(厦门大学信息学院计算机科学系)

专题命中 预训练与数据 :pretraining(abstract);分类 cs.AI

AI总结 提出scCycleMol框架,通过细胞周期监督信号预测药物扰动下的转录响应和细胞周期状态变化,在SciPlex3基准上显著提升表达预测和相位准确性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03203 2026-07-07 eess.IV 新提交 50%

Mutually Exclusive Multiclass Lesion Segmentation in Neuroimaging: Binary-Guided Weak Supervision with Inter-Class Orthogonality

神经成像中的互斥多类病变分割:具有类间正交性的二元引导弱监督

Ashutosh Kumar, Vivek Dhamale, Vaanathi Sundaresan

专题命中 预训练与数据 :pretraining(abstract)

AI总结 针对神经成像中共存病变子类的弱监督分割难题,提出BiMEx-MS框架,将多类分割分解为全病变定位和排他性类分配,通过特定损失和形态学伪标签细化实现类间互斥,在多数据集上效果良好。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04747 2026-07-07 cs.CV 新提交 50%

MergeSurv: Merging-Based Continual Learning for Survival Analysis on Whole-Slide Images

MergeSurv:用于全切片图像生存分析的基于合并的持续学习

Vu Minh Tran, Doanh C. Bui, Maï K. Nguyen, Khang Nguyen

机构 * University of Information Technology(信息技术大学) Viet Nam National University Ho Chi Minh City(胡志明市越南国立大学) ETIS (UMR 8051), CY Cergy Paris University, ENSEA, CNRS, France(法国CY Cergy巴黎大学、ENSEA、法国国家科学研究中心联合建立的ETIS实验室(UMR 8051))

专题命中 预训练与数据 :foundation model(abstract)

AI总结 研究针对全切片图像生存分析,提出MergeSurv框架,独立微调病理视觉语言基础模型参数后合并,还探究两种推理策略,实验表明其优于其他方法且能减少灾难性遗忘。

Comments 10 pages, 2 figures, 1 table

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04400 2026-07-07 cs.NI 新提交 50%

On the Physical Plausibility and Distribution Alignment for Sim-to-Real RF Positioning

关于从仿真到实际射频定位的物理合理性与分布对齐

Ararat Saribekyan, Armen Manukyan, Hrant Khachatrian, Theofanis P. Raptis

专题命中 预训练与数据 :pretraining(abstract)

AI总结 研究基站校准、物理逼真度、合成数据规模及 RSSI 分布对齐对仿真到实际数据传输的影响。通过调整基站参数校准,对比不同校准方式及数据集,发现分布对齐对射频定位更重要。

Comments This work was supported by funding under the bilateral agreement between CNR (Italy) and HESC MESCS RA (Armenia) as part of the DeepRF project for the 2025-2026 biennium, and by the HESC MESCS RA grant No. 22rl-052 (DISTAL)

Journal ref 2026 International Conference on Computer, Information and Telecommunication Systems (CITS)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.30988 2026-07-07 cs.RO 新提交 50%

Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force

多感官持续学习:将预训练的视觉运动策略适应到力觉

Jaden Clark, Changhao Wang, Yihuai Gao, Seongheon Hong, Hojung Choi, Mark Cutkosky, Yifan Hou, Shuran Song

机构 * Stanford University(斯坦福大学)

专题命中 预训练与数据 :pretraining(abstract)

AI总结 提出MuSe方法,通过多阶段融合、多感官未来预测和预训练数据经验回放,将有限的多感官数据融入预训练的纯视觉策略,在保持原始任务性能的同时适应新任务。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 指令微调 63 篇

2606.18089 2026-07-07 cs.LG 新提交 92%

From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning

从推理轨迹到可复用模块:理解语言模型推理中的组合泛化

Lingjing Kong, Xin Liu, Guangyi Chen, Martin Q. Ma, Xiangchen Song, Yuekai Sun, Mikhail Yurochkin, Taylor W. Killian, Ruslan Salakhutdinov, Kun Zhang, Eric P. Xing, Zhengzhong Liu

机构 * Carnegie Mellon University(卡内基梅隆大学) Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学) Institute of Foundation Models(基础模型研究院) University of Michigan(密歇根大学)

专题命中 指令微调 :SFT(summary_cn,abstract);language model(title,abstract);LLM(abstract_cn);large language model(abstract)

AI总结 本文通过层次化潜在选择模型形式化组合泛化,理论证明SFT提供原子模块,RL分解轨迹实现组合泛化,实验验证RL能从复合轨迹中提取原子模块并重组解决新配置。

Comments ICML2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.06358 2026-07-07 cs.CL cs.AI 版本更新 91%

SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass

SHINE:一种可扩展的上下文超网络,用于在单次传递中将上下文映射到LoRA

Yewei Liu, Xiyuan Wang, Yansheng Mao, Yoav Gelbery, Haggai Maron, Muhan Zhang

机构 * Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院) Technion, NVIDIA(技术学院与NVIDIA) University of Oxford(牛津大学) School of Electronics Engineering(电子工程学院) Computer Science, Peking University(计算机科学,北京大学)

专题命中 指令微调 :LLM(summary_cn,abstract);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 本文提出SHINE,一种可扩展的上下文超网络,用于在单次传递中将多样且有意义的上下文映射到高质量的LoRA适配器,通过重用冻结LLM的自身参数和引入架构创新,克服了先前超网络的关键限制,以较少的参数实现了强大的表达能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02523 2026-07-07 cs.DC cs.NI 新提交 90%

Edge-Deployable LLM Fine-Tuning on a Single GPU for Telecom Network Troubleshooting

用于电信网络故障排除的单 GPU 上的边缘可部署大语言模型微调

Chenhua Shi, Bhavika Jalli, John Zou, Gregor Macdonald, Wanlu Lei, Mridul Jain, Joji Philip

专题命中 指令微调 :LLM(title,summary_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 研究电信边缘站点大语言模型微调,用Unsloth框架进行GPU分析,系统分析多因素对训练稳定性和资源效率的影响,给出推理与非推理模型不同行为,为电信边缘环境LLM微调提供配置指南。

Comments 6 pages, 2 figures, 5 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04235 2026-07-07 cs.CL 新提交 90%

Spinning Straw into Gold: Relabeling LLM Agent Trajectories in Hindsight for Successful Demonstrations

化腐朽为神奇:事后重新标记大语言模型智能体轨迹以实现成功示范

Zichao Li, Gang Wu, Zichao Wang, Ruiyi Zhang, Wanrong Zhu, Ryan A. Rossi, Vlad I Morariu, Jihyung Kil

机构 * Mila, McGill University(米拉,麦吉尔大学) Adobe Research(Adobe研究院)

专题命中 指令微调 :LLM(title,abstract);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 针对大语言模型智能体监督瓶颈,利用智能体展开中隐含的成功目标,引入事后监督学习(HSL),通过辅助大语言模型重新标记轨迹及目标并微调,提出两种技术减轻数据次优性,实验证明其优势。

Comments Accepted to ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02914 2026-07-07 cs.AI 新提交 89%

Oyster-II: Reinforcement Learning for Constructive Safety Alignment in Large Language Models

Oyster-II:大语言模型中用于建设性安全对齐的强化学习

Jiyang Guan, Yong Xie, Jun Chen, Jiexi Liu, Zipeng Ye, Defeng Li, Jiayu Shen, Jialing Tao, Hui Xue

机构 * Alibaba AAIG(阿里巴巴人工智能全球研究院)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);SFT(abstract);分类 cs.AI

AI总结 研究大语言模型安全等问题,指出传统策略不足。基于Oyster-I范式,提出Oyster-II框架,采用强化学习结合零强化学习范式,在多基准测试中安全维度表现出色。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.07376 2026-07-07 cs.AI cs.DC 版本更新 89%

OpenTinker: Separating Concerns in Agentic Reinforcement Learning

OpenTinker:在智能体强化学习中分离关注点

Siqi Zhu, Jiaxuan You

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)

专题命中 指令微调 :SFT(summary_cn,abstract);LLM(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 介绍OpenTinker,一种用于训练大型语言模型智能体的开放基础设施。通过共享执行资源和多LoRA策略,围绕策略生命周期运行,支持SFT和RL,实现多用户等共享基础模型并隔离更新等。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04890 2026-07-07 cs.CL 新提交 88%

Evaluating Large Language Models for Antisemitic Incident Classification

评估用于反犹事件分类的大语言模型

Karina Halevy, Julia Mendelsohn, Chan Young Park, Yulia Tsvetkov, Maarten Sap

机构 * Carnegie Mellon University(卡内基梅隆大学) University of Maryland(马里兰大学) Microsoft Research(微软研究院) University of Washington(华盛顿大学) Allen Institute for Artificial Intelligence(人工智能研究院)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.CL

AI总结 研究利用大语言模型对反犹事件报告进行细粒度分类,评估了OpenAI的GPT-4o和Meta的Llama-3.2-3B-Instruct,发现其有潜力但需改进,提示中提供定义和示例可提升性能,还通过案例展示其能助力发现现实事件。

Comments Accepted to Digital Hate Review 2026 Issue 1

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04469 2026-07-07 cs.CL 新提交 88%

Don't Commit Alone: Joint Token Commitment in Diffusion Large Language Models

不要单独提交:扩散大语言模型中的联合令牌提交

Lin Yao

机构 * School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学与工程学院) Zhongguancun Academy(中关村科学城)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.CL

AI总结 研究扩散大语言模型中多令牌提交问题,提出CoCommit方法,通过标记门控协调步骤延迟提交,重新应用骨干网络最后n层使标记位置协调,近似联合模式解码,提高推理和精确答案任务准确率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.31984 2026-07-07 cs.IR cs.AI 新提交 88%

GR2 Technical Report

GR2 技术报告

Yufei Li, Zaiwei Zhang, Mingfu Liang, Kavosh Asadi, Jay Xu, Jimmy Kim, Chongyang Bai, Jieyi Zhang, Hongye Xie, Prachi Agrawal, Dian Yu, Tianyi Chen, Jean-Pascal Billaud, Garret Buell, Yongkang Zhu, Sachin Patil, Brooke Bian, Zhou Fang, Kevin Huang, Shiva Sudanagunta, Yuzhen Huang, Emma Lu, Chris O'Brien, Yang Song, Lihong Li, Jacob Tao, Zhicheng Zhu, Chao Li, Gaoxiang Liu, Neil Wu, Zhongyin Hu, Li Han, Loki Chen, Ming Lei, Greg Rehm, Siyuan Song, Tianwei Zhang, Li Li, Ketan Singh, Yavuz Yetim, Ilyas Atishev, Satendra Gera, Ashkan Sadeghi, Rachel Yan, Nikko Mizutani, Shuaiwen Wang, Song Yang, Zhijing Li, Jiang Liu, Mengying Sun, Fei Tian, Xiaohan Wei, Chonglin Sun, Shuo Gu, Parish Aggarwal, Senthil Manickavelu, Kaushik Rangadurai, Zhi Hua, Frank Shyu, Ruchit Sharma, Liyuan Li, Shike Mei, Wenlin Chen, Santanu Kolay, Ben Schulte, Deepak Chandra, Yang Song, Sandeep Pandey, Xi Liu, Hamed Firooz, Luke Simon

机构 * Meta AI

专题命中 指令微调 :LLM(abstract,abstract_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 针对工业推荐系统中重排序阶段未被充分探索、大语言模型推理能力未充分利用以及非语义标识符问题,提出GR2框架,结合语义ID中间训练、推理轨迹蒸馏和强化学习,在工业流量上取得显著提升。

Comments 18 pages, 10 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17184 2026-07-07 cs.SE cs.LG 版本更新 88%

SynthFix: Adaptive Neuro-Symbolic Code Vulnerability Repair

SynthFix:自适应神经符号代码漏洞修复

Yifan Zhang, Jieyu Li, Kexin Pei, Yu Huang, Kevin Leach

机构 * Vanderbilt University(范德比大学) University of Chicago(芝加哥大学)

专题命中 指令微调 :LLM(summary_cn,abstract_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 SynthFix通过结合代码生成与编译器引导的符号反馈,提升LLM在漏洞修复中的性能,实验表明其在CodeBLEU/CrystalBLEU和Exact Match指标上优于传统基线方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.02932 2026-07-07 cs.LG 版本更新 88%

PLoRA: Efficient Concurrent LoRA Training for Large Language Models

PLoRA:用于大语言模型的高效并发LoRA训练

Minghao Yan, Zhuang Wang, Zhen Jia, Shivaram Venkataraman, Yida Wang

机构 * University of Wisconsin-Madison(威斯康星大学麦迪逊分校)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.LG

AI总结 研究发现当前LoRA训练范式不能有效利用硬件资源,提出PLoRA,在给定硬件和模型约束下自动编排并发LoRA微调作业并开发高性能内核,提升训练效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03661 2026-07-07 cs.CV 新提交 88%

From Geometric Labels to Semantic Understanding of Indoor Building Components Using Multimodal Large Language Models

使用多模态大语言模型从几何标签到室内建筑组件的语义理解

Shuju Jing, Chao Yin

机构 * School of Qilu Transportation, Shandong University(山东大学齐鲁交通学院) Guangzhou Institute of Geography, Guangdong Academy of Sciences(广东省地理研究所)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract)

AI总结 研究针对室内建筑组件,提出以点云为中心的多模态大语言模型Building-MLLM,通过特定机制解决语义集中问题,开发引擎编译数据集,实验表明其在多任务上表现优异,提升室内组件语言理解。

Comments 46 pages, 13 figures, accepted by Automation in Construction journal

详情

展开后加载摘要…

URL PDF HTML 收藏
2406.07925 2026-07-07 cs.DC 版本更新 88%

FDLoRA: Personalized Federated Learning of Large Language Model via Dual LoRA Tuning

FDLoRA:通过双LoRA调整实现大语言模型的个性化联邦学习

Yao Lu, Jiaxing QI, Zhongzhi Luan, Shaohan Huang, Carol Fung, Hailong Yang, Depei Qian

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract)

AI总结 针对单个用户训练大语言模型资源需求高的挑战,提出FDLoRA框架,采用双LoRA调整,在客户端分别捕捉个性化和全局知识,仅全局模块上传参数,经自适应融合提升性能,降低通信和计算成本。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.09448 2026-07-07 cs.SD cs.AI 版本更新 87%

One Prompt, Many Sounds: Modeling Listener Variability in LLM-Based Equalization

一个提示,多种声音:在基于大语言模型的均衡中建模听众差异

Ioannis Stylianou, Jon Francombe, Pablo Martinez-Nuevo, Sven Ewan Shepstone, Zheng-Hua Tan

机构 * Bang & Olufsen A/S, Struer, Denmark(丹麦Bang & Olufsen A/S公司,Struer) Department of Electronic Systems, Aalborg University(奥胡斯大学电子系统系) Pioneer Centre for AI, Copenhagen, Denmark(哥本哈根先锋人工智能中心)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出利用大语言模型将自然语言提示映射到均衡设置,通过上下文学习和参数高效微调技术,实现更灵活的音频均衡控制。

Comments 13 pages, 15 figures, 2 tables, Accepted for publication in the IEEE Journal of Selected Topics in Signal Processing

详情

展开后加载摘要…

URL PDF HTML 收藏