arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-04-21 至 2026-04-21 共收录 112 信号源:cs.CL, cs.AI, cs.LG

1. 效率与部署 112 篇

2604.17827 2026-04-21 cs.CL 92%

Learning to Seek Help: Dynamic Collaboration Between Small and Large Language Models

学习寻求帮助:小语言模型与大语言模型之间的动态协作

Hang Zeng, Xiangyu Liu, Yong Hu, Chaoyue Niu, Jiarui Zhang, Shaojie Tang, Fan Wu, Guihai Chen

机构 * Shanghai Jiao Tong University, Shanghai, China(上海交通大学) WeChat Tencent, Beijing, China(微信腾讯) State University of New York at Buffalo, New York, United States(纽约州立大学布法罗分校)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);SLM(abstract,abstract_cn)

AI总结 本文提出动态协作框架,使小模型主动请求大模型进行多步推理,大模型提供适应性反馈,通过系统研究协作策略受模型能力与效率隐私约束的影响,实验表明动态策略优于静态流程和独立推理,并能稳健迁移至未见的大模型。

Comments 8 content pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07937 2026-04-21 cs.CL 92%

HCRE: LLM-based Hierarchical Classification for Cross-Document Relation Extraction with a Prediction-then-Verification Strategy

HCRE: 基于大语言模型的跨文档关系抽取的分层分类方法

Guoqi Ma, Liang Zhang, Hongyao Tu, Hao Fu, Hui Li, Yujie Lin, Longyue Wang, Weihua Luo, Jinsong Su

机构 * School of Informatics, Xiamen University(厦门大学信息学院) Li Auto Inc.(Li Auto公司) Alibaba International Digital Commerce Group(阿里巴巴国际数字贸易集团)

专题命中 效率与部署 :LLM(title,summary_cn);SLM(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 本文提出HCRE方法,通过分层关系树减少LLM需考虑的关系选项,结合预测-验证策略提升可靠性,实验表明其优于现有基线。

Comments ACL 2026 Findings; camera ready version

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16940 2026-04-21 cs.LG cs.AI 92%

D-QRELO: Training- and Data-Free Delta Compression for Large Language Models via Quantization and Residual Low-Rank Approximation

D-QRELO:通过量化和残差低秩近似实现大型语言模型的训练和数据无关的delta压缩

Junlin Li, Shuangyong Song, Guodong Du, Ngai Wong, Xuebo Liu, Yongxiang Li, Min Zhang, Jing Li, Xuelong Li

机构 * Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳)) TeleAI of China Telecom(中国电信TeleAI) The Hong Kong Polytechnic University(香港理工大学) The University of Hong Kong(香港大学)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);SFT(abstract,abstract_cn)

AI总结 本文提出DQRELO方法,通过量化和残差低秩近似实现大型语言模型的delta压缩,解决大规模数据训练导致的压缩误差问题,提升压缩效果和实用性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.11251 2026-04-21 cs.CR cs.AI cs.LG 92%

CLASP: Training-Free LLM-Assisted Source Code Watermarking via Semantic-Preserving Transformations

CLASP:通过语义保持变换实现无需训练的LLM辅助源代码水印技术

Rui Xu, Jiawei Chen, Weizhi Liu, Zhaoxia Yin, Cong Kong, Xinpeng Zhang

机构 * East China Normal University(华东师范大学) Fudan University(复旦大学)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 CLASP提出一种无需训练的LLM辅助源代码水印框架,通过语义保持变换嵌入水印位,实现跨语言的高容量水印插入与提取,提升鲁棒性和部署效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17512 2026-04-21 cs.CL cs.LG 92%

ONTO: A Token-Efficient Columnar Notation for LLM Input Optimization

ONTO:一种高效的列式记法用于LLM输入优化

Harshavardhanan Deekeswar

机构 * Independent Researcher(独立研究者)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.LG

AI总结 ONTO通过列式记法减少LLM输入的token数量,相比JSON在100到1000条记录间实现46-51%的token减少,并提升推理效率。

Comments 8 pages, 5 tables, 1 figure. Code, benchmarks, and specification at https://github.com/harsh-aranga/onto

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16420 2026-04-21 cs.NE cs.AI 92%

Breaking Validity-Induced Boundaries to Expand Algorithm Search Space: A Two-Stage AST-Based Operator for LLM-Driven Automated Heuristic Evolution

突破有效性诱导边界以扩展算法搜索空间:一种基于AST的双阶段算子用于LLM驱动的自动启发式进化

Sun Shengming, Shi Jialong

机构 * School of Mathematics and Statistics, Xi'an Jiaotong University(西安交通大学数学与统计学学院)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出一种双阶段基于AST的算子,通过生成无效结构并利用LLM修复,提升LLM驱动自动启发式进化算法的搜索能力,在TSP和OBP上验证了其优化性能和收敛速度的提升。

Comments 7 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.19410 2026-04-21 cs.CL cs.AI 91%

ToMMeR -- Efficient Entity Mention Detection from Large Language Models

ToMMeR -- 从大语言模型中高效实体提及检测

Victor Morand, Nadi Tomeh, Josiane Mothe, Benjamin Piwowarski

机构 * Institut des Systèmes Intelligents et de Robotique (ISIR), Sorbonne Université, CNRS(智能系统与机器人研究所(ISIR),索邦大学,法国国家科学研究中心) LIPN, Université Sorbonne Paris Nord, UMR7030 CNRS(LIPN,巴黎-索邦大学,法国国家科学研究中心) INSPE, UT2J, Univ. Toulouse, IRIT, CLLE UMR5505 UMR5263 CNRS(INSPE,图卢兹大学,IRIT,CLLE法国国家科学研究中心)

专题命中 效率与部署 :LLM(summary_cn,abstract);language model(title,abstract);large language model(title);分类 cs.CL、cs.AI

AI总结 ToMMeR通过轻量模型验证早期LLM层的提及检测能力,在13个NER基准中实现93%零样本召回率,证明实体提及自然从语言建模中产生。

Comments Accepted at ACL2026 - Code: https://github.com/VictorMorand/llm2ner

详情

展开后加载摘要…

URL PDF HTML 收藏
2406.08334 2026-04-21 cs.DC cs.AI cs.LG cs.PF 91%

ProTrain: Efficient LLM Training via Memory-Aware Techniques

ProTrain: 通过内存感知技术实现高效的LLM训练

Hanmei Yang, Jin Zhou, Yao Fu, Xiaoqun Wang, Ramine Roane, Hui Guan, Tongping Liu

机构 * University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校) Advanced Micro Devices, Inc.(先进微器件公司)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出ProTrain系统,通过自动调整内存管理策略提升LLM训练效率,无需人工干预,实验显示训练吞吐量提升1.43至2.71倍。

Comments Accepted to MLSys 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.15229 2026-04-21 cs.CL cs.AI cs.LG 91%

VocabTailor: Dynamic Vocabulary Selection for Downstream Tasks in Small Language Models

VocabTailor: 小语言模型下游任务中的动态词汇选择

Hanling Zhang, Yayu Zhou, Tongcheng Fang, Zhihang Yuan, Guohao Dai, Wanli Ouyang, Yu Wang

机构 * The Chinese University of Hong Kong(香港中文大学) Infinigence AI Tsinghua University(清华大学) SLAI Shanghai Jiao Tong University(上海交通大学) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)

专题命中 效率与部署 :language model(title,abstract);small language model(title,abstract);SLM(abstract,abstract_cn);分类 cs.CL、cs.AI、cs.LG

AI总结 VocabTailor通过动态词汇选择框架减少小语言模型词汇相关组件的内存使用,结合静态与动态策略,实现高达99%的内存节省且不影响性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17627 2026-04-21 cs.LG cs.DC cs.PF 91%

SLO-Guard: Crash-Aware, Budget-Consistent Autotuning for SLO-Constrained LLM Serving

SLO-Guard:面向SLO约束的LLM服务自动调优:崩溃感知、预算一致

Christian Lysenstøen

机构 * Inland Norway University of Applied Sciences(内陆挪威应用科学大学) University of California, Berkeley(加州大学伯克利分校)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 SLO-Guard通过结合热预算退火与树结构帕泽估计器,实现崩溃感知的自动调优,提升LLM服务在SLO约束下的预算一致性与稳定性。

Comments 20 pages, 6 figures, 5 tables. Code and raw per-trial JSONL data: https://github.com/Chrislysen/SLO-Guard

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.18141 2026-04-21 cs.CL cs.AI 91%

Sparse Feature Coactivation Reveals Causal Semantic Modules in Large Language Models

稀疏特征共激活揭示大语言模型中的因果语义模块

Ruixuan Deng, Xiaoyang Hu, Miles Gilberti, Shane Storks, Aman Taxali, Mike Angstadt, Chandra Sripada, Joyce Chai

机构 * Georgia Institute of Technology(佐治亚理工学院) Brown University(布朗大学) University of Michigan(密歇根大学)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.CL、cs.AI

AI总结 通过稀疏自编码器特征的共激活,研究发现大语言模型中存在语义连贯且上下文一致的网络组件,揭示了模型的模块化结构及高效操控方法。

Comments ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16606 2026-04-21 cs.CR cs.LG 90%

SafeLM: Unified Privacy-Aware Optimization for Trustworthy Federated Large Language Models

SafeLM:面向可信联邦大语言模型的统一隐私意识优化

Noor Islam S. Mohammad, Uluğ Bayazıt

机构 * Istanbul Technical University(伊斯坦布尔技术大学)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.LG

AI总结 SafeLM通过整合隐私、安全、虚假信息和对抗鲁棒性四大支柱,提升联邦大语言模型的可信度,实现98%有害内容检测准确率,降低通信开销并提升隐私保护效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16475 2026-04-21 cs.NE cs.AI 90%

Spike-driven Large Language Model

基于脉冲的大型语言模型

Han Xu, Xuerui Qiu, Baiyu Chen, Xinhao Luo, Xingrun Xing, Jiahong Zhang, Bo Lei, Tiejun Huang, Bo Xu, Guoqi Li

机构 * Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing 100049, China Brain-Inspired Models Group, Beijing Academy of Artificial Intelligence, Beijing 100862, China School of Future Technology, University of Chinese Academy of Sciences, Beijing 101408, China Zhongguancun Academy, Beijing 100094, China Pengcheng Laboratory, Guangdong 518055, China School of Advanced Inter-disciplinary Sciences, University of Chinese Academy of Sciences, Beijing 101408, China School of Computer Science, Peking University, Beijing 100871, China Key Laboratory of Brain Cognition Spiking Intelligence Lab, Tianqiao \& Chirssy Chen Institute, Shanghai 201203, China

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.AI

AI总结 本文提出SDLLM,通过稀疏加法替代密集矩阵乘法,结合gamma-SQP编码和对称量化机制,有效降低脉冲 firing 率并提升性能,实验表明在脉冲基础上实现更高效且准确的大型语言模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.07954 2026-04-21 cs.CL cs.AI 90%

Bielik Guard: Efficient Polish Language Safety Classifiers for LLM Content Moderation

Bielik Guard:高效的波兰语安全分类器用于LLM内容审核

Krzysztof Wróbel, Jan Maria Kowalski, Jerzy Surma, Igor Ciuciura, Maciej Szymański

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 Bielik Guard通过高效波兰语安全分类器提升LLM内容审核效果,0.5B模型在F1分数上表现最佳,0.1B模型在效率与低误报率上优于现有方案。

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.02718 2026-04-21 cs.LG cs.AI 90%

End-to-End Optimization of LLM-Driven Multi-Agent Search Systems via Heterogeneous-Group-Based Reinforcement Learning

通过异质组强化学习实现LLM驱动的多智能体搜索系统的端到端优化

Guanzhong Chen, Shaoxiong Yang, Chao Li, Wei Liu, Jian Luan, Zenglin Xu

机构 * MiLM Plus, Xiaomi Inc.(小米公司MiLM Plus实验室) Fudan University(复旦大学) Shanghai Academy of AI for Science(上海人工智能科学研究院)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出MHGPO方法,通过估计异质组间的相对优势,优化多智能体系统的整体成功而非单个智能体性能,提升了任务表现和计算效率。

Comments Accepted to ACL 2026 Main Conference. 20 pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16364 2026-04-21 cs.CY cs.AI cs.CL 90%

Clinical Note Bloat Reduction for Efficient LLM Use

临床笔记去冗余以提高大语言模型使用效率

Jordan L. Cahoon, Chloe Stanwyck, Asad Aali, Rachel Madding, Emma Sun, Yixing Jiang, Renumathy Dhanasekaran, Emily Alsentzer

机构 * Department of Biomedical Data Science, Stanford University, Stanford, CA(斯坦福大学生物医学数据科学系) Department of Pathology, Stanford University, Stanford, CA(斯坦福大学病理学系) Department of Anesthesiology, Perioperative and Pain Medicine, Stanford University, Stanford, CA(斯坦福大学麻醉学、围术期医学与疼痛医学系) Department of Radiology, Stanford University, Stanford, CA(斯坦福大学放射学系) Department of Obstetrics and Gynecology, Stanford University, Stanford, CA(斯坦福大学妇产科学系) Division of Gastroenterology and Hepatology, Stanford University, Stanford, CA(斯坦福大学消化内科与肝病学系) Department of Computer Science, Stanford University, Stanford, CA(斯坦福大学计算机科学系) Weill Cancer Hub West(韦尔癌症中心西区)

专题命中 效率与部署 :LLM(title,summary_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出TRACE方法,通过EHR元数据去除临床笔记中的冗余文本,降低LLM计算成本,实验证明在保持信息提取和预测性能的同时,减少47.3%的文本量,节省每年约950万美元的推理成本。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17002 2026-04-21 cs.HC 90%

Intelligent Drill-Down: Large Language Model-Driven Drill-Down Technique for Human-AI Collaborative Visual Exploration

智能钻取:基于大语言模型的人机协作视觉探索钻取技术

Zhijun Zheng, Tian Qiu, Yuheng Zhao, Siming Chen

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn)

AI总结 本文提出基于大语言模型的智能钻取框架,通过生成视觉洞察、解读用户意图和生成钻取路径,提升多维数据探索效率,减少认知负担。

Comments 11 pages, 6 figures. Accepted to IEEE PacificVis 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.18302 2026-04-21 cs.AI 90%

Toward Zero-Egress Psychiatric AI: On-Device LLM Deployment for Privacy-Preserving Mental Health Decision Support

迈向零数据外溢的心理AI:设备端LLM部署用于隐私保护的心理健康决策支持

Eranga Bandara, Asanga Gunaratna, Ross Gore, Anita H. Clayton, Christopher K. Rhea, Sachini Rajapakse, Isurunima Kularathna, Sachin Shetty, Ravi Mukkamala, Xueping Liang, Preston Samuel, Atmaram Yarlagadda

机构 * Old Dominion University(旧 Dominion 大学) AI Motion Labs(AI Motion 实验室) Department of Psychiatry and Neurobehavioral Sciences(精神病学与神经行为科学系) University of Virginia School of Medicine(弗吉尼亚大学医学院) Florida International University(佛罗里达国际大学) Blanchfield Army Community Hospital(Blanchfield陆军社区医院) McDonald Army Health Center(McDonald陆军医疗中心)

专题命中 效率与部署 :LLM(title,title_cn);分类 cs.AI

AI总结 本文提出一种零数据外溢的设备端AI平台,通过本地执行推理管道,实现隐私保护的心理健康决策支持,使用轻量级LLM进行诊断评估。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17271 2026-04-21 cs.CL 90%

HopRank: Self-Supervised LLM Preference-Tuning on Graphs for Few-Shot Node Classification

HopRank: 图上基于自监督的LLM偏好微调用于少样本节点分类

Ziqing Wang, Kaize Ding

机构 * Northwestern University(西北大学)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出HopRank,通过自监督学习在文本属性图上实现少样本节点分类,利用图拓扑结构编码的类别信息,无需标注数据即可提升分类性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16521 2026-04-21 cs.CR cs.AI 90%

CAMP: Cumulative Agentic Masking and Pruning for Privacy Protection in Multi-Turn LLM Conversations

CAMP:累积代理掩码与剪枝用于多轮LLM对话中的隐私保护

Aman Panjwani

机构 * Independent Researcher(独立研究员)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 CAMP通过跨轮次隐私保护框架,解决多轮对话中累积PII暴露问题,通过会话级注册、共现图和CPE评分实现有效隐私保护,同时保持对话实用性。

Comments Submitted to arXiv. Finance-domain multi-turn demo evaluated on 4 synthetic scenarios. Independent research

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.18529 2026-04-21 cs.PF cs.DC 89%

HybridGen: Efficient LLM Generative Inference via CPU-GPU Hybrid Computing

HybridGen: 通过CPU-GPU混合计算实现高效的LLM生成推理

Mao Lin, Xi Wang, Guilherme Cox, Dong Li, Hyeran Jeon

专题命中 效率与部署 :LLM(title,title_cn)

AI总结 HybridGen通过CPU-GPU混合计算解决长上下文LLM推理中的内存带宽和负载不平衡问题,采用注意力logit并行、反馈调度器和语义感知的KV缓存映射,提升效率1.41倍至3.2倍。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16591 2026-04-21 cs.LG cs.AI 89%

Randomized Antipodal Search Done Right for Data Pareto Improvement of LLM Unlearning

随机抗双极搜索:为大语言模型反向学习的数据帕累托改进

Ziwen Liu, Huawei Lin, Yide Ran, Denghui Zhang, Jianwen Xie, Chuan Li, Weijie Zhao, Zhaozhuo Xu

机构 * Rice University(里士大学) Rochester Institute of Technology(罗切斯特理工学院) Stevens Institute of Technology(史蒂文斯理工学院) Lambda

专题命中 效率与部署 :LLM(title,summary_cn);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出数据帕累托改进概念,通过随机抗双极搜索算法提升LLM反向学习的遗忘与保留平衡,实现高效高质量的反向学习解决方案。

Comments Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17227 2026-04-21 cs.DC 89%

Cloud-native and Distributed Systems for Efficient and Scalable Large Language Models -- A Research Agenda

云原生与分布式系统用于高效可扩展的大语言模型——研究议程

Minxian Xu, Jingfeng Wu, Shengye Song, Satish Narayana Srirama, Bahman Javad, Rajiv Ranjan, Devki Nandan Jha, Sa Wang, Wenhong Tian, Huanle Xu, Li Li, Zizhao Mo, Shuo Ren, Thomas Kunz, Petar Kochovski, Vlado Stankovski, Kejiang Ye, Chengzhong Xu, Rajkumar Buyya

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);LLM(abstract)

AI总结 本文探讨云平台和分布式系统在支持大语言模型的可扩展性、效率和优化中的作用,分析部署复杂性及新兴趋势,提出未来研究方向。

Comments 45 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.04595 2026-04-21 cs.NE 89%

SpikingMamba: Towards Energy-Efficient Large Language Models via Knowledge Distillation from Mamba

SpikingMamba: 通过从Mamba知识蒸馏实现能量高效的大型语言模型

Yulong Huang, Jianxiong Tang, Chao Wang, Ziyi Wang, Jianguo Zhang, Zhichao Lu, Bojun Cheng, Luziwei Leng

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);pretraining(abstract)

AI总结 SpikingMamba通过知识蒸馏从Mamba模型中实现高效能的Spiking神经网络大型语言模型,结合SI-LIF神经元和SGC路径,在保持精度的同时显著降低能耗。

Journal ref Transactions on Machine Learning Research (01/2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.05863 2026-04-21 cs.CL cs.LG cs.SE 88%

ReflexiCoder: Teaching Large Language Models to Self-Reflect on Generated Code and Self-Correct It via Reinforcement Learning

ReflexiCoder:通过强化学习教大语言模型自我反思和自我纠正生成的代码

Juyong Jiang, Jiasi Shen, Sunghun Kim, Kang Min Yoo, Jeonghoon Kim, Sungju Kim

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) The Hong Kong University of Science and Technology(香港科技大学) Amazon AGI(亚马逊人工智慧实验室) NAVER Cloud(NAVER云)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);分类 cs.CL、cs.LG

AI总结 本文提出ReflexiCoder,一种基于强化学习的框架,使大语言模型在推理过程中自我反思和纠正代码,通过细粒度奖励函数优化整个反思-纠正过程,实现无需外部反馈的自我调试能力,实验表明其在多个基准测试中表现优异,且在推理效率上更高效。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.07794 2026-04-21 cs.CL cs.AI 88%

Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models

涌现的结构化表示支持大型语言模型中的灵活上下文推理

Ningyu Xu, Qi Zhang, Xipeng Qiu, Xuanjing Huang

机构 * College of Computer Science and Artificial Intelligence(计算机科学与人工智能学院) Fudan University(复旦大学) Shanghai, China(中国上海)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);分类 cs.CL、cs.AI

AI总结 研究揭示大型语言模型在上下文推理中通过结构化表示动态构建和利用潜在表示,为灵活适应的计算过程提供新见解。

Comments 36 pages, 23 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16913 2026-04-21 cs.AI cs.CL cs.CR cs.DC 88%

The Cognitive Penalty: Ablating System 1 and System 2 Reasoning in Edge-Native SLMs for Decentralized Consensus

认知惩罚:在边缘原生SLM中消融系统1和系统2推理以实现去中心化共识

Syed Muhammad Aqdas Rizvi

机构 * Independent Researcher(独立研究者) Lahore University of Management Sciences(拉合尔管理科学大学)

专题命中 效率与部署 :SLM(title_cn,summary_cn);language model(abstract);small language model(abstract);分类 cs.CL、cs.AI

AI总结 本文研究了边缘原生SLM中系统1和系统2推理对去中心化共识的影响,发现系统1在对抗性环境中表现更优,而系统2导致计算准确率倒置和稳定性下降。

Comments Working paper. 14 pages, 3 figures, 6 tables. Code and dataset: https://github.com/smarizvi110/sentinel-bench

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.09025 2026-04-21 cs.CL cs.LG 88%

Lizard: An Efficient Linearization Framework for Large Language Models

Lizard:一种高效的大型语言模型线性化框架

Chien Van Nguyen, Huy Nguyen, Ruiyi Zhang, Hanieh Deilamsalehy, Puneet Mathur, Viet Dac Lai, Haoliang Wang, Jayakumar Subramanian, Ryan A. Rossi, Trung Bui, Nikos Vlassis, Franck Dernoncourt, Thien Huu Nguyen

机构 * University of Oregon(俄勒冈大学) Adobe Research(Adobe研究院)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);分类 cs.CL、cs.LG

AI总结 Lizard提出一种高效线性化框架,将预训练的Transformer大型语言模型转换为亚二次架构,通过亚二次注意力机制提升计算效率,实现模型质量与内存控制的平衡。

Comments ACL 2026 (Main)

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.03052 2026-04-21 cs.LG cs.AI 88%

From 2:4 to 8:16 sparsity patterns in LLMs for Outliers and Weights with Variance Correction

从2:4到8:16稀疏模式在LLM中的应用:用于异常值和方差校正的权重

Egor Maximov, Yulia Kuzkina, Azamat Kanametov, Alexander Prutko, Aleksei Goncharov, Maxim Zhelnin, Egor Shvetsov

机构 * Moscow Independent Research Institute of Artificial Intelligence(莫斯科独立人工智能研究 institute) MIL Team(MIL 团队) MWS AI(MWS 人工智能) Applied AI(应用人工智能)

专题命中 效率与部署 :LLM(title_cn,summary_cn);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文研究了8:16半结构化稀疏模式在LLM中的应用,通过方差校正和权重平等化技术提升稀疏模型性能,展示其在压缩与精度间的平衡优势。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.18092 2026-04-21 cs.LG 88%

Generalization Boundaries of Fine-Tuned Small Language Models for Graph Structural Inference

微调小语言模型在图结构推断中的泛化边界

Michal Podstawski

机构 * NASK National Research Institute(NASK国家研究院)

专题命中 效率与部署 :language model(title,abstract);small language model(title,abstract);分类 cs.LG

AI总结 研究微调小语言模型在图结构推断中的泛化能力,通过图大小和图族分布两个维度评估其在超出训练条件时的表现,揭示模型在不同架构下的退化特征。

详情

展开后加载摘要…

URL PDF HTML 收藏