arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

大模型推理能力

大模型数学、逻辑、规划、多步推理和测试时计算能力。

共收录 5813 信号源:cs.CL, cs.AI, cs.LG

1. 其他推理 5813 篇

2602.04215 2026-02-12 cs.RO cs.AI cs.LG 62%

OAT: Ordered Action Tokenization

OAT:有序动作标记化

Chaoqi Liu, Xiaoshen Han, Jiawei Gao, Yue Zhao, Haonan Chen, Yilun Du

专题命中 其他推理 :reasoning(abstract);分类 cs.AI、cs.LG

AI总结 OAT通过有序动作标记化方法,实现高压缩性和因果有序的标记空间,提升机器人动作生成的灵活性和性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.09200 2026-02-12 cs.CL cs.AI 62%

A.X K1 Technical Report

A.X K1 技术报告

Sung Jun Cheon, Jaekyung Cho, Seongho Choi, Hyunjun Eun, Seokhwan Jo, Jaehyun Jun, Minsoo Kang, Jin Kim, Jiwon Kim, Minsang Kim, Seungsik Kim, Sungwan Kim, Tae Yoon Kim, Youngrang Kim, Hyeongmun Lee, Sangyeol Lee, Sungeun Lee, Youngsoon Lee, Yujin Lee, Seongmin Ok, Chanyong Park, Hyewoong Park, Junyoung Park, Hyunho Yang, Subin Yi, Dhammiko Arya, Soohyun Bae, Dongyeon Cho, Seungmo Cho, Sangho Choi, Yongseok Choi, Gyoungeun Han, Yong-jin Han, Seokyoung Hong, Hyeon Hwang, Wonbeom Jang, Minjeong Ju, Wonjin Jung, Keummin Ka, Sungil Kang, Dongnam Kim, Jonghwi Kim, Joonghoon Kim, SaeRom Kim, Sangjin Kim, Seongwon Kim, Youngjin Kim, Seojin Lee, Sunwoo Lee, Taehoon Lee, Chanwoo Park, Sohee Park, Sooyeon Park, Yohan Ra, Sereimony Sek, Seungyeon Seo, Gun Song, Sanghoon Woo, Janghan Yoon, Sungbin Yoon

机构 * SK Telecom(SK电信)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI

AI总结 A.X K1 是一个5190亿参数的混合专家语言模型,通过Think-Fusion训练配方实现可控推理,具备在韩语基准测试中优于开源模型的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.10097 2026-02-11 cs.LG cs.AI 62%

Step-resolved data attribution for looped transformers

循环变换器中逐步数据归因

Georgios Kaissis, David Mildenberger, Juan Felipe Gomez, Martin J. Menten, Eleni Triantafillou

机构 * Hasso Plattner Institute for Digital Engineering, University of Potsdam(波恩大学数字工程研究所) Technical University of Munich(慕尼黑技术大学) Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心) Harvard University(哈佛大学) Imperial College London(伦敦帝国理工学院) Google DeepMind(谷歌DeepMind)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI、cs.LG

AI总结 本文提出SDI方法,用于分析循环变换器中每个循环步骤对模型的影响,提升数据归因和可解释性能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09902 2026-02-11 cs.GT cs.AI cs.LG 62%

Routing, Cascades, and User Choice for LLMs

路由、级联与用户选择用于大语言模型

Rafid Mahmood

机构 * University of Ottawa(渥太华大学) NVIDIA(NVIDIA公司)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI、cs.LG

AI总结 本文研究了大语言模型路由策略与用户行为之间的博弈,揭示了提供者与用户在效用和成本排序上的不一致,提出了基于Stackelberg博弈的路由优化方法,并得出了单用户单提供者互动的阈值规则。

Comments 23 pages, accepted in ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09384 2026-02-11 cs.CL cs.AI 62%

Contractual Deepfakes: Can Large Language Models Generate Contracts?

合同型深度伪造:大语言模型能生成合同吗?

Eliza Mik

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI

AI总结 本文指出大语言模型生成的合同可能不具法律效力,质疑其在法律领域应用的可行性。

Comments Accepted for publication

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.08329 2026-02-10 cs.LG cs.AI cs.IT math.IT 62%

Near-Oracle KV Selection via Pre-hoc Sparsity for Long-Context Inference

通过预处理稀疏性实现近oracle的KV选择用于长上下文推理

Yifei Gao, Lei Wang, Rong-Cheng Tu, Qixin Zhang, Jun Cheng, Dacheng Tao

机构 * University College London(伦敦大学学院) Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences (CAS)(深圳先进技术研究院,中国科学院) Chinese University of Hong Kong(香港中文大学) College of Computing & Data Science, Nanyang Technological University(computing 与数据科学学院,南洋理工大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI、cs.LG

AI总结 PrHS通过预处理稀疏性在长上下文推理中实现近oracle的KV选择,有效降低计算和带宽成本,提升推理效率。

Comments An effective method for accelerating LLM's inference via selective KV processing

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.08005 2026-02-10 cs.CL cs.AI 62%

DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity

DeltaKV: 基于残差的KV缓存压缩 via 长距离相似性

Jitai Hao, Qiang Huang, Yaowei Wang, Min Zhang, Jun Yu

机构 * Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI

AI总结 DeltaKV通过残差编码减少KV缓存内存,提升长上下文LLM的部署效率。

Comments preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.07824 2026-02-10 cs.AI cs.CL 62%

Data Darwinism Part I: Unlocking the Value of Scientific Data for Pre-training

数据达尔文主义 第一部分:解锁科学数据为预训练带来的价值

Yiwei Qin, Zhen Huang, Tiantian Mi, Weiye Si, Chenyang Zhou, Qipeng Guo, Siyuan Feng, Pengfei Liu

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI

AI总结 数据达尔文主义通过十级分类法提升科学数据预训练效果,利用生成细化和认知完成技术,实现数据与模型的共同进化。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.04919 2026-02-10 cs.CL cs.AI 62%

BudgetMem: Learning Selective Memory Policies for Cost-Efficient Long-Context Processing in Language Models

BudgetMem: 为语言模型中的低成本长上下文处理学习选择性记忆策略

Chandra Vamsi Krishna Alla, Harish Naidu Gaddam, Manohar Kommi

机构 * University of Texas at Arlington(德克萨斯大学阿灵顿分校)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI

AI总结 BudgetMem通过学习选择性记忆策略,在语言模型中实现低成本长上下文处理,相比基线RAG节省72.4%内存且F1分数仅下降1.0%。

Comments 11 pages, 3 figures, 5 tables. Evaluated on 700 QA pairs across multiple document lengths

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.13876 2026-02-10 cs.CL cs.AI 62%

What Layers When: Learning to Skip Compute in LLMs with Residual Gates

层何时启用:通过残差门学习跳过计算在LLMs中

Filipe Laitenberger, Dawid Kopiczko, Cees G. M. Snoek, Yuki M. Asano

机构 * Humboldt University Berlin(洪堡大学柏林) Qualcomm-UvA Lab, University of Amsterdam(高通-乌得勒支实验室,阿姆斯特丹大学) FunAI Lab, University of Technology Nuremberg(FunAI实验室,纽伦堡技术大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI

AI总结 通过残差门机制实现LLMs中按token跳过层,节省计算并保持高准确性,适用于大模型和指令调优场景。

Comments Published as a conference paper at ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.00181 2026-02-10 cs.CR cs.AI cs.LG 62%

CHAI: Command Hijacking against embodied AI

CHAI:针对具身AI的命令劫持

Luis Burbano, Diego Ortiz, Qi Sun, Siwei Yang, Haoqin Tu, Cihang Xie, Yinzhi Cao, Alvaro A Cardenas

机构 * Johns Hopkins University(约翰霍普金斯大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI、cs.LG

AI总结 CHAI是一种针对具身AI的物理环境间接提示注入攻击,通过嵌入误导性自然语言指令,利用多模态语言解释能力,有效提升了攻击性能,凸显了对传统对抗鲁棒性之外的防御需求。

Comments This work has been accepted for publication at the IEEE Conference on Secure and Trustworthy Machine Learning (SaTML). The final version will be available on IEEE Xplore

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.06540 2026-02-09 cs.AI cs.CL 62%

AgentCPM-Report: Interleaving Drafting and Deepening for Open-Ended Deep Research

AgentCPM-Report: 交错起草与深入以促进开放性深度研究

Yishan Li, Wentong Chen, Yukun Yan, Mingwei Li, Sen Mei, Xiaorong Wang, Kunpeng Liu, Xin Cong, Shuo Wang, Zhong Zhang, Yaxi Lu, Zhenghao Liu, Yankai Lin, Zhiyuan Liu, Maosong Sun

机构 * AgentCPM Team(AgentCPM团队)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI

AI总结 AgentCPM-Report通过交错起草与深入的方法,提升开放性深度研究的性能,优于现有闭源系统。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.03048 2026-02-09 cs.LG cs.AI 62%

CoBA-RL: Capability-Oriented Budget Allocation for Reinforcement Learning in LLMs

CoBA-RL:面向大语言模型强化学习的基于能力的预算分配

Zhiyuan Yao, Yi-Kai Zhang, Yuxin Chen, Yueqing Sun, Zishan Xu, Yu Yang, Tianhao Hu, Qi Gu, Hui Su, Xunliang Cai

机构 * Zhejiang University(浙江大学) Nanjing University(南京大学) National University of Singapore(新加坡国立大学) Shanghai Jiao Tong University(上海交通大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI、cs.LG

AI总结 CoBA-RL通过基于能力的价值函数和堆贪心策略,优化大语言模型强化学习中的预算分配,提升训练效率和泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.18642 2026-02-09 cs.AI cs.CL 62%

FadeMem: Biologically-Inspired Forgetting for Efficient Agent Memory

FadeMem: 基于生物机制的高效代理记忆遗忘

Lei Wei, Xiao Peng, Xu Dong, Niantao Xie, Bin Wang

机构 * Alibaba International Digital Commerce Group(阿里巴巴国际数字商业集团) School of Software and Microelectronics(软件与微电子学院) Peking University(北京大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI

AI总结 FadeMem通过生物启发的主动遗忘机制,提升代理记忆的效率与存储容量,实现更有效的信息管理与多跳推理能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.06258 2026-02-09 cs.LG cs.AI 62%

GRP-Obliteration: Unaligning LLMs With a Single Unlabeled Prompt

GRP-Obliteration: 通过单个无标签提示解耦大语言模型

Mark Russinovich, Yanan Cai, Keegan Hines, Giorgio Severi, Blake Bullwinkel, Ahmed Salem

机构 * Microsoft(微软)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI、cs.LG

AI总结 GRP-Obliteration通过单个无标签提示解耦大语言模型,利用GRPO技术有效移除安全约束,实现更强的不对齐能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.05848 2026-02-06 cs.NE cs.AI cs.CL 62%

DARWIN: Dynamic Agentically Rewriting Self-Improving Network

DARWIN: 动态代理式自我改进网络

Henry Jiang

机构 * College of Computing, Georgia Institute of Technology(计算学院、佐治亚理工学院)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI

AI总结 DARWIN通过进化算法和动态代理机制实现GPT模型的自我改进,实验显示其在FLOPS利用率和困惑度上均有显著提升。

Comments 6 pages, 3 figures, 2 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2504.20741 2026-02-06 cs.HC cs.AI cs.CY cs.LG 62%

In defence of post-hoc explanations in medical AI

为医疗AI中的事后解释辩护

Joshua Hatherley, Lauritz Munch, Jens Christian Bjerring

机构 * Center for the Philosophy of AI(哲学人工智能中心) University of Copenhagen(哥本哈根大学) Department of Philosophy and History of Ideas(哲学与思想史系) Aarhus University(奥胡斯大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI、cs.LG

AI总结 本文为医疗AI中的事后解释辩护,指出其虽无法完全复制黑盒推理过程,但能提升用户理解、提高临床团队准确性并辅助医生决策。

Journal ref 2026. Hastings Center Report 56(1): 40-46

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.05189 2026-02-06 cs.CL cs.HC cs.LG cs.SI 62%

Are Open-Weight LLMs Ready for Social Media Moderation? A Comparative Study on Bluesky

开放权重大语言模型是否准备好用于社交媒体审查?对Bluesky的比较研究

Hsuan-Yu Chou, Wajiha Naveed, Shuyan Zhou, Xiaowei Yang

机构 * Duke University(杜克大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.LG

AI总结 本文评估了开放权重LLMs在社交媒体审查中的表现,发现其在敏感性和特异性上与专有模型有较高重叠,并探讨了在不同审查场景下的应用考量。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.09100 2026-02-05 cs.LG cs.AI 62%

Towards Universal Neural Likelihood Inference

面向通用神经似然推断

Shreyas Bhat Brahmavar, Yang Li, Qiyang Liu, Shashank Srivastava, Junier Oliva

机构 * Department of Computer Science, University of North Carolina at Chapel Hill, Chapel Hill, NC, USA(计算机科学系,北卡罗来纳大学教堂山分校)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI、cs.LG

AI总结 本文提出通用神经似然推断框架ASPIRE,通过异构表格数据推理引擎实现跨领域零样本学习,提升预测精度与效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.13697 2026-02-05 cs.LG cs.AI 62%

RL in Name Only? Analyzing the Structural Assumptions in RL post-training for LLMs

仅名义上的强化学习?分析在LLM中post-training强化学习的结构假设

Soumya Rani Samineni, Durgesh Kalwar, Karthik Valmeekam, Kaya Stechly, Subbarao Kambhampati

机构 * SCAI, Arizona State University(SCAI,亚利桑那州立大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI、cs.LG

AI总结 本文分析了LLM post-training强化学习的结构假设,发现其退化为过滤迭代SFT,且激励生成更长的中间token序列。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.03772 2026-02-04 cs.LG cs.AI 62%

UniGeM: Unifying Data Mixing and Selection via Geometric Exploration and Mining

UniGeM: 通过几何探索与挖掘统一数据混合与选择

Changhao Wang, Yunfei Yu, Xinhao Yao, Jiaolong Yang, Riccardo Cantoro, Chaobo Li, Qing Cui, Jun Zhou

机构 * Politecnico di Torino(托斯大学) Ant Group(蚂蚁集团) Renmin University of China(中国人民大学) Institute of Microelectronics of the CAS(中国科学院微电子研究所)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI、cs.LG

AI总结 UniGeM通过几何探索与挖掘统一数据混合与选择,提升大语言模型的数据效率和推理性能

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.02918 2026-02-04 cs.CV cs.AI cs.LG q-bio.TO 62%

A Multi-scale Linear-time Encoder for Whole-Slide Image Analysis

全滑动图像分析的多尺度线性时间编码器

Jagan Mohan Reddy Dwarampudi, Joshua Wong, Hien Van Nguyen, Tania Banerjee

机构 * Department of Electrical and Computer Engineering, University of Houston(电子与计算机工程系,休斯顿大学) Department of Information Science Technology, University of Houston(信息科学与技术系,休斯顿大学) Department of Neurology, College of Medicine, University of Florida(神经病学系,医学学院,佛罗里达大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI、cs.LG

AI总结 MARBLE是一种基于Mamba的多尺度线性时间编码器,通过并行处理和线性时间建模,实现高效且可扩展的全滑动图像分析。

Comments Accepted to ISBI 2026, 4 pages with 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.01660 2026-02-03 cs.CL cs.AI 62%

CoDiQ: Test-Time Scaling for Controllable Difficult Question Generation

CoDiQ:测试时缩放用于可控的困难问题生成

Zhongyuan Peng, Caijun Xu, Changyi Xiao, Shibo Hong, Eli Zhang, Stephen Huang, Yixin Cao

机构 * Fudan University(复旦大学) Shanghai Innovation Institute(上海创新研究院)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI

AI总结 CoDiQ通过测试时缩放实现可控困难问题生成,提升模型推理能力。

Comments 11 pages, 5 tables, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.01469 2026-02-03 cs.LG cs.AI 62%

P-EAGLE: Parallel-Drafting EAGLE with Scalable Training

P-EAGLE:具有可扩展训练的并行草稿EAGLE

Mude Hui, Xin Huang, Jaime Campos Salas, Yue Sun, Nathan Pemberton, Xiang Song, Ashish Khetan, George Karypis

机构 * University of California, Santa Cruz(加州大学圣克ruz分校) AWS Amazon(亚马逊AWS)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI、cs.LG

AI总结 P-EAGLE通过可学习共享隐藏状态实现并行多标记预测,结合注意力掩码预计算和序列划分技术,提升长上下文训练效率,实现比自回归EAGLE-3快1.10-1.36倍的速度提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.13155 2026-02-03 cs.CL cs.LG 62%

Probe and Skip: Self-Predictive Token Skipping for Efficient Long-Context LLM Inference

探测与跳过:用于高效长上下文LLM推理的自预测token跳过

Zimeng Wu, Donghao Wang, Chaozhe Jin, Jiaxin Chen, Yunhong Wang

机构 * School of Computer Science and Engineering, Beihang University, Beijing, China(计算机科学与工程学院,北航,北京,中国) State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, Beijing, China(虚拟现实技术与系统国家重点实验室,北航,北京,中国)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.LG

AI总结 本文提出自预测token跳过框架,通过两种选择性跳过策略和多阶段延迟剪枝策略,提升长上下文LLM推理效率,实现显著加速与高精度

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.07327 2026-02-03 cs.AI cs.CL 62%

IterResearch: Rethinking Long-Horizon Agents with Interaction Scaling

IterResearch: 重新思考长视界智能体与交互扩展

Guoxin Chen, Zile Qiao, Xuanzhong Chen, Donglei Yu, Haotian Xu, Wayne Xin Zhao, Ruihua Song, Wenbiao Yin, Huifeng Yin, Liwen Zhang, Kuan Li, Minpeng Liao, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院) Tongyi Lab, Alibaba Group(阿里集团通义实验室)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI

AI总结 IterResearch通过交互扩展范式提升长视界推理能力,实现高效探索与稳定训练,显著提升性能并缩小与前沿系统的差距。

Comments Camera Ready version for ICLR 2026. https://github.com/Chen-GX/IterResearch

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.11614 2026-02-03 cs.AI cs.CL 62%

Using Reinforcement Learning to Train Large Language Models to Explain Human Decisions

利用强化学习训练大语言模型以解释人类决策

Jian-Qiao Zhu, Hanbo Xie, Dilip Arumugam, Robert C. Wilson, Thomas L. Griffiths

机构 * Princeton University(普林斯顿大学) The University of Hong Kong(香港大学) Georgia Institute of Technology(佐治亚理工学院)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI

AI总结 本文利用强化学习训练大语言模型,使其能解释人类决策行为,实现预测与可解释性的双重目标。

详情

展开后加载摘要…

URL PDF HTML 收藏
2501.05032 2026-02-03 cs.CL cs.AI 62%

Enhancing Human-Like Responses in Large Language Models

增强大型语言模型的人类样响应

Ethem Yağız Çalık, Talha Rüzgar Akkuş

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI

AI总结 本文提出通过提升自然语言理解、对话连贯性和情感智能来增强大型语言模型的人类化响应,展示了改进用户交互和跨领域应用的潜力。

Comments Presented at the AAAI-26 Workshop on Personalization in the Era of Large Foundation Models (PerFM), Singapore, January 2026

Journal ref Presented at the AAAI-26 Workshop on Personalization in the Era of Large Foundation Models (PerFM), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.18292 2026-02-02 cs.LG cs.AI 62%

TriPlay-RL: Tri-Role Self-Play Reinforcement Learning for LLM Safety Alignment

TriPlay-RL:三角色自我对抗强化学习用于大语言模型安全对齐

Zhewen Tan, Wenhan Yu, Jianfeng Si, Tongxin Liu, Kaiqi Guan, Huiyan Jin, Jiawen Tao, Xiaokun Yuan, Duohe Ma, Xiangzheng Zhang, Tong Yang, Lin Sun

机构 * Peking University(北京大学) Qiyuan Tech(启元科技) University of Chinese Academy of Sciences(中国科学院大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI、cs.LG

AI总结 TriPlay-RL通过三角色自我对抗强化学习,实现LLM安全对齐的高效且可扩展范式,提升攻击有效性、安全性能和评估准确性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.06776 2026-02-02 cs.CL cs.AI 62%

From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs

从单个token到单个block:一种为扩散语言模型设计的原理性适应路径

Yuchuan Tian, Yuchen Liang, Shuo Zhang, Yingte Shu, Guangwen Yang, Wei He, Sibo Fang, Tianyu Guo, Kai Han, Chao Xu, Hanting Chen, Xinghao Chen, Yunhe Wang

机构 * Peking University(北京大学) Huawei Technologies(华为技术)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI

AI总结 本文提出了一种原理性适应路径,将自回归模型适配到扩散语言模型,以提升其长上下文生成能力,并在7B类模型中取得最佳性能。

Comments 14 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏