arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 582 信号源:cs.CL, cs.AI, cs.LG

1. 知识编辑与模型理解 582 篇

2606.23256 2026-06-23 cs.CV cs.AI 新提交 84%

P-JEPA: Procedural Video Representation Learning via Joint Embedding Predictive Architecture

P-JEPA: 通过联合嵌入预测架构进行程序性视频表示学习

Felix Tristram, Stefano Gasperini, Benjamin Killeen, Marcel Walch, Christian Benz, Nassir Navab, Ghazal Ghazaei

机构 * Technical University of Munich(慕尼黑工业大学) Munich Center for Machine Learning(慕尼黑机器学习中心) Carl Zeiss AG(卡尔蔡司股份公司)

专题命中 知识编辑与模型理解 :LLM(summary_cn,abstract);foundation model(abstract);分类 cs.AI

AI总结 提出P-JEPA,一种与骨干网络无关的方法,通过将长视频映射到密集帧对齐动作空间并预测池化掩码潜在向量,实现对超过30分钟程序性视频的长时理解,在EgoExo4D等数据集上达到细粒度动作分类SOTA,参数比基于LLM的方法少一个数量级。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21345 2026-06-23 cs.CL 新提交 84%

Factual Retrieval in LLMs Is a Redundant, Distributed and Non-Contiguous Process

大型语言模型中的事实检索是一个冗余、分布且非连续的过程

Hail Hochman, Natalie Shapira, Yoav Goldberg

机构 * Bar-Ilan University(巴伊兰大学) Northeastern University(东北大学)

专题命中 知识编辑与模型理解 :LLM(summary_cn,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文通过属性计算路径分析,发现LLM中事实检索路径非连续、存在多条功能等价路径,表明知识计算高度冗余和分布。

Comments Accepted to ACL 2026 Main Conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08926 2026-08-11 cs.AI cs.LG 新提交 84%

Decoding Phenotypes: A Framework for Fusing Genomic Language Models and Neuroimaging

解码表型:融合基因组语言模型与神经成像的框架

Tianli Tao, Ziyang Wang, Emma Robinson, Rachel Sparks, Le Zhang

机构 * King’s College London(伦敦国王学院) Aston University(阿斯顿大学) University of Birmingham(伯明翰大学)

专题命中 知识编辑与模型理解 :language model(title,abstract);分类 cs.AI、cs.LG

AI总结 该研究提出多模态框架GeneFuse,整合GLM遗传表征与神经成像特征,在NC vs. MCI、NC vs. AD任务上分别获0.77、0.83的AUROC,性能优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.27386 2026-07-31 cs.AI cs.LG 新提交 84%

Beyond the Bidirectional Promise: Re-evaluating the Robustness of Diffusion Language Models

超越双向承诺:重新评估扩散语言模型的鲁棒性

Saurabh Yadav, Badri Narayana Patro, Vijay Srinivas Agneeswaran

机构 * Microsoft(微软公司)

专题命中 知识编辑与模型理解 :language model(title,abstract);分类 cs.AI、cs.LG

AI总结 该研究评估了扩散语言模型的鲁棒性,发现其虽能抵御部分对抗攻击但易受自然噪声影响,存在过度自信问题,脆弱性源于解码器路由故障,需将鲁棒性整合入迭代解码循环。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.19618 2026-07-23 q-bio.GN cs.AI cs.LG 新提交 84%

Causal dictionary learning reveals and validates transcription-factor binding features in genomic language models

因果字典学习揭示并验证基因组语言模型中的转录因子结合特征

Sarwan Ali

机构 * Columbia University Irving Medical Center(哥伦比亚大学伊文思医疗中心)

专题命中 知识编辑与模型理解 :language model(title,abstract);foundation model(abstract);分类 cs.AI、cs.LG

AI总结 研究针对基因组语言模型内部表示不透明问题,引入结合稀疏字典学习与因果干预的框架,训练自动编码器提取转录因子结合特征,开发去混淆协议并因果验证,为基因组深度学习可解释性提供计算标准。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09749 2026-07-14 eess.SP cs.AI cs.LG 新提交 84%

MorphologyFM: A Foundation Model for Morphology-Aware Representation Learning from ECG and Pulse Oximetry Waveforms

MorphologyFM:一种用于从心电图和脉搏血氧波形中进行形态感知表示学习的基础模型

Saiyang Feng, Yuanyun Zhang, Shi Li

机构 * University of the Chinese Academy of Sciences(中国科学院大学) Columbia University(哥伦比亚大学)

专题命中 知识编辑与模型理解 :foundation model(title,abstract);pretraining(abstract);分类 cs.AI、cs.LG

AI总结 研究针对现有生理波形方法未保留临床意义波形形态的问题,提出多模态基础模型MorphologyFM,通过形态感知自监督学习目标预训练,结合多种技术学习相关表示,在多下游任务中表现优于其他方法,证明联合建模更具可转移性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.08017 2026-07-10 cs.CL cs.AI 新提交 84%

Can We Trust LLM's Logic? Quantifying Uncertainty, Coherence, and Robustness via a Graph-Based Framework

我们能信任大语言模型的逻辑吗?通过基于图的框架量化不确定性、连贯性和鲁棒性

Riccardo Revalor, Jalees Rehman, Debjit Pal

机构 * Department of Electrical and Computer Engineering(电气与计算机工程系) Department of Biochemistry and Molecular Genetics(生物化学与分子遗传学系) University of Illinois Chicago(伊利诺伊大学芝加哥分校)

专题命中 知识编辑与模型理解 :LLM(title,abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 研究大语言模型推理问题,引入基于图的GRAPHEVAL框架,提出GRCS度量和GSC解码策略,量化不确定性等,发现GRCS与推理忠实度负相关,证明GSC所选路径对推理的重要性。

Comments 42 pages, 14 figures, 12 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04525 2026-07-07 cs.CL cs.AI 新提交 84%

Language Models Represent and Transform Concepts with Shared Geometry

语言模型通过共享几何表示和转换概念

Zhimin Hu, Lanhao Niu, Sashank Varma

专题命中 知识编辑与模型理解 :language model(title,abstract);large language model(abstract);分类 cs.CL、cs.AI

AI总结 研究神经网络中概念表示问题,将概念表示形式化为点云流形、上下文转换为向量场,在大语言模型中实例化该框架,发现模型共享概念表示及上下文转换的通用几何结构。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24102 2026-06-24 cs.CL cs.LG 新提交 84%

PORTER: Language-Grounded Event Representations for Portable Structured EHR Foundation Models

PORTER:面向便携式结构化电子健康记录基础模型的语言基础事件表示

Lin Lawrence Guo, Adam Paul Yan, Emily Vettese, Lillian Sung

机构 * Child Health Evaluative Sciences(儿童健康评估科学) The Hospital for Sick Children(圣母医院) Division of Haematology/Oncology(血液肿瘤科)

专题命中 知识编辑与模型理解 :foundation model(title,abstract);pretraining(abstract);分类 cs.CL、cs.LG

AI总结 提出PORTER模型,通过冻结文本编码器和数值路径解耦事件表示与固定词汇,实现跨词汇迁移,在儿科医院74项临床任务中匹配基线性能,跨词汇迁移恢复97.1% AUROC,并在MIMIC上优于固定词汇模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.09646 2026-06-09 cs.CV cs.AI cs.LG 新提交 84%

Do Video Foundation Models Understand Intuitive Physics? A Layerwise Probing Analysis

视频基础模型是否理解直觉物理?逐层探测分析

Samuele Punzo, Niccolò Caselli, Ippokratis Pantelidis, Francesco Massafra, Salvatore Lo Sardo, Mohammadreza Salehi

机构 * University of Amsterdam(阿姆斯特丹大学)

专题命中 知识编辑与模型理解 :foundation model(title,abstract);pretraining(abstract);分类 cs.AI、cs.LG

AI总结 通过冻结特征探测,研究预训练视频基础模型在直觉物理信息上的编码能力,发现V-JEPA表现最佳,物理信息在中后期层最易获取,且时序破坏显著降低性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13900 2026-08-17 cs.DB cs.AI cs.CL cs.LG 新提交 83%

Agentic Transaction: Towards ACID-Compliant Agent Systems

智能体事务:面向ACID兼容的智能体系统

Zhaoyan Sun, Xiaoxiao Wang, Guoliang Li

专题命中 知识编辑与模型理解 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出ACID兼容的智能体事务框架,开发对应数据智能体,在基准测试中较含Claude Code的现有智能体提升10.6%,为构建可信可扩展AI智能体开辟新方向。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.06394 2026-08-10 cs.AI 新提交 83%

Towards Multi-Label Graph Foundation Models: from Single-Vector Representation Learning to Multi-Semantic Basis Learning

面向多标签图基础模型:从单向量表示学习到多语义基学习

Dongxiao He, Jiayu Zhang, Jitao Zhao, Yi Wang, Di Jin

机构 * Tianjin University(天津大学)

专题命中 知识编辑与模型理解 :foundation model(title,abstract);分类 cs.AI

AI总结 针对现有图基础模型单标签假设导致多标签节点语义纠缠的问题,提出MSB-GFM框架,通过多语义基表示学习与语义-结构双通道架构实现跨域多标签节点分类,经实验验证有效。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.03035 2026-08-05 cs.CL 新提交 83%

Language Models Encode the Contextual Truth of Propositions

语言模型编码命题的语境真值

Rupak Sarkar, Pritika Ramu, Rachel Rudinger

专题命中 知识编辑与模型理解 :language model(title);LLM(abstract,abstract_cn);分类 cs.CL

AI总结 该研究探究LLMs对语境真值的编码,发现其会维持语境真值的线性表征,伙伴断言可改变命题真值表征,还区分出两种谄媚形式并量化了其出现频率差异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.26845 2026-07-30 cs.LG 新提交 83%

Thinking Under Uncertainty: Evidence Use and Information-Seeking in Language Models

不确定性下的思考:语言模型中的证据使用与信息寻求

Hua-Dong Xiong, Xinyuan Yan, Ji-An Li, Jingming Xue, Marcelo G. Mattar, Robert C. Wilson

专题命中 知识编辑与模型理解 :language model(title,abstract);large language model(abstract);分类 cs.LG

AI总结 该研究通过双臂老虎机试验探究大型语言模型在不确定性下的思考机制,发现思考可增强其基于当前证据的行动,但未产生更具信息寻求性的探索策略。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25877 2026-07-29 cs.AI 新提交 83%

Runtime Uncertainty Monitoring for LLM-Based Multi-Agent Systems Using Bayesian Networks

基于贝叶斯网络的基于大语言模型的多智能体系统的运行时不确定性监测

Bart Custers, Koorosh Aslansefat

机构 * University of Hull(赫尔大学)

专题命中 知识编辑与模型理解 :LLM(title);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 研究基于大语言模型的多智能体系统在精算风险建模中的不确定性量化,提出含中央枢纽的多智能体框架,用令牌级对数概率和贝叶斯网络进行不确定性传播,再现基线性能并提供工作流稳定性等见解。

Comments This paper got accepted for Ninth International Workshop on Artificial Intelligence Safety Engineering (WAISE 2026): https://www.waise.org/

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25244 2026-07-29 cs.AI 新提交 83%

CADENCE: A Cardiac Atom Dictionary for Interpretable Neural Concept Extraction from ECG Foundation Models

CADENCE:用于从心电图基础模型中提取可解释神经概念的心脏原子字典

Yixuan Duan, Arjun Naik, Sadeer Al-Kindi, Wei Qiu

机构 * Rice University(莱斯大学) Houston Methodist Hospital(休斯顿卫理公会医院)

专题命中 知识编辑与模型理解 :foundation model(title,abstract);LLM(abstract);分类 cs.AI

AI总结 研究针对12导联心电图基础模型生理知识不透明问题,提出CADENCE框架,用BatchTopK稀疏自动编码器分解模型,得到稀疏心脏原子,提升临床表型和形态学预测AUROC,能恢复生理关系、验证原子描述,为审查模型知识提供可扩展框架。

Comments 21 pages, 5 main figures, 15 appendix figures, 6 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.20778 2026-07-24 cs.LG physics.ao-ph 新提交 83%

Toward Mechanistic Interpretability of an AI Foundation Model Fine-Tuned for Atmospheric Chemistry

迈向针对大气化学进行微调的人工智能基础模型的机理可解释性

Jason Y. Hu, Ivan Higuera-Mendieta, Patrick Obin Sturm, Makoto M. Kelp

机构 * Stanford University(斯坦福大学) University of Southern California(南加州大学) University of Utah(犹他大学)

专题命中 知识编辑与模型理解 :foundation model(title,abstract);pretraining(abstract);分类 cs.LG

AI总结 研究针对大气化学微调的人工智能基础模型学到了什么,通过对微软Aurora模型施加化学扰动、检查内部表示等方法,发现其虽捕捉到部分臭氧响应但未执行化学约束,提供了测试模型是否学大气化学的框架,强调预测应依内部机制评判。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.19128 2026-07-22 cs.LG 新提交 83%

One Model, Many Graphs: Learning over Attributed Graphs across Heterogeneous Modalities with Vision-Language Models

一个模型,多种图:使用视觉语言模型在异构模态的属性图上进行学习

Jiayi Yang, Yifang Chen, Yuanfu Sun, Jiajin Liu, Qiaoyu Tan

机构 * New York University Shanghai(纽约大学上海分校) New York University(纽约大学)

专题命中 知识编辑与模型理解 :language model(title,abstract);LLM(abstract);分类 cs.LG

AI总结 研究利用视觉语言模型解决属性图模态异质性问题,提出OMG-VLM框架,以预训练VLM为共享主干,引入结构感知图适配器,在节点分类和链接预测等任务中表现出色,优于现有基线且泛化能力强。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.14197 2026-07-17 cs.AI 新提交 83%

How Artificial Intelligence LLM Engines Shape the Global Conflict Information Environment

人工智能大语言模型引擎如何塑造全球冲突信息环境

Jason Miklian

专题命中 知识编辑与模型理解 :LLM(title);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 研究人工智能大语言模型引擎对全球冲突信息环境的塑造,通过向五个引擎询问28场冲突问题并分析答案及相关网站,发现可检索记录稀少会致引擎出错,存在生成引擎优化源头优化,探讨了研究意义、政策影响及未来机遇挑战。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.10187 2026-07-14 cs.LG cs.SE 新提交 83%

Knowledge-Conditioned, Single-Pass LLM Synthesis of Executable Unity Game Scenes: A Compiler Error Census across 26 Goal Playable Concepts

知识条件下的可执行Unity游戏场景单遍大语言模型合成:26个目标可玩概念的编译器错误普查

Hugh Xuechen Liu, Kıvanç Tatar

机构 * Chalmers University of Technology(查尔姆斯理工大学) University of Gothenburg(哥德堡大学)

专题命中 知识编辑与模型理解 :LLM(title);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 研究大语言模型为Unity游戏场景编写代码,去除迭代修复循环进行单遍生成评估,通过对多个模型、模式等生成的代码分析编译器错误,发现瓶颈是缺少引擎特定知识,按需求对目标模式排序展示单遍生成断点。

Comments Substantially reframed and extended version of arXiv:2603.07101, with new experiments, figures, and analysis

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.08403 2026-07-10 cs.AI 新提交 83%

Game Theory Driven Multi-Agent Framework Mitigates Language Model Hallucination

博弈论驱动的多智能体框架减轻语言模型幻觉

Runzhe Liu, Biquan Bie, Zihao Wang, Yuchao Ma, Yexin Liu, Xinghai Li, Harry Yang, Wenbo Yang, Jinzhe Cao, Shengyang Tao

机构 * Dalian University of Technology(大连理工大学) The Hong Kong University of Science and Technology(香港科技大学)

专题命中 知识编辑与模型理解 :language model(title,abstract);large language model(abstract);分类 cs.AI

AI总结 研究针对轻量级大语言模型在科学领域应用受限问题,提出基于博弈论的G-Frame多智能体框架,经结构化推理合成语料库训练出OmniChem模型,性能与GPT 4o mini相当且幻觉大幅减少,为科学领域知识发现提供新途径。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03657 2026-07-07 cs.CV cs.AI 新提交 83%

ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation

ViPo-MLLM:用于无注释手语翻译的视觉-姿势多模态大语言模型

Ahmed Abul Hasanaath, Bicheng Xu, Mir Rayat Imtiaz Hossain, Leonid Sigal, Hamzah Luqman

机构 * King Fahd University of Petroleum and Minerals(国王法赫德石油矿物大学) University of British Columbia(不列颠哥伦比亚大学)

专题命中 知识编辑与模型理解 :LLM(title,abstract);language model(abstract);分类 cs.AI

AI总结 研究尝试无注释手语翻译,提出ViPo-MLLM框架结合时空RGB和人体姿势特征,用专用编码器与交叉模态注意力,经结构化提示和训练后由大语言模型处理。该模型在数据集取得新成果,验证了机制有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.13884 2026-06-15 cs.AI 新提交 83%

Capability Minimization as a Safety Primitive: Risk-Aware Causal Gating for Least-Privilege LLM Agents

能力最小化作为安全原语:风险感知因果门控实现最小特权LLM代理

Laxmipriya Ganesh Iyer, Rahul Suresh Babu

机构 * Independent Researcher(独立研究者) United States of America(美国)

专题命中 知识编辑与模型理解 :LLM(title,title_cn);分类 cs.AI

AI总结 提出风险感知因果门控(RACG)框架,通过因果效应估计与校准风险控制决定是否采纳模型预测,显著降低高成本错误,同时保持非门控策略的大部分效用。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11400 2026-06-11 cs.SD cs.AI eess.AS 新提交 83%

Steering Where to Listen: Instruction-Based Activation Steering Redirects Temporal Attention in Large Audio-Language Models

引导听哪里:基于指令的激活操控重定向大型音频语言模型中的时间注意力

Tsung-En Lin, Hung-Yi Lee

机构 * National Taiwan University(国立台湾大学) NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国立清华大学人工智能研究中心(NTU AI-CoRE))

专题命中 知识编辑与模型理解 :language model(title,abstract);prompting(abstract);分类 cs.AI

AI总结 提出基于指令的向量操控方法,通过对比不同指令下的激活来重定向音频令牌的时间注意力,实现无需训练的声音事件定位,显著优于直接提示和随机基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21075 2026-06-23 cs.CL cs.AI cs.LG 新提交 83%

FiLM-Coordinated Dual-Branch Transformer for Global-Local Dependency Modeling in Language Modeling

FiLM协调的双分支Transformer用于语言建模中的全局-局部依赖建模

Zhiqiang Zhou, Xu Ling, Junliang Dai

专题命中 知识编辑与模型理解 :language model(title,abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 提出FiLM协调的双分支Transformer,通过特征级线性调制动态协调全局与局部分支,在轻量级设置下优于单分支基线。

Comments 14 pages, 7 figures, 7 tables. Small-scale language modeling study on FiLM-coordinated dual-branch Transformer architectures, including multi-seed evaluation, cross-dataset validation, ablation studies, efficiency analysis, and parameter-matched fairness baselines

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13328 2026-08-14 cs.CL cs.AI 新提交 82%

It's How You Ask: Gender-Associated Linguistic Bias in LLMs

提问方式的重要性:大语言模型(LLMs)中与性别相关的语言偏差

Katherine Van Koevering, Anjalie Field

专题命中 知识编辑与模型理解 :LLM(summary_cn,abstract);分类 cs.CL、cs.AI

AI总结 该研究发现LLMs会因提示中女性常用的语言特征生成更短欠正式的回应,其影响远大于明确性别线索,且事后缓解困难,呼吁关注语言变异以缓解LLM介导职场交流的差异化影响。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08024 2026-08-11 cs.CL cs.AI 新提交 82%

Prompt Embedding Probes (PEP): Hallucination Detection in LLMs from Hidden States

提示嵌入探针(PEP):基于隐藏状态的大语言模型幻觉检测

Zakhar Mrykhin, Valentin Malykh

专题命中 知识编辑与模型理解 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本研究提出提示嵌入探针(PEP),一种白盒幻觉检测方法,通过少量可学习提示嵌入扩充标准线性探针,在TriviaQA等数据集的Qwen3模型上验证其在生成前、跨模型等场景的有效性,仅需少量参数即可提升检测性能。

Comments 10 pages, 7 figures. Code available at https://github.com/zazamrykh/internal_probing

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.04286 2026-08-06 cs.CL cs.LG 新提交 82%

Eliciting Intrinsic Hallucinations in LLMs via Semantically Equivalent Adversarial Attacks

通过语义等价对抗攻击引出大语言模型的内在幻觉

Atri Vivek Sharma, Brian Formento, Alessio Lomuscio

机构 * Imperial College London(帝国理工学院) Safe Intelligence(安全智能研究院)

专题命中 知识编辑与模型理解 :LLM(summary_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.LG

AI总结 本文提出新框架,通过语义等价对抗攻击测试LLMs鲁棒性,发现先进模型易受语义保留扰动影响致忠实度大幅下降,凸显需开发鲁棒接地的LLM架构与训练目标。

Comments To be presented at COLM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.01046 2026-08-04 cs.CL cs.AI 新提交 82%

DeBERTa-Sentinel: Toward Transparent and Trustworthy Detection of AI-Generated Text

DeBERTa-Sentinel:实现透明且可信的AI生成文本检测

Muhammad Yousaf Rehman, Muhammad Islam

机构 * University of Hertfordshire(赫特福德大学) James Cook University(詹姆斯库克大学)

专题命中 知识编辑与模型理解 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 DeBERTa-Sentinel是基于DeBERTa-v3的透明AI生成文本检测框架,在GLC-AIText数据集上实现优异检测性能,可公开token级解释以支持利益相关者审计。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22646 2026-07-28 cs.AI cs.LG 新提交 82%

Extracting Algorithms in Pre-trained LLMs: A Case on Hidden Markov Models

从预训练语言模型中提取算法:以隐马尔可夫模型为例

Yijia Dai, Zhaolin Gao, Yahya Sattar, Jennifer J. Sun, Sarah Dean

机构 * Cornell University(康奈尔大学)

专题命中 知识编辑与模型理解 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 研究预训练语言模型从隐马尔可夫模型预测下一个观测值的能力背后算法,通过三阶段流程,先实证比较缩小候选算法范围,再推导理论联系并验证,最后引入主激活探针揭示低维线性表示及变化,将其上下文行为与内部机制联系起来。

详情

展开后加载摘要…

URL PDF HTML 收藏