Adaptive 3D-RoPE: Physics-Aligned Rotary Positional Encoding for Wireless Foundation Models
自适应3D-RoPE:用于无线基础模型的物理对齐旋转位置编码
机构 * National Engineering Research Center for Mobile Network Technologies, Beijing University of Posts and Telecommunications(中国移动网络技术国家工程研究中心,北京邮电大学) ; Department of Broadband Communication, Pengcheng Laboratory(宽带通信部,鹏城实验室) ; Key Laboratory of Ethnic Language Intelligent Analysis and Security Governance of MOE, Minzu University of China(教育部民族语言智能分析与安全治理重点实验室,中央民族大学) ; China Telecom Corporation Limited Gansu Branch(中国电信集团甘肃分公司)
专题命中 其他LLM :foundation model(title,abstract);分类 cs.AI
AI总结 本文提出自适应3D-RoPE,通过整合可学习的3D频率银行和轻量级通道条件控制器,解决无线基础模型中位置编码的静态问题,提升尺度外推和零样本泛化性能。
Comments 13 pages, 7 figures