Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation
重组上下文:RoPE扰动的自我蒸馏用于长上下文适应
机构 * Georgia Institute of Technology(佐治亚理工学院) ; Microsoft(微软)
AI总结 本文提出RoPE扰动的自我蒸馏方法,通过扰动RoPE索引生成不同视角的训练序列,提升模型对位置变化的鲁棒性,实验显示在长上下文任务中表现更优。
高校专区
重组上下文:RoPE扰动的自我蒸馏用于长上下文适应
机构 * Georgia Institute of Technology(佐治亚理工学院) ; Microsoft(微软)
AI总结 本文提出RoPE扰动的自我蒸馏方法,通过扰动RoPE索引生成不同视角的训练序列,提升模型对位置变化的鲁棒性,实验显示在长上下文任务中表现更优。
增强基于大语言模型的系统以实现端到端电路分析问题求解
机构 * School of Electrical ; Computer Engineering, Georgia Institute of Technology, Atlanta, GA 30332 USA
AI总结 本文提出一种改进的端到端电路问题求解框架,通过整合YOLO检测器和OpenCV处理提升电路识别精度,并引入ngspice验证循环以减少推理错误,实验结果表明准确率显著提升。
Comments Liangliang Chen and Weiyu Sun contributed equally to this work
基于Cobweb的层次语义检索
机构 * College of Computing, Georgia Institute of Technology(佐治亚理工学院计算机学院)
AI总结 本文提出基于Cobweb框架的层次语义检索方法,通过构建原型树实现文档排序,提供多粒度相关性信号和透明解释,实验表明其在嵌入质量下降时仍具鲁棒性。
Comments 20 pages, 7 tables, 4 figures
MEBench:一种新的评估视觉-语言模型互斥偏差的基准
机构 * Georgia Institute of Technology(佐治亚理工学院) ; University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 MEBench通过引入空间推理提升评估难度,评估视觉-语言模型对互斥偏差的处理能力,发现模型存在弱互斥偏差但能利用额外空间上下文解决歧义。