Rep2Text: Decoding Full Text from a Single LLM Token Representation
Rep2Text:从单个LLM标记表示解码完整文本
机构 * New Jersey Institute of Technology(新泽西理工学院) ; National University of Singapore(国立新加坡大学) ; Cisco Research(思科研究) ; Wake Forest University(威克森林大学) ; The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
AI总结 研究探讨如何从LLM单个最后标记表示恢复原始文本,提出Rep2Text框架,通过可训练适配器将目标模型的最后标记表示映射到解码语言模型的token嵌入空间,实现文本自回归重建,实验显示在16-token序列中约半数token可被恢复且保持语义连贯。
Comments 18 pages, 6 figures, 6 tables