Tsinghua University（清华大学）

Not All Tokens Are Worth Caching: Learning Semantic-Aware Eviction for LLM Prefix Caches

并非所有标记都值得缓存：学习语义感知的淘汰策略用于LLM前缀缓存

Shaoke Fang, Ziang Li, Wenfei Wu, Jiatong Ji, Qingsong Liu, Ruizhi Pu

机构 * Peking University（北京大学） ； FirestAI ； Tsinghua University（清华大学） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Southeast University（东南大学） 纠错

AI总结 本文提出了一种语义感知的前缀缓存淘汰策略SAECache，通过多队列架构、语义感知的标记加权机制和全适应的在线学习方案，提高了LLM服务中前缀缓存的效率，从而在不同工作负载下实现了显著的TTFT提升。

DynaTrain: Fast Online Parallelism Switching for Elastic LLM Training

DynaTrain: 快速在线并行切换用于弹性大语言模型训练

Yuanqing Wang, Yuchen Zhang, Hao Lin, Junhao Hu, Chunyang Zhu, Quanlu Zhang, Boxun Li, Guohao Dai, Zhi Yang, Daning Cheng, Yunquan Zhang, Yu Wang

机构 * Institute of Computing Technology, CAS（中国科学院计算技术研究所） ； Peking University（北京大学） ； Infinigence AI ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

AI总结 本文提出DynaTrain，一种能够快速在线重新配置任意多维并行性的分布式训练系统，通过虚拟参数空间抽象统一所有分布式训练状态，实现并行配置的确定性映射，并在密集和MoE模型上展示了显著的性能提升。

Comments GitHub Repo: https://github.com/infinigence/ElasticMegatron

ReCrit: Transition-Aware Reinforcement Learning for Scientific Critic Reasoning

ReCrit: 基于过渡意识的强化学习用于科学批评推理

Wanghan Xu, Yuhao Zhou, Hengyuan Zhao, Shuo Li, Dianzhi Yu, Zhenfei Yin, Yaowen Hu, Fengli Xu, Wanli Ouyang, Wenlong Zhang, Lei Bai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； National University of Singapore（新加坡国立大学） ； Chinese University of Hong Kong（香港中文大学） ； University of Oxford（牛津大学） ； Tsinghua University（清华大学） 纠错

AI总结 该研究提出ReCrit框架，通过强化学习解决科学批评推理中的过渡意识问题，改进了批评准确性。

HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models

HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models

Jia Wei, Zhonghao Zhang, Ping Chen, Qianyang li, Yancheng Pan, Shaoxun Wang, Ziyi Qiu, Longxiang Wang

机构 * Department of Computer Science and Technlogy（计算机科学与技术系） ； Tsinghua University（清华大学） ； School of Computer Science and Technlogy（计算机科学与技术系） ； Xi’an Jiaotong University（西安交通大学） ； The State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高科技区（滨江）区块链与数据安全研究院） 纠错

AI总结 本文提出HELLoRA，一种针对混合专家模型的层级低秩适应方法，通过仅对最活跃的专家添加LoRA模块，减少可训练参数和计算量，同时提升下游任务性能。