大模型推理能力

MetaSICL: Globalizing Auditory LLMs for Underserved Speakers and Languages via Meta Speech In-Context Learning

MetaSICL: 通过元语音上下文学习适应听觉大语言模型

Haolong Zheng, Siyin Wang, Zengrui Jin, Mark Hasegawa-Johnson

机构 * University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Tsinghua University（清华大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出MetaSICL方法，利用高资源语音数据通过元学习增强听觉大语言模型的上下文学习能力，在低资源场景下优于直接微调。

Toward Reliable Context Compression for Long-Horizon Agents: An Empirical Study of Execution Instability

面向长 horizon 智能体的可靠上下文压缩：执行不稳定性的实证研究

Guanghui Min, Liang Wu, Mayank Darbari, Chen Chen, Liangjie Hong

机构 * University of Virginia（弗吉尼亚大学） ； Nokia（诺基亚公司） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.LG

AI总结 该研究针对长 horizon 智能体上下文压缩的执行不稳定性问题，提出了验证器引导框架 TRACE，在 AppWorld 上的实验显示其在任务性能等指标上优于现有基线，为可靠上下文压缩提供了新方向。

Comments 31 pages, 6 figures

TokTier: Exact Stateful CPU+GPU Tokenization for Agentic LLM Serving

TokTier：面向智能体大语言模型服务的精确有状态分词方案

Zhenyu Zhang, Zhichao Cao

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL

AI总结 本研究提出TokTier，一种面向智能体LLM服务的精确有状态分词方案，通过增量修复、GPU加速分词等技术，将首次令牌生成时间降低16%-34%，饱和请求速率提升至1821次/秒，性能远超现有方案。

Comments 26 pages. Code: https://github.com/asu-idi/toktier