语言大模型 / LLM

APEX4: Efficient Pure W4A4 LLM Inference via Intra-SM Compute Rebalancing

APEX4: 通过SM内计算重平衡实现高效纯W4A4 LLM推理

Hong Guo, Nianhui Guo, Weixing Wang, Jona Otholt, Christoph Meinel, Haojin Yang

机构 * Hasso Plattner Institute（霍普夫-普拉特纳研究所） ； GreenBit.AI ； German University of Digital Science（德国数字科学大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对W4A4量化中CUDA核心反量化瓶颈，提出基于SM内计算平衡的ρ感知粒度自适应方法，设计纯INT4 GEMM内核，在多种GPU上实现最高2.09倍加速。

Inference-Time Conformal Reasoning with Valid Factuality Control for Large Language Models

面向大语言模型的推理时保形推理与有效事实性控制

Ting Wang, Yuanjie Shi, Yan Yan, Huan Zhang

机构 * Machine Learning, ICML（机器学习，国际机器学习大会） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出推理时保形推理框架，将保形预测集成到推理图生成中，通过图级不确定性校准生成停止阈值，实现有效事实性控制。

Comments Accepted at ICML 2026

Evidence Graph Consistency in Retrieval-Augmented Generation: A Model-Dependent Analysis of Hallucination Detection

检索增强生成中的证据图一致性：基于模型的幻觉检测分析

Jianru Shen

机构 * University of Montana（蒙大拿大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出证据图一致性（EGC）框架，通过构建局部证据图并计算五种结构一致性指标检测幻觉，发现不同模型族间一致性特征方向相反，表明嵌入图一致性不能作为模型无关的检测信号。

Comments Accepted at the International Conference on Advanced Machine Learning and Data Science; to appear in the IEEE Xplore proceedings