Online Safety Monitoring for LLMs
LLMs的在线安全监控
专题命中 数学推理 :reasoning(abstract);verifier(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 研究通过阈值化外部模型的验证信号并利用风险控制校准阈值,实现LLM输出的实时安全监控,在数学推理和红队测试中与高级方法性能相当。
Comments ICML 2026 Hypothesis Testing Workshop
AI 大模型
大模型数学、逻辑、规划、多步推理和测试时计算能力。
LLMs的在线安全监控
专题命中 数学推理 :reasoning(abstract);verifier(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 研究通过阈值化外部模型的验证信号并利用风险控制校准阈值,实现LLM输出的实时安全监控,在数学推理和红队测试中与高级方法性能相当。
Comments ICML 2026 Hypothesis Testing Workshop
DFM Mimir v1:仅使用许可的后训练数据,在10亿参数规模下实现前沿性能的开放HRM模型
专题命中 数学推理 :reasoning(abstract,abstract_cn);分类 cs.CL、cs.AI
AI总结 研究人员因大模型开发依赖非许可数据受阻,本文提出仅用许可后训练数据训练的10亿参数HRM模型Mimir v1,其在多基准测试中性能优于同规模HRM-Text 1B,可与更大前沿模型媲美,且在丹麦语任务达新SOTA,已发布于Hugging Face Hub
Comments Technical Report, 20 Pages, 1 Model, Hierarchical Reasoning Model
大语言模型的测试时增强:在计算资源匹配时输入多样性优于输出多样性
机构 * Amazon Web Services(亚马逊网络服务)
专题命中 数学推理 :reasoning(abstract,comments);chain-of-thought(abstract);分类 cs.AI、cs.LG
AI总结 本研究提出测试时增强(TTA),经匹配计算对比发现,中端大语言模型采用语义复述的TTA策略,比自洽性更高效地将计算转化为准确率,每美元准确率约为自洽性的1.8倍。
Comments Published at the COLM 2026 Workshop on Efficient Reasoning
先给出答案,后进行推理:扩散大语言模型中的承诺顺序
机构 * Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院)
专题命中 数学推理 :reasoning(abstract);chain-of-thought(abstract);分类 cs.CL、cs.AI
AI总结 本研究发现扩散大语言模型(dLLMs)的任意顺序提交机制会导致推理失败,通过前沿门控承诺干预可恢复推理性能,同时保留并行解码优势。
Albilich:用于结合计算机代数系统(CAS)的基于大语言模型的数学研究的可操控证明状态编排工具
专题命中 数学推理 :reasoning(abstract);verifier(abstract);分类 cs.AI、cs.LG
AI总结 Albilich是结合CAS等功能的开源数学自主研究智能体框架,在RealMath基准和Kourovka开放问题上取得优异效果,可实现AI辅助的可扩展数学研究。
Comments 7 pages, comments welcome!
SOS-LoRA:具有固定多尺度缩放的静态正交子空间低秩自适应
机构 * School of Artificial Intelligence, Jilin University(吉林大学人工智能学院) ; Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China(教育部知识驱动的人机智能工程研究中心) ; International Center of Future Science, Jilin University(吉林大学未来科学国际合作中心)
专题命中 数学推理 :reasoning(abstract);math reasoning(abstract);分类 cs.AI、cs.LG
AI总结 研究针对大语言模型中LoRA方法的不足,提出SOS-LoRA,将秩更新重参数化为多个静态低秩专家之和,通过分解总秩、固定多尺度缩放及正交初始化等,实现性能提升且可完全合并,实验证明其优于基线和变体。
重新思考思维模型的在线策略自蒸馏
机构 * Princeton University(普林斯顿大学) ; Princeton Language and Intelligence(普林斯顿语言与智能实验室)
专题命中 数学推理 :reasoning(abstract);self-correction(abstract);分类 cs.AI、cs.LG
AI总结 针对思维模型自蒸馏性能退化问题,研究发现特权上下文在线策略蒸馏会降低长推理轨迹性能,揭示其作用机制,为强思维模型自蒸馏优化提供方向。
dOPSD:扩散语言模型的策略内自蒸馏
机构 * National University of Singapore(新加坡国立大学)
专题命中 数学推理 :reasoning(abstract);math reasoning(abstract);分类 cs.CL、cs.AI
AI总结 研究扩散语言模型强化推理难的问题,提出dOPSD,通过从学生去噪轨迹直接推导教师特权信息,实现策略内自蒸馏,提升模型在数学推理和代码生成等任务表现。
用于探索、提纯和模型合并的频谱重布线
机构 * SIA-Lab of Tsinghua AIR(清华-字节跳动联合研究中心SIA实验室) ; Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院)
专题命中 数学推理 :reasoning(abstract);math reasoning(abstract);分类 cs.AI、cs.LG
AI总结 研究强化学习中参数更新瓶颈,提出子空间对齐重布线方法,保留频谱核心去除正交分量,可提纯训练更新、实现模型合并,提升推理和跨域性能,是无训练机制提升性能。
HyperDFlash: 面向MHC架构的块级推测解码与门控残差缩减
机构 * ByteDance(字节跳动)
专题命中 数学推理 :reasoning(abstract);math reasoning(abstract);分类 cs.CL、cs.LG
AI总结 针对DeepSeek-V4的多超连接架构,提出HyperDFlash框架,通过对齐残差流和轻量门控缩减器,解决推测解码中特征错位和误差累积问题,显著提升解码速度。
LLM 在掷骰子时有多可靠?
机构 * Università degli Studi di Firenze(佛罗伦萨大学)
专题命中 数学推理 :reasoning(abstract);chain-of-thought(abstract);分类 cs.CL、cs.AI
AI总结 通过离散概率问题基准测试,发现 LLM 在标准问题上准确率 0.96,但在反直觉问题上仅 0.59,且存在 token 偏差和误导提示的脆弱性。
N-GRPO:嵌入级邻居混合增强策略优化
机构 * Zhejiang University(浙江大学) ; Ant Group(蚂蚁集团)
专题命中 数学推理 :reasoning(abstract);math reasoning(abstract);分类 cs.CL、cs.LG
AI总结 针对大语言模型数学推理中探索策略的折衷问题,提出N-GRPO方法,通过语义邻居混合机制在嵌入层注入多样性,在保持语义一致性的同时提升策略优化效果。
Comments ACL 2026 Findings. 16 pages, 3 figures. Code: https://github.com/ZJUSCL/N-GRPO
当强化学习在监督微调后失效:恢复模型可塑性以实现稳健的SFT到RL交接
机构 * Hong Kong University of Science and Technology(香港科技大学) ; Zhejiang University(浙江大学) ; State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA(多模态人工智能系统国家重点实验室,CASIA)
专题命中 数学推理 :reasoning(abstract);math reasoning(abstract);分类 cs.AI、cs.LG
AI总结 针对SFT过度训练导致RL阶段改进有限的问题,提出Rejuvenation方法,通过基模型锚定融合和神经元重置恢复模型可塑性,在数学推理和智能体任务上提升RL性能。
StateBridge:面向大语言模型多智能体系统潜在通信的无训练隐藏状态对齐
机构 * School of Computer Science, University of Sheffield(谢菲尔德大学计算机科学学院)
专题命中 数学推理 :reasoning(abstract);math reasoning(abstract);分类 cs.AI
AI总结 StateBridge 是一种无训练的潜在通信方法,通过闭式正交变换对齐大语言模型多智能体的隐藏状态,在 26 个模型-任务对中 22 个取得最优或并列最优性能,优于基线。
Comments 18 pages, 3 figures, 4 tables, accepted by COLM2026
数学视觉图表:评估大型语言模型数学图表生成能力的综合基准
机构 * Pandita AI Inc.(潘迪塔人工智能公司)
专题命中 数学推理 :reasoning(abstract);math reasoning(abstract);分类 cs.LG
AI总结 本研究推出首个专门评估LLMs数学图表生成能力的基准Math-Vision Diagrams,涵盖文本到代码与图像范式,测试发现LLMs在该任务上存在困难,相关资源将开源。
Comments Accepted at ICANN 2026
ExeCRE:基于执行一致性引导的自校正代码生成可靠性估计
专题命中 数学推理 :reasoning(abstract);self-correction(abstract);分类 cs.AI
AI总结 ExeCRE是基于执行一致性的代码可靠性估计框架,可减少自校正代码生成中的误导性反馈,提升有效性与稳定性,在GPT-5.2搭配LiveCodeBench及数学推理场景均有显著收益。
Comments 13 pages, 5 figures. Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)
给自己的笔记:大语言模型能从经验抽象中受益吗?
机构 * Auton Lab, Carnegie Mellon University(卡内基梅隆大学自动实验室)
专题命中 数学推理 :reasoning(abstract);logical reasoning(abstract);分类 cs.CL
AI总结 研究大语言模型能否从经验抽象中受益,通过从其在MATH训练集的痕迹提取抽象存入可检索库,探索推理时检索和强化学习两种使用模式,发现能提高模型在数学和逻辑推理基准上的性能,且框架可转移。
验证、修复、重复还是停止?大语言模型代理中用于有噪声验证-修复循环的稳健停止方法
专题命中 数学推理 :reasoning(abstract);verifier(abstract);分类 cs.AI
AI总结 研究大语言模型代理中验证-修复循环有噪声时缺乏停止原则的问题,提出VRR-Stop框架,通过四参数噪声模型和信念过滤估计有效性,依真实边际增益符号决策,配对VRR-Guard,提升了停止可靠性与真实有效性。
Comments 18 pages, 10 figures, 10 tables. Under review
AIMO可解释性挑战
机构 * National Institute of Informatics(日本国立信息学研究所) ; Munich Center for Machine Learning / MaiNLP LMU(慕尼黑机器学习中心/慕尼黑大学语言与文学计算研究所) ; University of Tübingen(图宾根大学) ; Fuzhou University(福州大学) ; Masaryk University(马萨里克大学) ; University College London(伦敦大学学院) ; University of Oxford(牛津大学)
专题命中 数学推理 :reasoning(abstract);math reasoning(abstract);分类 cs.AI
AI总结 提出AIMO可解释性挑战,基于前沿数学语言模型内部机制区分稳健与虚假推理。利用AIMO问题等资源,提供推理问题、模型访问及鲁棒性评估,助参与者开发识别稳健模型的方法,创建新基准和基线系统,连接可解释性与泛化研究。
Comments Accepted Competition at NeurIPS 2026
OptiAgent:基于多智能体迭代精化的端到端优化建模
机构 * Instituto de Ciência e Tecnologia do Itaú(伊塔乌科技学院)
专题命中 数学推理 :reasoning(abstract);self-correction(abstract);分类 cs.AI
AI总结 针对运筹学问题自然语言描述转可求解数学形式与可执行代码的需求,OptiAgent采用多智能体迭代自校正与多回路验证架构,在多数优化任务基准上取得SOTA性能,建模过程可审计。
具有可验证奖励的串联强化学习
机构 * University of Toronto(多伦多大学) ; EPFL(瑞士联邦理工学院洛桑分校)
专题命中 数学推理 :reasoning(abstract);chain-of-thought(abstract);分类 cs.AI
AI总结 提出串联强化学习(TRL),通过强弱模型交替生成推理链并共同奖励,在保持独立推理能力的同时提升模型间兼容性和可读性。
Comments 21 pages,7 figures,8 tables
打破自回归诅咒:动态认知熵编排的可擦除强化学习用于大语言模型
机构 * SenseTime(商汤科技) ; Shanghai Jiao Tong University(上海交通大学)
专题命中 数学推理 :reasoning(abstract);logical reasoning(abstract);分类 cs.AI
AI总结 提出动态认知熵编排的可擦除强化学习(E³RL),通过将模型内生的局部自回归交叉熵作为认知不确定性坐标,利用分段自适应动态阈值和优势分配精准切除逻辑缺陷并重用KV缓存,解决长序列推理中的自回归级联崩溃问题。
基于变分学习的RLVR参数探索
机构 * INSAIT, Sofia University “St. Kliment Ohridski”(INSAIT,圣克莱门特奥赫里德斯基索非亚大学) ; National Research Center for Applied Cybersecurity ATHENE(ATHENE国家应用网络安全研究中心)
专题命中 数学推理 :reasoning(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 本文针对LLM强化学习的探索问题,提出参数空间探索思路,引入3PO方法,在OLMo-3-1025-7B等模型的数学推理等任务上,以相近计算成本相比GRPO提升性能,减少训练中的异常分组与轨迹。
知-言差距:当探测模型发现错误而置信度未察觉时
专题命中 数学推理 :reasoning(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 该研究发现线性探测模型能精准检测语言模型的上下文破坏,但无法可靠预测最终答案正确性,推翻了相关假设,表明基于探测模型的监控需结合模型与错误类型的路由策略。
问题催生问题:面向竞赛数学强化微调的自演进课程
专题命中 数学推理 :reasoning(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 本文针对竞赛数学强化微调的三大困难,提出Question-begets-Question(QbQ)方法及自演进课程,使Qwen2.5-Math-7B的AIME任务pass@1从5.6%提升至16.5%,且能解决更难问题。
自然语言数学证明的高性价比自动评判
专题命中 数学推理 :reasoning(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 该研究以 IMO-GradingBench 为基准,验证 GPT-OSS 120B 等三个低成本模型作为数学证明评判器的效果,发现全票通过规则的低成本方案与前沿模型效果相当,成本低达 100 倍。
Comments 7 pages, 5 figures, 4 tables
通过对数偏差对语言模型进行极其简单的黑箱适应
机构 * Tel Aviv University(特拉维夫大学) ; Google Research(谷歌研究院) ; Columbia University(哥伦比亚大学)
专题命中 数学推理 :reasoning(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 研究如何通过简单API级控制调整语言模型,开发黑箱方法学习对数偏差向量,无需修改模型权重或梯度,该方法在数学和推理基准上优于基础模型,是一种轻量级的语言模型适应机制。
Comments 36 pages, 4 figures, 6 tables. Appendix included. Code available at https://github.com/Ofek-Israeli/logit_bias_lm_adaptation
相同问题,不同答案:超越准确率评估大语言模型的可靠性
机构 * University of Maryland, College Park(马里兰大学帕克分校)
专题命中 数学推理 :reasoning(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 研究大语言模型在不同等效表述问题下的答案变化,发现其输出依赖措辞,准确率指标掩盖不稳定性,实例级行为不稳定,提出自释义策略可恢复潜在知识提升性能,强调评估一致性对展现模型可靠性的重要性。
基于轨迹的策略蒸馏用于掩码扩散语言模型
机构 * Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) ; University of Chinese Academy of Sciences(中国科学院大学)
专题命中 数学推理 :reasoning(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 研究针对扩散大语言模型推理训练后处理难的问题,提出基于轨迹的策略蒸馏(TOPD)框架,通过在目标模型去噪轨迹上监督,利用教师模型获取令牌分布并以反向KL目标更新,在数学推理基准上提升了模型准确率且减少计算量。
使用大语言模型进行特征生成:一种进化算法方法
机构 * University of Luxembourg(卢森堡大学)
专题命中 数学推理 :reasoning(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 该研究利用大语言模型解决表格数据特征生成问题,创建管道结合属性与提示生成新特征,经选择算法筛选,应用于八个不同数据集,结果显示语言模型生成的新特征有助于给定任务并提升分类效果。
Journal ref Commun. Comput. Inf. Sci. 2471, 48-64 (2025)