AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
大语言模型中置信度的计算基础
机构 * Google DeepMind（谷歌DeepMind） ； École Polytechnique（巴黎综合理工学院） ； Princeton University（普林斯顿大学）
专题命中 偏好对齐 ：trustworthy(abstract)；分类 cs.AI、cs.LG
AI总结 研究大语言模型中置信度的计算基础，利用统计决策置信度框架，通过答案 - 对数差异测试其预测特征，结果表明在多种任务中答案对数可作潜在决策变量读出，为多模态语言模型置信度提供解释并统一研究框架。
KeySI：基于人类反馈调整文本嵌入的交互框架
专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI
AI总结 研究针对预训练语言模型调整难的问题，提出KeySI交互框架，通过基于关键词的概念规范实现特征级反馈，减少人工文档处理需求，经用户研究等评估，证明其能有效捕捉用户意图并改善嵌入对齐。
Comments Accepted to IEEE VIS 2026
对大型语言模型在机器人健康护理员控制中的安全性的基准测试
机构 * Kyushu Institute of Technology（九州工业技术大学）
专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI、cs.CY
AI总结 本文通过270条有害指令评估72个LLM，在模拟环境中测试其安全性，发现模型大小和发布日期影响安全性能，专有模型更安全，但医疗领域微调和提示防御策略效果有限，需将安全性作为首要考量。
Comments 20 pages, 9 figures, 3 tables, 8 pages supplementary material
安全的上下文强化学习
机构 * University of Virginia（弗吉尼亚大学） ； Virginia Commonwealth University（弗吉尼亚 Commonwealth 大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.LG
AI总结 提出SCARED方法，在无参数更新的上下文强化学习适应过程中，通过精确惩罚对偶法在约束马尔可夫决策过程框架下保证安全，实现奖励最大化与成本约束。
Comments ICML 2026
无需检测的安全：经济否认作为边缘和物联网防御的基本原理
机构 * st Samaresh Kumar Singh（第一作者机构） ； nd Joyjit Roy（第二作者机构）
专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 EDS是一种不依赖检测的物联网和边缘安全方法，通过经济成本放大机制有效遏制攻击，实现超线性成本增加和高缓解率。
Comments 8 pages, 2 figures, submitted to 3rd International Conference on Intelligent Digitization of Systems and Services (IDSS2026)
PCS-UQ：基于可预测性-可计算性-稳定性框架的不确定性量化
机构 * Department of Statistics, University of California, Berkeley（加州大学伯克利分校统计学系） ； Department of Epidemiology, University of Utah（犹他大学流行病学系） ； Department of Electrical Engineering and Computer Science, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系）
专题命中 幻觉与事实性 ：safety(abstract)；trustworthy(abstract)；分类 cs.LG
AI总结 提出PCS-UQ框架，通过预测检查、bootstrap采样和乘法校准实现不确定性量化，在回归和分类任务中优于或媲美共形预测方法，并提供理论保证。
NWaaS：一种具有自适应资源调度的非侵入性和隐私保护水印即服务系统
专题命中 隐私与版权 ：trustworthy(abstract)
AI总结 研究针对机器学习即服务中保护知识产权的挑战，提出NWaaS框架。核心方法包括$\mathtt{ShadowMark}$算法、协作分区机制和比例差异联合调度算法。贡献是能在多样模态中提供强大所有权验证，保障隐私并提升系统性能。
用于可信人工智能的推理系统集成，第4届编程逻辑与实践研讨会（LPOP）会议录
专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.AI
AI总结 第4届编程逻辑与实践研讨会聚焦于可信人工智能的推理系统集成，将与第40届国际逻辑编程会议联合于2024年10月13日在美国达拉斯以混合形式举行，重点是集成不同编程模型与规则和约束。
WHBench：通过专家在环验证评估前沿大语言模型在女性健康主题上的表现
机构 * Columbia University（哥伦比亚大学） ； Rubric AI
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY
AI总结 本文提出WHBench，通过专家设计的47个场景评估22个模型，揭示临床重要失败模式，强调安全性和公平性的重要性。
AgentFAIR：用于地理空间数据集公平性评估的多智能体协作框架
机构 * The University of Melbourne（墨尔本大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI
AI总结 研究地理空间数据集公平性评估难题，提出AgentFAIR多智能体框架，结合结构化元数据提取与特定子原则语言模型评估器，给出各项评估结果，支持可审计性与可行性，不过受限于多种因素对准确性和泛化性声明有约束。
REFORGE：一种在反编译二进制函数命名中对大语言模型逆向工程能力进行基准测试的方法
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI
AI总结 研究针对大语言模型逆向工程能力评估难的问题，提出Reforge方法，通过特定流程构建函数级真实情况并处理对齐不确定性，经实验验证该方法能揭示优化对模型性能的影响，推动不确定性感知基准测试实践。
Comments 10 pages, 5 figures; accepted for publication to the 23rd International Conference on Applied Computing 2026, Lisbon October 24-26,2026
对时间、空间和语义规避的自主代理进行基准测试
机构 * Tsinghua University（清华大学）
专题命中 安全评测 ：safety(abstract)；分类 cs.AI
AI总结 本文提出了一种针对基于大语言模型（LLM）的代理系统的多维规避框架，通过引入时间、空间和语义三种隐蔽攻击向量，系统地量化了这些威胁，并展示了其在实际威胁场景中的效果，揭示了现有自主代理系统在架构层面的系统性漏洞。
Comments 18 pages, 12 figures, 8 tables. Code and data available at https://github.com/antgroup/Agent3Sigma-Stage
OpenNavMap: 无需结构的拓扑制图通过大规模协作定位
机构 * Robot Perception and Learning Lab, Intelligent Robotics, Department of Computer Science, University College London（机器人感知与学习实验室，智能机器人，计算机科学系，伦敦大学学院） ； Department of Computer Science and Engineering, Hong Kong University of Science and Technology（计算机科学与工程系，香港科学与技术大学） ； Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology（电子与计算机工程系，香港科学与技术大学） ； Institute of Robotics and Automatic Information System, Nankai University（机器人与自动信息系统研究所，南开大学） ； College of control science and engineering, Zhejiang University（控制科学与工程学院，浙江大学） ； AI Centre, Department of Computer Science, University College London（人工智能中心，计算机科学系，伦敦大学学院）
专题命中 安全评测 ：alignment(abstract)
AI总结 OpenNavMap通过大规模协作定位实现无需结构的拓扑制图，利用3D几何模型进行按需重建，实现高精度的子图对齐和全局一致性。
Comments 21 pages, 20 figures, https://rpl-cs-ucl.github.io/OpenNavMap_page/
真实场景中的逼真幻影道路：从物理几何中解构3D幻觉
机构 * University of Michigan（密歇根大学）
专题命中 安全评测 ：safety(abstract)
AI总结 本文提出首个端到端框架，用于探测、量化和抑制单目深度模型中因几何平面输入而产生的3D幻觉现象，通过引入3D-幻影基准和基于拉普拉斯的评估框架，提升深度模型的结构和上下文鲁棒性。
Comments Accepted to ECCV 2026
当伦理与收益相悖时：道德两难情境下的大语言模型智能体
机构 * ETH Zürich（苏黎世联邦理工学院） ； University of Zurich（苏黎世大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Michigan（密歇根大学） ； Max Planck Institute for Intelligent Systems, Tübingen（图宾根人工智能研究所） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所）
专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY
AI总结 研究道德要求与利润激励冲突时LLMs在道德两难博弈中的行为，引入\msim评估九个模型，通过ATEs估计因果效应、分析推理轨迹，发现模型道德行为有情境脆弱性，揭示了部署风险。
分析八个大语言模型的伦理逻辑
专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.AI、cs.CY
AI总结 研究分析OpenAI等八个大语言模型的伦理逻辑，通过让模型回答伦理原则问题和道德困境，用多种理论分析其回答，发现模型伦理判断趋同但在做决定意愿等方面有差异，还能增进对人工智能工作及增强人类伦理行为的理解。
基于VLM描述比较的异常帧检测，用于提取特定专家操作和具有视频内自相似性的上下文决策场景
专题命中 其他安全 ：safety(abstract)
AI总结 本文针对关键基础设施维护中专家知识传承问题，提出基于VLM描述比较检测异常帧的方法，可提取特定专家操作及上下文决策场景，在模拟实验中该方法的提取率高于传统方法，有效发现含专家知识的候选场景。
Comments 17 pages, 11 figures, 2 tables
正确为我上色：弥合感知颜色空间与文本嵌入以改进扩散生成
机构 * National Yang Ming Chiao Tung University
专题命中 其他安全 ：alignment(abstract)
AI总结 研究文本到图像生成中颜色对齐问题，提出利用大语言模型消除颜色提示歧义、在文本嵌入空间指导颜色混合操作的无需训练框架，提高了颜色准确性且不影响图像质量，弥合文本语义与视觉生成差距。
Comments Accepted to ACM Multimedia 2025 (MM '25)
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈