大模型对齐与安全

Unlocking Patch-Level Features for CLIP-Based Class-Incremental Learning

解锁基于CLIP的类增量学习中的补丁级特征

Hao Sun, Zi-Jun Ding, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； State Key Laboratory for Novel Software Technology, Nanjing University（南京大学软件新技术国家重点实验室） 纠错

专题命中 其他安全 ：alignment(abstract)

AI总结 本文提出SPA方法，通过利用CLIP的补丁级语义信息提升类增量学习性能，通过生成类级语义描述引导补丁特征选择，并利用最优传输对齐语义特征，有效缓解灾难性遗忘。

Volumetric Optical Scattering Neural Networks

体积分散神经网络

Xuhao Luo, Qiang Song, Weiwei Cai, Lei Chen, Enbo Yang, Hao Wang, Zhipei Sun, Yueqiang Hu, Joel K. W. Yang, Huigao Duan

专题命中 其他安全 ：alignment(abstract)

AI总结 本文提出体积分散神经网络，利用密集排列的弱散射体实现三维局部连接的光计算介质，实现高密度、高紧凑性和高效光学计算，应用于嵌入式光学智能和AI领域。

Leveraging Multimodal Large Language Models for All-in-One Image Restoration via a Mixture of Frequency Experts

通过混合频率专家利用多模态大语言模型实现一站式图像修复

Eunho Lee, Rei Kawakami, Youngbae Hwang

机构 * Chungbuk National University（Chungbuk国立大学） ； Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 其他安全 ：alignment(abstract)

AI总结 本文提出一种利用多模态大语言模型指导的图像修复框架，通过混合频率专家模块提升对复合退化特征的建模能力，在多个数据集上取得优异效果。