视觉大模型 / VLM

Structured Visual Narratives Undermine Safety Alignment in Multimodal Large Language Models

结构化视觉叙事削弱多模态大语言模型的安全对齐

Rui Yang Tan, Yujia Hu, Roy Ka-Wei Lee

机构 * Singapore University of Technology and Design（新加坡技术与设计大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；visual reasoning(abstract)；分类 cs.AI

AI总结 研究发现结构化视觉叙事在多模态大语言模型中导致安全对齐问题，通过漫画模板劫持攻击展示其危害，揭示现有防御方法在处理非有害敏感内容时的不可靠性。

Comments Code released at: https://github.com/Social-AI-Studio/ComicJailbreak

ColorBrowserAgent: Complex Long-Horizon Browser Agent with Adaptive Knowledge Evolution

ColorBrowserAgent：具有自适应知识演化的复杂长 horizon 浏览器代理

Jihong Wang, Jiamu Zhou, Weiming Zhang, Teng Wang, Weiwen Liu, Zhuosheng Zhang, Xingyu Lou, Weinan Zhang, Huarong Deng, Jun Wang

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)

AI总结 本文提出ColorBrowserAgent，通过人类在环的知识适应和知识对齐的渐进总结机制，解决网页自动化中的长周期不稳定性与领域特定先验知识缺乏问题，实验表明其在WebArena和工业部署中均表现优异。