Technion - Israel Institute of Technology（以色列理工学院）

Multilinguality at the Edge: Developing Language Models for the Global South

边缘侧多语言性：为全球南方开发语言模型

Lester James V. Miranda, Songbo Hu, Roi Reichart, Anna Korhonen

机构 * Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室） ； Technion – Israel Institute of Technology（技术学院——以色列理工学院） 纠错

AI总结 针对全球南方非英语、硬件受限社区的语言模型落地难题，调研232篇相关文献，梳理多语言与边缘部署交叉领域进展，提出面向NLP生态各方的可行建议。

Comments Updated formatting and improved spacing. Project website is in https://ljvmiranda921.github.io/multilinguality-at-the-edge/

SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass

SHINE：一种可扩展的上下文超网络，用于在单次传递中将上下文映射到LoRA

Yewei Liu, Xiyuan Wang, Yansheng Mao, Yoav Gelbery, Haggai Maron, Muhan Zhang

机构 * Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； Technion, NVIDIA（技术学院与NVIDIA） ； University of Oxford（牛津大学） ； School of Electronics Engineering（电子工程学院） ； Computer Science, Peking University（计算机科学，北京大学） 纠错

AI总结 本文提出SHINE，一种可扩展的上下文超网络，用于在单次传递中将多样且有意义的上下文映射到高质量的LoRA适配器，通过重用冻结LLM的自身参数和引入架构创新，克服了先前超网络的关键限制，以较少的参数实现了强大的表达能力。

Large Language Models Generate Harmful Responses Using a Distinct Mechanism, Shared Across Harm Types

大语言模型通过一种独特的统一机制生成有害内容

Hadas Orgad, Boyi Wei, Kaden Zheng, Martin Wattenberg, Peter Henderson, Seraphina Goldfarb-Tarrant, Yonatan Belinkov

机构 * Kempner Institute, Harvard University（哈佛大学肯普纳研究所） ； Princeton University（普林斯顿大学） ； Harvard University（哈佛大学） ； Cohere ； Technion—IIT（以色列理工学院） 纠错

AI总结 研究通过权重剪枝揭示大语言模型中有害生成的内部结构，发现有害内容生成依赖于一组通用且与良性能力不同的权重，表明对齐训练重塑了有害表示，解释了领域微调引发的广泛对齐偏差。