Multi-Bitwidth Quantization for LLMs Using Additive Codebooks
使用加性码本的大语言模型多比特宽度量化
发表机构 * University of Toronto(多伦多大学)
AI总结 提出Drop-by-Drop框架,基于信息论和逐次细化理论,利用加性码本和Matryoshka监督实现单个模型在推理时支持多精度权重控制,降低存储开销并保持性能。
使用加性码本的大语言模型多比特宽度量化
发表机构 * University of Toronto(多伦多大学)
AI总结 提出Drop-by-Drop框架,基于信息论和逐次细化理论,利用加性码本和Matryoshka监督实现单个模型在推理时支持多精度权重控制,降低存储开销并保持性能。
一种稳定的路径空间方法用于基于扩散的后验采样
发表机构 * Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校奥登计算工程与科学研究所) ; Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室) ; Department of Biomedical Engineering, The University of Texas at Austin(德克萨斯大学奥斯汀分校生物医学工程系) ; Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
AI总结 提出一种稳定的路径空间框架,通过随机最优控制与信任域优化,实现非线性逆问题中准确且鲁棒的后验采样。
对数凹采样的统一复杂度界
发表机构 * University of Texas at Austin(得克萨斯大学奥斯汀分校)
AI总结 本文通过In-and-Out算法与指数提升,给出了从热启动采样任意对数凹分布的简单、统一且近乎紧的界,主要创新是提升了提升分布的Poincaré常数界。
认知不确定性并非可约简的那种
发表机构 * University of Cambridge(剑桥大学)
AI总结 证明标准定义中认知不确定性为可被更多数据移除的部分,与互信息度量在扩展上不一致,并提出三部分分解:偶然、样本可约简认知和机制可约简认知不确定性。
NSL-KDD数据集不平衡数据条件下IDS的AutoML框架评估
发表机构 * Cybersecurity and Artificial Intelligence Laboratory (CS&I Lab), National Institute of Telecommunications (Inatel)(网络安全与人工智能实验室(CS&I Lab),国家电信研究所(Inatel)) ; Wireless and Artificial Intelligence Laboratory (WAI Lab), National Institute of Telecommunications (Inatel)(无线与人工智能实验室(WAI Lab),国家电信研究所(Inatel))
AI总结 研究NSL-KDD数据集上严重类别不平衡对多分类入侵检测中AutoML框架性能的影响,发现集成学习和不平衡感知优化可提升少数类检测能力,PyCaret表现最佳(macro-F1 66%)。
基于机会约束强化学习的分布无关鲁棒轨迹优化
发表机构 * Auckland University(奥克兰大学)
AI总结 提出一种分布无关的鲁棒轨迹优化框架,通过机会约束强化学习处理初始条件和过程噪声的不确定性,采用离线标称轨迹与在线仿射闭环校正,在两种不同轨迹设计问题上验证了概率可行性与燃料效率。
JSCGC:面向无线生成式通信的联合源信道生成编码
发表机构 * Cooperative Medianet Innovation Center, the School of Information Science and Electronic Engineering, Shanghai Jiao Tong University(联合中位网创新中心,信息科学与电子工程学院,上海交通大学)
AI总结 提出联合源信道生成编码(JSCGC),用生成模型替换传统解码器,将通信重构问题转化为受感知约束下的受控生成问题,通过联合训练和随机采样框架最大化互信息,在潜空间图像传输中提升特征、语义和分布质量。
分子通信中约束信道编码的掩码神经检测
发表机构 * Centre for neXt Communications (CXC), Department of Engineering, University of Cambridge(下一代通讯中心(CXC)、工程系、剑桥大学) ; Centre for neXt Communications (CXC), Department of Electrical and Electronics Engineering, Koç University(下一代通讯中心(CXC)、电子与电气工程系、科克大学)
AI总结 针对分子通信中的扩散记忆问题,提出掩码神经检测器,结合RLIM约束码与SBRNN,在多数情况下优于未编码检测,平均增益达10.36倍,并设计RLIM定制训练掩码进一步提升性能。
图强化学习用于校准感知的量子电路路由
发表机构 * University of California, Berkeley(加州大学伯克利分校) ; National Institute of Standards and Technology(国家标准与技术研究院)
AI总结 提出一种利用图强化学习进行校准感知的量子电路路由方法,通过IBM Heron r2校准数据选择SWAP操作,在MQT Bench电路上平均保真度达0.727,优于SABRE-best20的0.440。
量子储层计算在资源受限能源系统中的短期电力负荷预测
发表机构 * University of Waterloo(滑铁卢大学)
AI总结 提出一种硬件高效的量子储层计算框架,通过固定量子储层和压缩经典读出层,在有限内存和硬件噪声下实现短期负荷预测,6位量化保留全精度性能并减少81.2%内存。
意识基调:TikTok 心理健康月期间的主题、情感和毒性地图
发表机构 * Institute for Biocomputation and Physics of Complex Systems (BIFI)(生物计算与复杂系统物理研究所) ; University of Zaragoza(萨拉戈塔大学) ; ARAID Foundation(ARAID基金会) ; Network Science Institute(网络科学研究所) ; Northeastern University London(伦敦东北大学) ; Kent Medway Medical School(肯特梅德斯医疗学院) ; LASIGE(拉西格研究所) ; Faculdade de Ciências da Universidade de Lisboa(里斯本大学科学学院) ; Department of Psychology, University of Limerick(利默里克大学心理学系) ; Observatory on Social Media, Indiana University(社交媒体观察所,印第安纳大学) ; CSSI - Kellogg School of Management, Northwestern University(CSSI - 北western大学凯洛格管理学院)
AI总结 通过分析 TikTok 2023-2024 年心理健康月期间的视频和评论,使用 BERTopic 提取主题、XLM-T 和 Detoxify 量化情感与毒性,发现视频情感偏负面而评论更混合,毒性在评论中呈长尾分布且集中于特定主题。
量子信息机器学习预测混沌的实用量子优势基础
发表机构 * Centre for Computational Science, University College London(大学学院伦敦计算科学中心) ; Leibniz Supercomputing Centre of the Bavarian Academy of Sciences and Humanities(巴伐利亚科学院和人文科学莱比锡超算中心) ; Centre for Advanced Research Computing, University College London(大学学院伦敦先进研究计算中心)
AI总结 提出基于高阶量子统计先验的量子优势机制,通过两阶段优势(表示与提取)证明量子-经典复制测量复杂度分离,并在湍流和天气预报中验证。
采集状态作为结构化、可测量变量影响肺结节AI:核驱动的测量不稳定性和噪声驱动的检测脆弱性,DICOM元数据不可见
发表机构 * Daniel Soliman, M.S(丹尼尔·索利曼,硕士)
AI总结 研究通过LUNA16训练的RetinaNet检测器,发现CT采集状态(重建核与噪声)独立影响AI的测量与检测性能,且无法从DICOM元数据恢复,提出采集感知的输入验证层。
保持特征的潜在EnKF用于含激波流动的数据同化
发表机构 * Department of Mechanical Engineering, Johns Hopkins University(约翰霍普金斯大学机械工程系)
AI总结 针对含激波流动中EnKF因多模态统计产生伪振荡的问题,提出在学习的低维潜在空间进行集合更新以保持激波特征,并通过共享解码器恢复物理状态,数值实验验证了无伪振荡的准确特征恢复。
价值的数学理论:资源约束下目标导向行为的综合
发表机构 * Cheng Qian(陈倩)
AI总结 本文提出价值是目标导向主体在资源约束下转化资源为目标进度的速率,通过尺度不变性公理导出对数度量,并推导出价值编码定理,实现价值与信息论的统一。
AgentRivet:从期刊论文自动生成Rivet例程的系统
发表机构 * Department of Physics & Astronomy, University of Manchester(曼彻斯特大学物理与天文学系) ; Centre for Advanced Research Computing, University College London(伦敦大学学院先进计算中心)
AI总结 提出基于大语言模型的自动化工作流AgentRivet,从论文提取物理分析信息并生成缺失的Rivet例程,经代码和物理审查实现质量控制,在ATLAS和CMS测量中生成语法错误少、物理保真度合理的例程。
利用空间光子伊辛机实现平衡传播的光学实现
发表机构 * Laboratoire d’Information Quantique, Université Libre de Bruxelles (ULB)(量子信息实验室,布鲁塞尔自由大学) ; Dipartimento di Fisica, Sapienza Università di Roma(物理学系,萨皮恩扎罗马大学)
AI总结 提出利用空间光子伊辛机光学实现平衡传播,通过规范变换方法编码神经元状态和可训练模式,在Wine和MNIST数据集上验证了能效物理实现的可行性。
玻尔兹曼注意力:用于协同注意力的可学习伊辛耦合
发表机构 * Yonsei University(延世大学)
AI总结 提出玻尔兹曼注意力,通过可学习的伊辛耦合增强注意力机制中的位置间交互,在字符级语言建模和括号匹配任务中优于标准softmax注意力,并展示了量子退火训练的有效性。
无监督联邦学习的一个可解模型
发表机构 * Institute for Cross-disciplinary Physics and Complex Systems IFISC (CSIC-UIB)(跨学科物理与复杂系统研究所(IFISC,CSIC-UIB)) ; Departamento de Física Teórica, Universidad Complutense de Madrid(马德里complutense大学理论物理系) ; Escuela Técnica Superior de Ingenieros Industriales, Universidad Politécnica de Madrid(马德里理工大学工业工程师学院) ; GISC - Grupo Interdisciplinar de Sistemas Complejos(跨学科复杂系统小组) ; Inria Saclay - Tau team(萨克利Inria团队) ; Department of Mathematics, University of Bologna(博洛尼亚大学数学系)
AI总结 提出一个理论框架,通过教师-多学生交互场景分析联邦学习,证明学生间交互能系统提升学习性能,并推导最优贝叶斯条件,映射到受限玻尔兹曼机。
VOID: 击败潜在扩散模型中的未授权模仿
发表机构 * School of Cyber Science and Engineering, Wuhan University(武汉大学网络空间安全学院) ; School of Computer Science, Wuhan University(武汉大学计算机学院) ; Institute for Math&AI, Wuhan University(武汉大学数学与人工智能研究所) ; The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) ; School of Cyber Science and Engineering, Xi’an Jiaotong University(西安交通大学网络空间安全学院)
AI总结 针对潜在扩散模型被用于未授权模仿的问题,提出VOID防御框架,通过操纵模型内在随机性,放大潜在编码误差并抵消目标引导信号,实现语义破坏,阻止未授权模仿,同时将扰动限制在人眼不可感知区域。
DrivingAgent: 自动驾驶系统的设计与调度智能体
发表机构 * Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所) ; University of California, Merced(加州大学默塞德分校)
AI总结 提出DrivingAgent框架,通过自动化模块开发(设计阶段)和强化学习训练的轻量级LLM实时调度(调度阶段),解决自动驾驶系统集成新模型和满足实时约束的挑战,在nuScenes和Bench2Drive上取得更优速度-精度权衡。
指令调优大语言模型解码时真实性方法的受控研究
发表机构 * Independent Researcher(独立研究员)
AI总结 本研究通过分析每层令牌logits特征,提出CHAIR框架检测幻觉,在TruthfulQA和MMLU上显著提升零样本检测准确率。
冻结多模态嵌入用于异步视频面试中的个性与认知能力评估
发表机构 * Technology Application and Human Resource Development, National Taiwan Normal University(台湾国立台中教育大学技术应用与人力资源发展系) ; Computer Science and Information Engineering, National Central University(台湾国立中央大学计算机科学与资讯工程系) ; Institute of Photonic System, National Yang Ming Chiao Tung University(台湾阳明交通大学光电系统研究所)
AI总结 针对异步视频面试中标注数据有限的高维多模态学习问题,提出使用冻结多模态编码器(CLIP、Whisper、RoBERTa等)结合低容量下游模型,在个性预测任务上实现MSE降低19.1%,并发现认知能力预测中存在数据集捷径。
GraspLLM: 面向文本属性图与LLM的零样本泛化
发表机构 * Peking University(北京大学) ; National University of Singapore(新加坡国立大学) ; University of California, Berkeley(加州大学伯克利分校)
AI总结 提出GraspLLM框架,通过融合图结构理解与LLM语义能力,利用基序感知对比学习和最优上下文子图对齐,实现跨数据集和跨任务的零样本泛化。
Wild3R: 从无约束稀疏照片集合进行前馈式3D高斯泼溅
发表机构 * The University of Tokyo(东京大学)
AI总结 提出Wild3R,一种针对无约束稀疏照片集合的前馈式3D高斯泼溅方法,通过引入包含多样光照和瞬态物体的WildCity数据集,学习跨视角外观一致性并移除瞬态内容,性能优于现有前馈方法,与基于逐场景优化的方法相当。
面向语音基础模型的无数据无训练压缩:基于参数聚类的方法
发表机构 * The Chinese University of Hong Kong(香港中文大学) ; National Research Council Canada(加拿大国家研究委员会)
AI总结 提出一种基于k-means通道聚类的无数据无训练压缩方法,通过层间不同参数簇数实现细粒度混合稀疏剪枝,在HuBERT-large和Whisper-large-v3上显著降低WER。
AI4Land: 面向全球高分辨率土地利用重建的可扩展深度学习
发表机构 * Barcelona Supercomputing Center(巴塞罗那超级计算中心)
AI总结 提出AI4Land框架,采用U-Net两阶段方法,结合粗分辨率情景数据与静态地理特征,重建高分辨率年度土地利用与覆盖,减少陆地碳循环不确定性,支持气候模拟。
MultiToP:学习修补视觉令牌以减轻视频大型多模态模型中的幻觉
发表机构 * Zhejiang University(浙江大学) ; Sun Yat-sen University(中山大学) ; East China Normal University(华东师范大学)
AI总结 提出MultiToP框架,通过轻量级视觉令牌修补器动态替换不可靠视觉令牌,结合信息引导排名校准和稀疏正则化,在不修改原模型情况下减少视频多模态模型幻觉,显著提升F1分数和问答准确率。
通过真实到仿真到真实触觉策略学习的盲操作灵巧抓取
发表机构 * ShanghaiTech University(上海科技大学) ; Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
AI总结 提出一种结合Real2Sim触觉校准、布局感知触觉编码器和触觉条件扩散策略的框架,实现仅依赖触觉的灵巧手盲抓取,在真实机器人上对20个物体达到27%成功率。
UR-BERT:通过通用罗马化和语音标记预测扩展大规模多语言TTS的文本编码器
发表机构 * Dept. of Electronics and Electrical Engineering, Yonsei University(延世大学电子与电气工程系)
AI总结 提出UR-BERT,一种基于罗马化转录的TTS编码器,通过统一书写系统为罗马化表示,结合语音标记预测目标,在495种语言上实现高效多语言TTS,优于现有基线并泛化到未见语言。