arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

The Hong Kong University of Science and Technology(香港科技大学)

共收录 2796
2604.09668 2026-04-14 cs.IR cs.CV

Decoding Ancient Oracle Bone Script via Generative Dictionary Retrieval

通过生成词典检索解码古代甲骨文

Yin Wu, Gangjian Zhang, Jiayu Chen, Chang Xu, Yuyu Luo, Nan Tang, Hui Xiong

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))

AI总结 本文提出基于词典检索的解码方法,利用深度学习生成 plausible 的甲骨文变体词典,提升解码准确率至 54.3% Top-10 和 86.6% Top-50,为古代文字解码提供可解释的AI框架。

Comments 19 pages, 4 figures. Under review at Nature Machine Intelligence

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.09649 2026-04-14 cs.HC cs.AI eess.SP

WearBCI Dataset: Understanding and Benchmarking Real-World Wearable Brain-Computer Interfaces Signals

WearBCI 数据集:理解和评估真实世界可穿戴脑机接口信号

Haoxian Liu, Hengle Jiang, Lanxuan Hong, Xiaomin Ouyang

机构 * Hong Kong University of Science and Technology(香港科技大学)

AI总结 本文提出WearBCI数据集,通过同步多模态记录和系统性评估,研究运动伪影对可穿戴BCI信号的影响,并探索跨模态信号增强和多维行为理解的新应用。

Comments Accepted by Sensys 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.09568 2026-04-14 cs.HC cs.CL cs.CV

EvoDiagram: Agentic Editable Diagram Creation via Design Expertise Evolution

EvoDiagram:通过设计专业知识进化实现代理可编辑的图示创建

Tianfu Wang, Leilei Ding, Ziyang Tao, Yi Zhan, Zhiyuan Ma, Wei Wu, Yuxuan Lei, Yuan Feng, Junyang Wang, Yin Wu, Yizhao Xu, Hongyuan Zhu, Qi Liu, Nicholas Jing Yuan, Yanyong Zhang, Hui Xiong

机构 * Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) University of Science and Technology of China(中国科学技术大学) Peking University(北京大学)

AI总结 EvoDiagram通过设计专业知识进化实现代理可编辑图示创建,解决自动系统在高保真图示生成中的挑战,提出中间画布方案和设计知识进化机制,释放CanvasBench基准测试。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.24778 2026-04-14 cs.CL

Revisiting Epistemic Markers in Confidence Estimation: Can Markers Accurately Reflect Large Language Models' Uncertainty?

重新审视置信度标记在置信度估计中的作用:标记能否准确反映大语言模型的不确定性?

Jiayu Liu, Qing Zong, Weiqi Wang, Yangqiu Song

机构 * Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系)

AI总结 研究探讨了大语言模型中置信度标记是否能准确反映其不确定性,通过多数据集评估发现标记在同分布下表现稳定,但异分布下存在不一致,质疑了置信度标记的可靠性。

Comments ACL 2025 Main

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.02796 2026-04-14 cs.GT cs.LG

Adaptive Bidding Policies for First-Price Auctions with Budget Constraints under Non-stationarity

有预算约束的首次价格拍卖中适应性投标策略

Yige Wang, Jiashuo Jiang

机构 * Department of Industrial Engineering & Decision Analytics, Hong Kong University of Science and Technology(香港科技大学工业工程与决策分析系)

AI总结 研究在非平稳环境下,预算受限的投标人如何学习适应性投标以最大化累积收益。提出基于双梯度下降的投标策略,并分析在不同未来私人价值知识设定下的性能损失。

Comments Previously this version appeared as arXiv:2604.03103 which was submitted as a new work by accident

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.09455 2026-04-13 cs.AI

E3-TIR: Enhanced Experience Exploitation for Tool-Integrated Reasoning

E3-TIR: 增强经验利用以实现工具集成推理

Weiyang Guo, Zesheng Shi, Liye Zhao, Jiayuan Ma, Zeen Zhu, Junxian He, Min Zhang, Jing Li

机构 * Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳)) Huawei Technologies Co., Ltd.(华为技术有限公司) Hong Kong University of Science and Technology(香港科技大学)

AI总结 本文提出E3-TIR方法,通过整合专家前缀、专家引导和自探索三种经验类型,提升工具集成推理的效率与性能,实验显示在工具使用任务中性能提升6%,数据成本降低。

Comments 22 pages 10 figures, published in acl2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07928 2026-04-13 cs.CV cs.LG

Generative 3D Gaussian Splatting for Arbitrary-ResolutionAtmospheric Downscaling and Forecasting

生成式3D高斯散射用于任意分辨率的大气降尺度与预测

Tao Han, Zhibin Wen, Zhenghao Chen, Fenghua Lin, Junyu Gao, Song Guo, Lei Bai

机构 * Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(香港科技大学计算机科学与工程系) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系) School of Computer and Information Sciences, University of Newcastle(纽卡斯尔大学计算机与信息科学学院) School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University(西北工业大学人工智能、光学与电子学学院(iOPEN))

AI总结 本文提出GSSA-ViT框架,通过生成式3D高斯模型与尺度感知注意力机制,实现高维大气场的任意分辨率预测与降尺度,提升多尺度预测效率与准确性。

Comments 20 pages, 13 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.10632 2026-04-13 cs.CV

CoMoVi: Co-Generation of 3D Human Motions and Realistic Videos

CoMoVi:3D人类动作与真实视频的联合生成

Chengfeng Zhao, Jiazhi Shu, Yubo Zhao, Tianyu Huang, Jiahao Lu, Zekai Gu, Chengwei Ren, Zhiyang Dou, Qing Shuai, Yuan Liu

机构 * HKUST(香港科技大学) SCUT(华南理工大学) HKU(香港大学) MIT(麻省理工学院) ZJU(浙江大学)

AI总结 本文提出CoMoVi框架,通过单个扩散去噪循环同步生成3D人类动作和视频,采用双分支扩散模型实现动作与视频生成的互惠特征交互和3D-2D交叉注意力。

Comments Project Page: https://igl-hkust.github.io/CoMoVi/

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.13792 2026-04-13 cs.CV

VisionLaw: Inferring Interpretable Intrinsic Dynamics from Visual Observations via Bilevel Optimization

VisionLaw: 通过双层优化从视觉观测中推断可解释的内在动力学

Jiajing Lin, Shu Jiang, Qingyuan Zeng, Zhenzhong Wang, Min Jiang

机构 * School of Informatics, Xiamen University(厦门大学信息学院) Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究所) The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))

AI总结 本文提出VisionLaw框架,通过双层优化从视觉数据中推断可解释的内在动力学,解决了传统方法在可解释性和泛化能力上的不足。

Comments Accepted by ICLR 2026; Project Page: https://github.com/JiajingLin/VisionLaw

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.06869 2026-04-13 cs.CV cs.AI

VSI: Visual Subtitle Integration for Keyframe Selection to enhance Long Video Understanding

VSI:视觉字幕整合用于关键帧选择以增强长视频理解

Jianxiang He, Meisheng Hong, Jungang Li, Weiyu Guo, Xuming Hu, Hui Xiong

机构 * AI Thrust, HKUST(GZ)(香港科技大学(广州)) Shandong University(山东大学)

AI总结 VSI通过融合视觉与文本信息提升长视频关键帧检索精度,实现在文本相关任务中的突破性表现。

Comments Accepted to CVPR 2026 Findings, 10 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.20185 2026-04-13 cs.CL

SessionIntentBench: A Multi-task Inter-session Intention-shift Modeling Benchmark for E-commerce Customer Behavior Understanding

SessionIntentBench: 一个用于电子商务客户行为理解的多任务跨会话意图转移建模基准

Yuqi Yang, Weiqi Wang, Baixuan Xu, Wei Fan, Qing Zong, Chunkit Chan, Zheye Deng, Xin Liu, Yifan Gao, Changlong Yu, Chen Luo, Yang Li, Zheng Li, Qingyu Yin, Bing Yin, Yangqiu Song

机构 * Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系) Amazon.com Inc(亚马逊公司)

AI总结 本文提出SessionIntentBench基准,通过意图树概念和数据集构建流程,评估大语言模型在跨会话意图转移中的能力,发现现有模型在复杂会话中难以捕捉意图,注入意图可提升性能。

Comments Findings of ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.08939 2026-04-13 cs.LG

Delve into the Applicability of Advanced Optimizers for Multi-Task Learning

深入研究先进优化器在多任务学习中的适用性

Zhipeng Zhou, Linxiao Cao, Pengcheng Wu, Peilin Zhao, Chunyan Miao

机构 * Nanyang Technological University(南洋理工大学) Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院)

AI总结 本文研究了先进优化器在多任务学习中的应用,提出APT框架通过自适应动量机制平衡优化器与多任务学习的强项,并引入轻方向保持方法提升Muon的正交化效果,实验表明APT显著提升了多任务学习性能。

Comments 12 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.08720 2026-04-13 cs.SE cs.AI

Demystifying the Silence of Correctness Bugs in PyTorch Compiler

解析PyTorch编译器中正确性错误的沉默

Meiziniu Li, Dongze Li, Jianmeng Liu, Shing-Chi Cheung

机构 * The Hong Kong University of Science and Technology(香港科技大学) Guangzhou HKUST Fok Ying Tung Research Institute(广州香港科技大学霍英东研究院) Carnegie Mellon University(卡内基梅隆大学)

AI总结 本文研究PyTorch编译器中正确性错误的特征,提出AlignGuard技术检测此类错误,已发现23个新错误,其中14个被标记为高优先级。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.08690 2026-04-13 cs.LG cs.CL

Skip-Connected Policy Optimization for Implicit Advantage

隐式优势下的跳连策略优化

Fengwei Teng, Jinyi Bai, Xinhao Yao, Demi Ruohan Wang, Jiahao Zhao, Zhijiang Guo

机构 * Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学) Renmin University of China(中国人民大学) Carnegie Mellon University(卡内基梅隆大学) Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))

AI总结 本文提出跳连优化方法,通过将推理分解为上游和下游阶段,利用密集奖励和蒙特卡洛采样提升性能,在数学基准和领域外任务中取得显著提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.08646 2026-04-13 cs.CV

InsEdit: Towards Instruction-based Visual Editing via Data-Efficient Video Diffusion Models Adaptation

InsEdit:通过数据高效的视频扩散模型适应实现基于指令的视觉编辑

Zhefan Rao, Bin Zou, Haoxuan Che, Xuanhua He, Chong Hou Choi, Yanheng Li, Rui Liu, Qifeng Chen

机构 * The Hong Kong University of Science and Technology(香港科技大学) Celia Research HK City University of Hong Kong(香港城市大学)

AI总结 本文提出InsEdit,基于HunyuanVideo-1.5构建指令式编辑模型,结合Mutual Context Attention机制,仅需少量视频编辑数据即可实现高质量视频编辑,并支持图像编辑。

Comments 13 pages, 10 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.05529 2026-04-13 cs.AI

ActivityEditor: Learning to Synthesize Physically Valid Human Mobility

ActivityEditor: 学习合成物理有效的行人移动

Chenjie Yang, Yutian Jiang, Anqi Liang, Wei Qi, Chenyu Wu, Junbo Zhang

机构 * Southwest Jiaotong University(西南交通大学) HKUST (Guangzhou)(香港科技大学(广州)) Shanghai Jiao Tong University(上海交通大学) Tsinghua University(清华大学) JD Technology(京东科技)

AI总结 本文提出ActivityEditor,一种双LLM代理框架,用于零样本跨区域轨迹生成。通过意图生成代理和编辑代理协同工作,结合强化学习和物理约束,实现高保真轨迹生成。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.08468 2026-04-10 cs.LG cs.AI

TTVS: Boosting Self-Exploring Reinforcement Learning via Test-time Variational Synthesis

TTVS: 通过测试时变分合成提升自我探索强化学习

Sikai Bai, Haoxi Li, Jie Zhang, Yongjiang Liu, Song Guo

机构 * The Hong Kong University of Science and Technology(香港科技大学)

AI总结 本文提出TTVS框架,通过动态增强未标记测试查询流,使大推理模型自我进化,提升测试时适应性能,实验显示其在八种模型架构上表现优异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.08322 2026-04-10 cs.CV

Fundus-R1: Training a Fundus-Reading MLLM with Knowledge-Aware Reasoning on Public Data

Fundus-R1: 基于公共数据训练具备知识感知推理能力的视网膜图像阅读MLLM

Yuchuan Deng, Qijie Wei, Kaiheng Qian, Jiazhen Liu, Zijie Xin, Bangxiang Lan, Jingyu Liu, Jianfeng Dong, Xirong Li

机构 * Renmin University of China(中国人民大学) The Hong Kong University of Science and Technology(香港科技大学) Zhejiang Gongshang University(浙江工商大学)

AI总结 本文提出Fundus-R1,通过公共数据集训练具备知识感知推理能力的视网膜图像阅读MLLM,采用RAG方法生成知识感知推理轨迹,并通过过程奖励增强RLVR,实验证明其在三个基准测试中优于多个基线模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.09928 2026-04-10 cs.RO

HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models

HiF-VLA:通过运动表示实现视觉-语言-动作模型的回顾、洞察与前瞻性

Minghui Lin, Pengxiang Ding, Shu Wang, Zifeng Zhuang, Yang Liu, Xinyang Tong, Wenxuan Song, Shangke Lyu, Siteng Huang, Donglin Wang

机构 * Westlake University(西湖大学) Zhejiang University(浙江大学) HKUST(GZ)(香港科技大学(广州)) Nanjing University(南京大学) Westlake Robotics(西湖机器人)

AI总结 HiF-VLA通过运动表示提升视觉-语言-动作模型的时序推理能力,采用回顾、洞察和前瞻性机制,在长时域任务中表现优异,且推理延迟低。

Comments CVPR 2026, Project page: https://hifvla.github.io, Github: https://github.com/OpenHelix-Team/HiF-VLA

详情

展开后加载摘要…

URL PDF HTML 收藏
2504.10284 2026-04-10 cs.CL

arXiv2Table: Toward Realistic Benchmarking and Evaluation for LLM-Based Literature-Review Table Generation

arXiv2Table:面向基于大语言模型的文献综述表生成的现实基准测试与评估

Weiqi Wang, Jiefu Ou, Yangqiu Song, Benjamin Van Durme, Daniel Khashabi

机构 * Center for Speech and Language Processing, Johns Hopkins University(约翰霍普金斯大学语音与语言处理中心) Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系)

AI总结 本文提出arXiv2Table基准,通过模拟真实用户需求和噪声,评估大语言模型生成文献综述表的能力,实验表明方法优于基线,但任务难度仍高。

Comments ACL 2026 Main Conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2403.14922 2026-04-10 cs.LG cs.NI

CODA: A Continuous Online Evolve Framework for Deploying HAR Sensing Systems

CODA:一种用于部署HAR传感系统的连续在线进化框架

Minghui Qiu, Jun Chen, Lin Chen, Shuxin Zhong, Yandao Huang, Lu Wang, Kaishun Wu

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) The Hong Kong University of Science and Technology(香港科技大学) Shenzhen University(深圳大学)

AI总结 CODA通过实例驱动适应和自适应时间保留策略,解决HAR系统在非平稳漂移下的持续适应问题,实现高精度与低延迟的平衡。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.08123 2026-04-10 cs.DC cs.AI

LegoDiffusion: Micro-Serving Text-to-Image Diffusion Workflows

LegoDiffusion:微服务文本到图像扩散工作流

Lingyun Yang, Suyi Li, Tianyu Feng, Xiaoxiao Jiang, Zhipeng Di, Weiyi Lu, Kan Liu, Yinghao Yu, Tao Lan, Guodong Yang, Lin Qu, Liping Zhang, Wei Wang

机构 * Hong Kong University of Science and Technology(香港科技大学) Alibaba Group(阿里巴巴集团)

AI总结 LegoDiffusion通过将扩散工作流分解为松耦合的模型执行节点,实现高效管理与调度,提升请求率和突发流量容忍度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.08033 2026-04-10 cs.AI cs.MA cs.NI

IoT-Brain: Grounding LLMs for Semantic-Spatial Sensor Scheduling

IoT-Brain:为语义-空间传感器调度 grounding LLMs

Zhaomeng Zhou, Lan Zhang, Junyang Wang, Mu Yuan, Junda Lin, Jinke Song

机构 * University of Science and Technology of China(中国科学技术大学) Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院) The Chinese University of Hong Kong(香港中文大学) The Hong Kong University of Science and Technology(香港科技大学)

AI总结 本文提出IoT-Brain系统,通过引入空间轨迹图(STG)解决LLM在语义-空间传感器调度中的表示、推理和优化缺陷,提升任务成功率37.6%并显著降低资源消耗。

Comments To appear in ACM MobiCom 2026; 13 pages, 12 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07989 2026-04-10 cs.IR cs.AI

Show Me the Infographic I Imagine: Intent-Aware Infographic Retrieval for Authoring Support

展示我所想象的图表:面向作者支持的意图感知图表检索

Jing Xu, Jiarui Hu, Zhihao Shuai, Yiyun Chen, Weikai Yang

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) Nanjing University(南京大学)

AI总结 本文提出意图感知图表检索框架,通过意图分类提升检索准确性,支持高效图表创作。

Comments Project homepage: https://infographicretrieval.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07963 2026-04-10 cs.CL cs.AI cs.LG

Rethinking Data Mixing from the Perspective of Large Language Models

从大语言模型视角重新思考数据混合

Yuanjian Xu, Tianze Sun, Changwei Xu, XinLong Zhao, Jianing Hao, Ran Chen, Yang Liu, Ruijie Xu, Stephen Chen, Guang Zhang

机构 * Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) OpenCSG Harbin Institute of Technology(哈尔滨工业大学)

AI总结 本文从理论角度探讨数据混合策略对大语言模型训练的影响,提出DoGraph框架,通过图约束优化提升模型泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07901 2026-04-10 cs.CV

PanoSAM2: Lightweight Distortion- and Memory-aware Adaptions of SAM2 for 360 Video Object Segmentation

PanoSAM2:轻量级的失真和内存感知的SAM2改进用于360视频对象分割

Dingwen Xiao, Weiming Zhang, Shiqi Wen, Lin Wang

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) Nanyang Technological University(南洋理工大学)

AI总结 本文提出PanoSAM2,通过改进SAM2以应对360视频中的失真和内存问题,提升分割可靠性,同时保持用户友好的提示设计。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07888 2026-04-10 cs.LG

Bit-by-Bit: Progressive QAT Strategy with Outlier Channel Splitting for Stable Low-Bit LLMs

逐位训练:带有异常通道分割的渐进式QAT策略以稳定低比特LLM

Binxing Xu, Hao Gu, Lujun Li, Hao Wang, Bei Liu, Jiacheng Liu, Qiyuan Zhu, Xintong Yang, Chao Li, Sirui Han, Yike Guo

机构 * Zhejiang University(浙江大学) Hong Kong University of Science and Technology(香港科技大学) City University of Hong Kong(香港城市大学)

AI总结 本文提出Bit-by-Bit方法,通过渐进式QAT策略和异常通道分割,解决低比特LLM训练中的收敛不稳定和训练成本问题,实现多比特宽支持。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07853 2026-04-10 cs.LG cs.AI

QaRL: Rollout-Aligned Quantization-Aware RL for Fast and Stable Training under Training--Inference Mismatch

QaRL:基于回放对齐的量化感知强化学习用于在训练-推理不匹配下的快速稳定训练

Hao Gu, Hao Wang, Jiacheng Liu, Lujun Li, Qiyuan Zhu, Bei Liu, Binxing Xu, Lei Wang, Xintong Yang, Sida Lin, Sirui Han, Yike Guo

机构 * The Hong Kong University of Science and Technology(香港科技大学) City University of Hong Kong(香港城市大学) Zhejiang University(浙江大学)

AI总结 本文提出QaRL,通过对齐训练和回放的量化过程,解决训练-推理不匹配问题,提升训练效率和稳定性,同时保持低比特吞吐量优势。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07468 2026-04-10 cs.AI

M-ArtAgent: Evidence-Based Multimodal Agent for Implicit Art Influence Discovery

M-ArtAgent:基于证据的多模态代理用于隐式艺术影响发现

Hanyi Liu, Zhonghao Jiu, Minghao Wang, Yuhang Xie, Heran Yang

机构 * China Electronics Technology Group Co., Ltd.(中国电子科技集团有限公司) School of Information Science and Engineering, Southeast University(东南大学信息科学与工程学院) Department of Chemical and Biological Engineering, Hong Kong University of Science and Technology(香港科技大学化学与生物工程系) University of California San Diego(加州大学圣迭戈分校) Northeastern University(东北大学)

AI总结 本文提出M-ArtAgent,通过概率裁决框架解决隐式艺术影响发现问题,结合多模态感知与领域约束的反驳机制,实现83.7%的F1分数和0.910的ROC-AUC。

Comments 13 pages, 5 figures, submitted to IEEE Access

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07363 2026-04-10 cs.LG

Benchmark Shadows: Data Alignment, Parameter Footprints, and Generalization in Large Language Models

基准阴影:大型语言模型中的数据对齐、参数足迹与泛化

Hongjian Zou, Yidan Wang, Qi Ding, Yixuan Liao, Xiaoxin Chen

机构 * Vivo AI Lab, Shenzhen, China(维沃人工智能实验室,深圳,中国) Hong Kong University of Science and Technology, Hong Kong, China(香港科技大学,香港,中国)

AI总结 本文研究了大型语言模型中基准表现与广度能力之间的差异,通过数据干预发现数据分布影响参数适应与泛化能力,提出参数空间诊断方法揭示不同训练模式的结构特征。

Comments 28 pages, 26 figures, 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏