DragOn: A Benchmark and Dataset for Drag-Based GUI Interactions
DragOn:基于拖拽的GUI交互基准与数据集
AI总结 针对GUI代理在拖拽操作(如拖放、滑动、高亮)上的性能不足,提出DragOn基准和训练数据集,涵盖文本高亮、单元格选择、元素缩放和滑块操作四个领域,包含28.6万张训练截图和350万个训练任务,评估了多个模型并显示数据集能提升下游任务性能。
Journal ref Published as a workshop paper at SCALE - 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026