The Structured Output Benchmark: A Multi-Source Benchmark for Evaluating Structured Output Quality in Large Language Models
结构化输出基准:一个多源基准,用于评估大型语言模型中的结构化输出质量
机构 * JigsawStack, Inc.(JigsawStack公司) ; New Delhi, India(印度新德里) ; San Francisco, CA, USA(美国旧金山) ; Durgapur, WB, India(印度德里邦杜格apur)
AI总结 本文提出SOB基准,用于评估大型语言模型在多源数据中的结构化输出质量,通过文本、图像和音频三种模态的测试数据,发现模型在结构合规性上表现良好,但价值准确性在不同数据源中差异显著。
Comments 19 pages, 4 figures, 11 tables, submitted to NeurIPS 2026