Evaluation of Chunking Strategies for Effective Text Embedding in Low-Resource Language on Agricultural Documents
对低资源语言农业文档中有效文本嵌入的分块策略评估
机构 * Department of Big Data, Chungbuk National University, Cheongju-si, South Korea(大数据系, Chungbuk国立大学,韩国Cheongju市) ; Department of Computer Science, Chungbuk National University, Cheongju-si, South Korea(计算机科学系, Chungbuk国立大学,韩国Cheongju市) ; BigDataLabs Co., Ltd. Department of Management Information Systems, Chungbuk National University, South Korea(BigDataLabs公司 管理信息系, Chungbuk国立大学,韩国)
专题命中 向量检索 :RAG(summary_cn,abstract);retrieval-augmented generation(abstract);dense retrieval(abstract);分类 cs.CL
AI总结 本研究比较了四种文本分块方法在Khmer农业文档中的性能,通过检索增强生成(RAG)框架评估分块策略对密集检索优化的影响,发现基于字符的递归分块方法在低资源语言中表现最佳。
Comments 11 pages, 1 figure