RAG 文档分块方法_rag中分割文档

作者：花生_TL007 | 2024-03-15 15:39:48

踩

rag中分割文档

RAG第一步需要对文档进行分快，以便更好的进行检索，现有的分块方法基于分隔符、token限制、token重叠数等等，现有突出的文档分块方法有哪些呢？
可以查看：https://www.toutiao.com/article/7320243761475846656/
含有各个分块方法的代码。

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】