langchain UnstructuredPDFLoader读取pdf仅生成单篇Document解决办法

作者：盐析白兔 | 2024-08-14 15:17:24

踩

unstructuredpdfloader

from langchain.document_loaders import UnstructuredPDFLoader

loader = UnstructuredPDFLoader("test.pdf")

pages = loader.load_and_split()

langchain 的UnstructuredPDFLoader默认采用的是fast解析，如果是比较长的pdf，会发现没有分割文档，把整篇文章都放到一个document里了，这样在向量索引以后进行大模型问答的时候很容易就超过了max_tokens。

解决办法是采用PyPDFLoader，会按照页面分割文档。

from langchain.document_loaders import PyPDFLoader

loader = PyPDFLoader("test.pdf")

pages = loader.load_and_split()

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/979896