PulsarRPAPro-AI高速采集并自动提取网页数据

本文介绍 platon.ai 的 AI 爬虫技术。

AI 爬虫指的是一组 AI 智能体，也就是 AI agents，它能够像真人一样网上冲浪，阅读理解在线网页，输出结构化数据或者知识图谱。

举个例子，我们要采集 Amazon 上的产品数据。传统上，我们需要使用 PulsarRPA、selenium这样的浏览器自动化工具，逐一打开 Amazon 上的产品详情页，花费大量时间，编写X-SQL、正则表达式等来提取网页数据，将网页转变成可以直接分析的结构化数据。

使用 platon.ai 的 AI 爬虫 PulsarRPAPro，可以像真人一样无障碍访问 Amazon，自动提取网页中的所有字段，输出结构化数据。

和真人不同的是，PulsarRPA 访问速度非常快，访问的网页数量没有限制，访问网页后，可以直接告诉你，网页上所有的字段。

PulsarRPA 也会像真人一样，在网页上执行各种动作，和网页进行交互。PulsarRPA 执行这些动作是为了确保所有信息全部完整呈现在网页上。

所有网页都采集完毕后，PulsarRPAPro 开始分析这些网页，日志里显示了分析过程。

从结果报告页面上，我们看到，PulsarRPAPro 学到了18张表格，一共376个字段。其中，第一个表格是所有表格合并而来。表格的每一行，都来自同一个网页，而每一列则代表了不同商品的某一个属性值，譬如说，商品价格。

PulsarRPAPro 性能非常高，这就意味着成本非常低，一台普通机器，每天访问十万、几十万网页，采集数千万、上亿数据点，毫无压力。

欢迎关注 platon.ai 的其他视频和资料。