主要亮点

• - 综合性能非常高，综合成本非常低，同时不需要人工维护爬虫规则。
• - 基于RPA/AI/ML，实现网页数据自动采集，自动提取，自动聚类，自动标注，自动训练，自动预测。
• - 仅在训练阶段调用 LLM 做标注，推理阶段使用本地小模型，因此成本非常低。
• - 算法准确率，90% 以上的字段准确率超过99%，关键字段 99.99% 以上。远超手动规则。
• - 可扩展至互联网规模。

技术流程

1. - 采集，使用PulsarRPA采集网页
2. - 编码，将网页元素编码为向量
3. - 聚类，对网页元素数据集进行聚类
4. - 标注，调用大语言模型，对聚类结果的每一个族进行标注、注释和解释
5. - 人工修正，可选，人工矫正 LLM 对聚类结果的标注、注释和解释
6. - 训练，基于上述标注的数据集，训练监督学习模型
7. - 预测，使用监督学习模型提取网页数据