-- 自动、完整、精确提取详情页的所有字段
select * from harvest('https://www.amazon.com/b?node=3117954011');
         
      -- 手动处理网页，提供 SQL 级别灵活性
select
    dom_base_uri(dom) as `url`,
    dom_first_text(dom, '#productTitle') as `title`,
    str_substring_after(dom_first_href(dom, '#wayfinding-breadcrumbs_container ul li:last-child a'), '&node=') as `category`,
    dom_first_slim_html(dom, '#bylineInfo') as `brand`,
    cast(dom_all_slim_htmls(dom, '#imageBlock img') as varchar) as `gallery`,
    dom_first_slim_html(dom, '#landingImage, #imgTagWrapperId img, #imageBlock img:expr(width > 400)') as `img`,
    dom_first_text(dom, '#price tr td:contains(List Price) ~ td') as `listprice`,
    dom_first_text(dom, '#price tr td:matches(^Price) ~ td') as `price`,
    str_first_float(dom_first_text(dom, '#reviewsMedley .AverageCustomerReviews span:contains(out of)'), 0.0) as `score`
from load_out_pages('https://www.amazon.com/b?node=3117954011', 'a[href~=/dp/]', 1, 10);
              
     

行为良好的企业级网络数据处理系统需要解决以下工程问题

• 增强分析 - 提供机器学习、知识图谱等AI技术来增强数据分析
• 机器学习 - 支持机器学习算法来降低数据处理门槛并提高效率
• 云化服务 - 支持云化服务以降低使用门槛并提高交付效率
• 操作语言 - 支持数据操作语言以简化远程数据操作
• 质量保证 - 系统质量保证，大规模采集下的数据质量和调度质量保证
• 性能优化 - 采集单元并行化以最大化利用硬件资源，修改浏览器内核以提升性能
• 弹性计算 - 支持弹性计算以实现无缝扩展，从而获得处理互联网规模数据的能力
• 健壮性 - 应对复杂的网络环境，完整严格的异常处理和重试机制。
• 存储处理 - 完整的工具链处理网络大数据的存储问题
• 运维工具 - 提供完整的指标和日志，运维工具以实时获取系统运行状态并对对系统进行诊断和维护
• 全流程 - 从采集网页等原始数据到结论形成、报表生成整个流程
• 其它问题 - 获取成本、技能要求、数据规模、数据融合、时效价值、可维护性等

      curl -X POST --location "http://platonic.fun:8182/api/x/e" -H "Content-Type: text/plain" -d "
  select
      dom_base_uri(dom) as url,
      dom_first_text(dom, '#productTitle') as title,
      str_substring_after(dom_first_href(dom, '#wayfinding-breadcrumbs_container ul li:last-child a'), '&node=') as category,
      dom_first_slim_html(dom, '#bylineInfo') as brand,
      cast(dom_all_slim_htmls(dom, '#imageBlock img') as varchar) as gallery,
      dom_first_slim_html(dom, '#landingImage, #imgTagWrapperId img, #imageBlock img:expr(width > 400)') as img,
      dom_first_text(dom, '#price tr td:contains(List Price) ~ td') as listprice,
      dom_first_text(dom, '#price tr td:matches(^Price) ~ td') as price,
      str_first_float(dom_first_text(dom, '#reviewsMedley .AverageCustomerReviews span:contains(out of)'), 0.0) as score
  from load_and_select('https://www.amazon.com/dp/B07XJ8C8F7 -i 20s', 'body');"