猴子采集器(Monkey)

更新时间:2024年3月3日 03:00 浏览:10569
借助浏览器油猴插件,在目标页面加载完成后,向页面注入jQuery和JS脚本,通过jQuery + JS脚本采集所需内容。并跨域远程提交到采集系统。只要能通过浏览器访问,就100%能采集,特别擅长采集特殊页面的动态内容,如需要登录后才能看到的内容,滚动页面加载的内容,鼠标点击触发的内容等等等等
Composer 包信息 (每天凌晨更新)
包名:be/app-monkey
最新版本: v1.1.0
发布于: 2023年5月26日 08:58
安装命令: composer require be/app-monkey
安装量: 5093

应用简介

  • 猴子采集器  是一款客户端采集器, 基于浏览器油猴插件运行,
  • 在目标页面加载完成后,向页面注入jQuery和JS脚本,通过jQuery + JS脚本采集所需内容。并跨域远程提交到采集系统。
  • 只要能通过浏览器访问,就100%能采集,特别擅长采集特殊页面的动态内容,如需要登录后才能看到的内容,滚动页面加载的内容,鼠标点击触发的内容等等等等。

 

实现原理

  1.     通过浏览器油猴插件,向被采集的页面中注入 JQuery 库和采集服本,在页面加载完后后,采集服本工作。
  2.     采集逻辑由开发人员编写的 Jquery + JS 代码实现,编排实现页面遍历,采集叶子页面内容
  3.     采集完成后,通过AJAX跨域远程提交到您的服务器中。

 

不同于传统采集软件,猴子采集器 为 客户端采集,即借助于客户端浏览器 + 插件,自动浏览相关页面,自动翻页,跳转。并将浏览到的内容通过AJAX提交给采集服务器。完全是标准的用户浏览行为。采集过程中用户可以辅助操作(如登录,注册,扫码,手机验证等)。

借助于向页面注入 jQuery + JS 脚本,可以直接模拟用户在浏览器中的点击,输入等操作,获取页面内容,

借助 jQuery 强大的选择器,采集逻辑也极易开发,只要会 jQuery 的开发人员。就可以开发采集规则。

 

 

导航