猴子采集器（Monkey）

更新时间：2025年5月6日 03:00 浏览：32700

借助浏览器油猴插件，在目标页面加载完成后，向页面注入jQuery和JS脚本，通过jQuery + JS脚本采集所需内容。并跨域远程提交到采集系统。只要能通过浏览器访问，就100%能采集，特别擅长采集特殊页面的动态内容，如需要登录后才能看到的内容，滚动页面加载的内容，鼠标点击触发的内容等等等等

Composer 包信息（每天凌晨更新）

包名：be/app-monkey

地址： https://packagist.org/packages/be/app-monkey

最新版本： v1.1.0

发布于： 2023年5月26日 08:58

安装命令： composer require be/app-monkey

安装量： 8241

1.1.0

更新时间：2025年2月18日 22:53 浏览：675

简化发布器 & 发布任务，合并为新版本的发布器

 DROP TABLE IF EXISTS `monkey_push_driver`;
DROP TABLE IF EXISTS `monkey_push_task`;
DROP TABLE IF EXISTS `monkey_push_task_log`;
 
CREATE TABLE `monkey_push_driver` (
`id` varchar(36) NOT NULL DEFAULT 'uuid()' COMMENT 'UUID',
`pull_driver_id` varchar(36) NOT NULL DEFAULT '' COMMENT '采集器ID',
`name` varchar(60) NOT NULL DEFAULT '' COMMENT '名称',
`url` varchar(300) NOT NULL DEFAULT '' COMMENT '发布网址',
`headers` text NOT NULL COMMENT '头数据',
`format` varchar(30) NOT NULL DEFAULT 'form' COMMENT  '请求格式（form/json）',
`fields` text NOT NULL COMMENT '字段',
`interval` int(11) NOT NULL DEFAULT '1000' COMMENT '间隔时间（毫秒）',
`ordering` int(11) NOT NULL DEFAULT '0' COMMENT '排序',
`status` varchar(30) NOT NULL DEFAULT 'create' COMMENT '状态（create - 新建 / pending - 即将运行 / running - 动行中 / finish - 完成 / error - 执行出错）',
`message` varchar(500) NOT NULL DEFAULT '' COMMENT '信息',
`is_enable` tinyint(4) NOT NULL DEFAULT '1' COMMENT '是否启用',
`is_delete` tinyint(4) NOT NULL DEFAULT '0' COMMENT '是否已删除',
`create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE utf8mb4_general_ci COMMENT='发布任务';
 
ALTER TABLE `monkey_push_driver`
ADD PRIMARY KEY (`id`),
ADD KEY `pull_driver_id` (`pull_driver_id`);
 
 
CREATE TABLE `monkey_push_driver_log` (
`id` varchar(36) NOT NULL DEFAULT 'uuid()' COMMENT 'UUID',
`push_driver_id` varchar(36) NOT NULL DEFAULT '' COMMENT '发布任务ID',
`content_id` varchar(36) NOT NULL DEFAULT '' COMMENT '内容ID',
`request` mediumtext NOT NULL COMMENT '请求数据',
`response` mediumtext NOT NULL COMMENT '响应数据',
`success` tinyint(4) NOT NULL DEFAULT '0' COMMENT '是否成功',
`message` varchar(500) NOT NULL COMMENT '信息',
`create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE utf8mb4_general_ci COMMENT='发布任务日志';
 
ALTER TABLE `monkey_push_driver_log`
ADD PRIMARY KEY (`id`),
ADD KEY `push_driver_id` (`push_driver_id`,`content_id`);

	DROP TABLE IF EXISTS `monkey_push_driver`;
	DROP TABLE IF EXISTS `monkey_push_task`;
	DROP TABLE IF EXISTS `monkey_push_task_log`;

	CREATE TABLE `monkey_push_driver` (
	`id` varchar(36) NOT NULL DEFAULT 'uuid()' COMMENT 'UUID',
	`pull_driver_id` varchar(36) NOT NULL DEFAULT '' COMMENT '采集器ID',
	`name` varchar(60) NOT NULL DEFAULT '' COMMENT '名称',
	`url` varchar(300) NOT NULL DEFAULT '' COMMENT '发布网址',
	`headers` text NOT NULL COMMENT '头数据',
	`format` varchar(30) NOT NULL DEFAULT 'form' COMMENT '请求格式（form/json）',
	`fields` text NOT NULL COMMENT '字段',
	`interval` int(11) NOT NULL DEFAULT '1000' COMMENT '间隔时间（毫秒）',
	`ordering` int(11) NOT NULL DEFAULT '0' COMMENT '排序',
	`status` varchar(30) NOT NULL DEFAULT 'create' COMMENT '状态（create - 新建 / pending - 即将运行 / running - 动行中 / finish - 完成 / error - 执行出错）',
	`message` varchar(500) NOT NULL DEFAULT '' COMMENT '信息',
	`is_enable` tinyint(4) NOT NULL DEFAULT '1' COMMENT '是否启用',
	`is_delete` tinyint(4) NOT NULL DEFAULT '0' COMMENT '是否已删除',
	`create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
	`update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间'
	) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE utf8mb4_general_ci COMMENT='发布任务';

	ALTER TABLE `monkey_push_driver`
	ADD PRIMARY KEY (`id`),
	ADD KEY `pull_driver_id` (`pull_driver_id`);


	CREATE TABLE `monkey_push_driver_log` (
	`id` varchar(36) NOT NULL DEFAULT 'uuid()' COMMENT 'UUID',
	`push_driver_id` varchar(36) NOT NULL DEFAULT '' COMMENT '发布任务ID',
	`content_id` varchar(36) NOT NULL DEFAULT '' COMMENT '内容ID',
	`request` mediumtext NOT NULL COMMENT '请求数据',
	`response` mediumtext NOT NULL COMMENT '响应数据',
	`success` tinyint(4) NOT NULL DEFAULT '0' COMMENT '是否成功',
	`message` varchar(500) NOT NULL COMMENT '信息',
	`create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间'
	) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE utf8mb4_general_ci COMMENT='发布任务日志';

	ALTER TABLE `monkey_push_driver_log`
	ADD PRIMARY KEY (`id`),
	ADD KEY `push_driver_id` (`push_driver_id`,`content_id`);