设计要求

断点

数据抽取，加工过程会因为各种问题中断，系统需要记录断点，并可在问题修复后可继续断点执行，不丢失数据

日志

正常数据操作，异常中断时，都需要相关日志，方便了解系统状态，问题跟踪

通知

系统因为各种问题中断时，需要及时通知相关人员处理，常见通知类型：钉钉，手机短信，邮件

效率

处理海量数据时，为减少对数据源的影响，需要尽快完成作业。