数据抽取,加工过程会因为各种问题中断,系统需要记录断点,并可在问题修复后可继续断点执行,不丢失数据
正常数据操作,异常中断时,都需要相关日志,方便了解系统状态,问题跟踪
系统因为各种问题中断时,需要及时通知相关人员处理,常见通知类型:钉钉,手机短信,邮件
处理海量数据时,为减少对数据源的影响,需要尽快完成作业。