典型问题

内存问题

处理大量数据时消耗大量内存，造成内存溢出
程序设计需要控制算法的内存占用，及时释放内存。

效率问题

数据加工时，因为需要调用相关接口，服务，或逻辑较多。
主要优化手段：多进程；批量处理；缓存等。

上游系统原始数据调整

因人为手工修改数据（手工更新了数据和update_time）。主从中断，主从数据冲突，数据库损坏，丢失等故障, 造成数据中心和原始系统数据不一致。
系统的断点需要回溯到某个历史节点，重新抽取，加工数据。