ETL(Etl)

更新时间:2024年6月21日 13:31 浏览:8408
ChatGPT 自动化批量流程处理工具,轻量级 ETL 数据抽取,加工(支持ChatGPT),清洗,迁移、输出工具,
Composer 包信息 (每天凌晨更新)
最新版本: v2.1.11
发布于: 2024年4月21日 18:58
安装命令: 需商业授权
安装量: 5141

数据源

更新时间:2024年4月11日 02:28 浏览:379

输入节点选择数据源时,可以选择一个已经配置好的数据库连接,系统将自动读取取该数据库下的表结构,

input-ds.png

您也可以编写一个复杂一点的 SQL 语句从该数据源读取数据

input-ds-sql.png

 

断点类型:

  • 全量 - 将读取全部数据
  • 增量 - 按断点字段(时间类型)和断点时间增量读取一部分数据

 

断点字段 & 断点时间 & 断点增量 & 断点向前偏移量

断点相关参数  用于生成查询数据的时间范围条件,仅读取出符合条件的娄据。

如:断点字段:create_time 断点时间:2023-03-01 00:00:00,断点增量:1天,断点偏移量:0

将按照 create_time  过滤  2023-03-01 00:00:00  至 2023-03-02 00:00:00(增加了一天)

生成类似的查询SQL示例:
WHERE create_time > 2023-03-01 00:00:00 AND create_time < 2023-03-02 00:00:00

 

 

 

 

导航