ETL(Etl)

更新时间:2024年5月24日 03:00 浏览:7916
ChatGPT 自动化批量流程处理工具,轻量级 ETL 数据抽取,加工(支持ChatGPT),清洗,迁移、输出工具,
Composer 包信息 (每天凌晨更新)
最新版本: v2.1.11
发布于: 2024年4月21日 18:58
安装命令: 需商业授权
安装量: 4839

数据源

更新时间:2024年4月7日 09:51 浏览:351

输出为数据源用于将昆终的处理结果写入到数据库中。

output-ds.png

 

数据源:

指定要输出的数据库连接

数据表:

要输出的表名

 

字段处理方式:

  • 字段映射 - 映射数据表的各个字段的取值逻辑
  • 代码处理 - 用代码映身数据表的各个字段的取值逻辑

字段映射:

  • 数据表字段名 - 即国输出的数据表里的字段名
  • 取值类型:可以取用上一节点的输出值,或者自定义值

 

数据操作类型:

  • 插入,重复数据更新   -  对数据优先插入,有重复时更新
  • 插入 - 插入数据
  • 更新 - 更新数据
  • 删除 - 删除数据

 

 更新/删除操作的唯一键字段:

更新/删除操作时,以该字段校验数据是否存在。
 
 

启用 MYSQL 数据库 Replace Into:

当输出数据库为 MySQL时,使用 replace into 语句 将大大改进同时有插入和更新数据的执行效率
 
 

运行前清空数据表:

启用后,每次执行任务前,将清空输出数据表里的内容

 

 
 
 
 
导航