创建数据模型

概述

本功能旨在优化用户在配置数据回写到数据库的建表流程。当目标数据库中尚不存在对应的表时，系统可根据前置节点的表结构自动生成建表语句，并允许用户自定义修改字段长度、主键及建表参数。

操作步骤

1. 在离线开发数据流中，拖拽「数据库输出」节点，点击该节点弹出节点配置页面，点击页面中的「新建表」。

   

2. 设置建表参数，在弹出的「执行建表」窗口中，根据数据库类型填写相关参数。

   • 当「数据连接」选择为 StarRocks (SR) 时，需要配置：
     
     
     • 表名：必填项，输入数据库表名，对于一些常见数仓，通过配置专属参数，生成更科学的建表语句。
     • BE 节点数：默认值为 3。
     • 表生命周期内总行数：系统将根据此参数与节点数自动计算合理的副本数和分桶数。
     • 表类型：主键表：适用于数据需频繁更新或删除的场景（如实时同步 ODS 层），请指定主键字段。明细表：适用于只追加不修改的流水数据或高吞吐场景。
   • 当「数据连接」选择为 Doris、SelectDB、GaussDB 时，需要配置：
     
     
     • 表名：必填项，输入数据库表名，对于一些常见数仓，通过配置专属参数，生成更科学的建表语句。
     • 表类型：主键表：适用于数据需频繁更新或删除的场景（如实时同步 ODS 层），请指定主键字段。明细表：适用于只追加不修改的流水数据或高吞吐场景。

3. 点击「生成 SQL」，系统将结合表名、建表参数和前置 Schema 自动生成建表语句。

   
   • 对于 StarRocks 数据库，默认表的存储介质类型为 HDD，可根据实际情况进行修改。
   • 对于 GaussDB 数据库，默认创建列式存储的表、压缩级别默认是 low，压缩等级默认为 0，数字越高压缩的空间越大但是查询效率相对较低。

4. 修改自定义 SQL，修改过程中可以进行格式化、复制、重置（恢复自动生成的原始语句）以及放大操作

5. 核对无误后，点击「执行建表」，系统会将 SQL 推送至目标数据库执行。

6. 查看执行结果。

   • 成功：弹窗自动收回，右上角显示成功提示。目标表中可以使用新建的数据表；
   • 失败：页面将保留并返回失败原因描述，您可根据提示修正后重新执行。