跳到主要内容
版本:7.4.0

添加计算列

概述

功能说明

添加计算列是指向原始数据中引入新的列,并通过特定的计算或转换规则生成列的值。涵盖基于现有列的数学运算、条件判断、字符串拼接等多种操作。

通过对现有数据集中存在的列进行扩展或合并计算,可以基于已有的数据创建新的分析指标,从而提供更全面的数据视图。

例如,在商品销售表中新增销售总额,可以创建一个新的销售总额字段,其值等于销售额乘以销售数量。或利用时间函数截取下单时间,如DATE_TRUNC(week, [下单时间]) ,返回该行"下单时间"字段对应的当周第一天。

image.png

使用指导

操作步骤

1. 将ETL算子区的「添加计算列」算子拖入右侧画布编辑区;
  1. 点击 「添加计算列」 算子,「添加计算字段」(支持添加多个字段);

  2. 输入字段名称,选择字段类型后,编写计算公式;

    • 字段类型支持数值、文本、日期、日期和时间、布尔型。

    • 计算公式支持四则运算,按需结合函数使用。

    说明

    观远目前支持智能编码,可点击右侧「智能编码」 AI 小图标,通过 AI 自动生成符合内容的SQL,如何使用详见AI 助手

    ![[557e4680352468406b279b60feeb34bf.png]]

  3. 点击「确认」,在当前节点处,点击预览确认数据结果。

    image.png

详细说明

下文以配置一个 「年」 为例进行介绍(函数用法)。

  1. 将ETL算子区的「添加计算列」算子拖入右侧画布编辑区,连接上游节点;

  2. 点击 「添加计算列」 算子,左侧区域变为当前算子配置区,根据业务需要重新命名,例如「年月」;

    image.png

  3. 点击「添加计算字段」进行计算字段编辑:

    • 函数:COUNYT()、YEAR()

    • 字段:日期

    • 字段名称:年

    • 选择字段类型:文本

    image.png

    说明

    我们支持8种函数类型,包括但不限于聚合统计、非聚合统计、日期和时间等。

ETL中,新建字段用sum来求和会报错,为什么?

  1. 点击 「确认」,并预览数据结果,以确保计算列的值符合预期,不包含错误或异常值。

    image.png

报错详见Parquet data source does not support void data type

报错详见Illegal sequence boundaries

如后续使用其他数据处理算子,详情参考 新手入门