跳到主要内容
版本：6.0.0

筛选数据行

1. 概述​

1.1. 功能说明​

通过定义筛选条件，实现对数据集的精准过滤，以满足不同业务需求。支持添加多条过滤规则、筛除Null值，并可设置筛选的触发条件等。

1.2. 应用场景​

在实际业务场景中，源数据存在大量的脏数据，或者分析数据只需要部分数据时，可以通过 筛选数据行 算子来实现。

使用场景
业务举例
过滤无效数据电商平台订单数据清洗： 在处理电商订单数据时，可能存在由于系统错误或恶意攻击导致的异常订单。通过筛选数据行，可以排除无效的订单记录，确保后续分析基于有效的订单数据。
提取数据子集区销售数据提取： 对于全国范围的销售数据，可能只关心某个特定地区的业绩。通过筛选数据行，可以提取该地区的销售数据，用于详细分析和报告。季度财务报告数据提取： 在财务数据处理中，提取特定季度的数据用于生成季度财务报告。通过筛选数据行，可以选择某季度的数据。

2. 使用指导​

2.1. 操作步骤​

  1. 将ETL算子区的 筛选数据行 算子拖入右侧画布编辑区；

  2. 点击 筛选数据行 算子 ，添加 过滤规则（支持多条）；

  3. 过滤规则配置时，选择字段、运算符、比较项及比较值、筛除Null值，并点击 确定 ；

  4. 配置 过滤条件的触发规则；

  5. 点击 确定 ，并预览数据结果。

image.png

2.2. 详细说明​

下文以配置一个 华东区域销售分析 为例进行介绍。

前提条件：上游节点为全国范围的销售数据。

  1. 将ETL算子区的 筛选数据行 算子拖入右侧画布编辑区，在上游节点后连线。

  2. 点击 筛选数据行 算子，左侧区域变为当前算子配置区，根据业务需要重新命名，如“华东区销售分析”。

image.png

  1. 点击 添加 进行过滤规则设置：

  • 选择字段：区域

  • 运算符：包含

  • 比较项：固定值

  • 输入比较值：华东

  • 筛除Null值：勾选

image.png

筛选类别
说明
文本筛选筛选条件如“包含”、“等于”、“不等于”对文本数据进行筛选。输入比较值（关键文本），找到符合条件的数据行。
数值筛选使用条件如“大于”、“小于”、“等于”对数值数据进行筛选。输入比较值（某数值），找到符合条件的数据行。    
日期筛选使用条件如“大于”、“小于”、“等于”对日期数据进行筛选。输入比较值（特定日期），找到符合条件的数据行。

其外，过滤规则不仅可以设定为针对固定值的逻辑条件筛选，还可以在列和列之间设置逻辑条件筛选。

如要过滤出 用户下单当天就成功发货的订单数据，可选择 订单日期 等于 发货日期（比较列）。

image.png|450

注意：当添加多个筛选条件时，支持设置触发条件为 满足所有规则 或 满足任意规则 。

关于ETL筛选数据行触发条件的解释

  1. 点击 确定 ，并预览数据结果。

image.png

如后续使用其他数据处理算子，详情参考 ETL-新手入门。