观远 BI

筛选数据行

创建于 2023-12-11 / 最近更新于 2024-01-25 / 432
字体: [默认] [大] [更大]

1. 概述

1.1. 功能说明

通过定义筛选条件,实现对数据集的精准过滤,以满足不同业务需求。支持添加多条过滤规则、筛除Null值,并可设置筛选的触发条件等。

1.2. 应用场景

在实际业务场景中,源数据存在大量的脏数据,或者分析数据只需要部分数据时,可以通过 筛选数据行 算子来实现。

使用场景业务举例

过滤无效数据

电商平台订单数据清洗: 在处理电商订单数据时,可能存在由于系统错误或恶意攻击导致的异常订单。通过筛选数据行,可以排除无效的订单记录,确保后续分析基于有效的订单数据


提取数据子集

区销售数据提取: 对于全国范围的销售数据,可能只关心某个特定地区的业绩。通过筛选数据行,可以提取该地区的销售数据,用于详细分析和报告

季度财务报告数据提取: 在财务数据处理中,提取特定季度的数据用于生成季度财务报告。通过筛选数据行,可以选择某季度的数据

2. 使用指导

2.1. 操作步骤

  1. 将ETL算子区的 筛选数据行 算子拖入右侧画布编辑区;

  2. 点击 筛选数据行 算子 ,添加 过滤规则(支持多条);

  3. 过滤规则配置时,选择字段、运算符、比较项及比较值、筛除Null值,并点击 确定 

  4. 配置 过滤条件的触发规则;

  5. 点击 确定 ,并预览数据结果。

image.png

2.2. 详细说明

下文以配置一个 华东区域销售分析 为例进行介绍。

前提条件:上游节点为全国范围的销售数据。

  1. 将ETL算子区的 筛选数据行 算子拖入右侧画布编辑区,在上游节点后连线;

  2. 点击 筛选数据行 算子,左侧区域变为当前算子配置区,根据业务需要重新命名,如“华东区销售分析”;

image.png

  1. 点击 添加 进行过滤规则设置:

  • 选择字段:区域

  • 运算符:包含

  • 比较项:固定值

  • 输入比较值:华东

  • 筛除Null值:勾选

image.png

筛选类别说明

文本筛选

筛选条件如“包含”、“等于”、“不等于”对文本数据进行筛选。输入比较值(关键文本),找到符合条件的数据行

数值筛选

使用条件如“大于”、“小于”、“等于”对数值数据进行筛选。输入比较值(某数值),找到符合条件的数据行   

日期筛选

使用条件如“大于”、“小于”、“等于”对日期数据进行筛选。输入比较值(特定日期),找到符合条件的数据行

其外,过滤规则不仅可以设定为针对固定值的逻辑条件筛选,还可以在列和列之间设置逻辑条件筛选。

如要过滤出 用户下单当天就成功发货的订单数据,可选择 订单日期 等于 发货日期(比较列)。

image.png

注意:当添加多个筛选条件时,支持设置触发条件为 满足所有规则 或 满足任意规则 

关于ETL筛选数据行触发条件的解释

  1. 点击 确定 ,并预览数据结果。

image.png

如后续使用其他数据处理算子,详情参考 新手入门 。

 


0 人点赞过