1. 概述

1.1. 导读介绍

本章节将为您介绍观远Smart ETL是什么，讲解应用场景及功能模块，并提供新手友好的快速入门教程。

1.2. Smart ETL概述

智能ETL（Smart ETL）是观远数据面向业务可用提供的一款零代码·全拖拽式的自助式数据准备和数仓构建工具。智能ETL让用户在数据分析、数据可视化制作前，能够自助式对数据集进行易操作、低门槛、智能化的高效数据处理。基于强大的数据处理算子和节点，通过全拖拉拽式、配置化的方式对数据进行清洗、转换、加载等操作，对任意节点的实时预览纠错与输出等完成数据处理工作流的构建，帮助企业/部门完成轻型数仓的建设，不懂SQL的业务人员也可达到专业级的数据处理效果。

相较于传统的ETL工具，观远数据智能 ETL 在处理复杂数据、提升数据处理效率、数据质量、数据一致性等方面，具有更高的自动化、智能化、可视化和安全性等功能优势，有效满足企业数据处理需求。

  · 零代码式的可视化配置操作，将业务逻辑过程中的每一步细化呈现，所见即所得。

  · 智能ETL包含输入输出、列编辑、数据编辑、数据组合、高级计算等5大类，15+个常用算子。

  · 数据处理过程中可实时预览与保存，用户可随时确认处理结果，在线纠错，避免返工。

  · 针对复杂数据来源，提供35+ 数据接入类型，数据流任意节点也支持随时输出，充分发挥数据价值。

  · 基于Spark的大数据架构，智能ETL轻松应对海量数据分析场景，提供企业亿级数据处理场景的速度能力。

1.3. 应用场景

  · 数仓构建：

对于信息系统庞杂，并且暂时不具备统一集团信息化系统条件的中大型集团，将多源异构数据存储至同一个平台上，实现集团层面的数据“大一统”便于企业中心化高效管理和决策支持。如可从总账、报表、甚至凭证层级抽取财务数据、建立数据仓库。通过数据处理先将数据预处理至数仓，后续再对数仓数据进行深度挖掘。既不影响业务库运行，也能满足离线数仓对外服务。

  · 挖掘数据价值：

面对动辄几十亿行的库存数据，很多企业都会面对“留之累赘，弃之担忧”的尴尬。最常见的解决办法就是把每一天的全量快照数据都存下来，提供日期主键，然后开放给用户去查询。但这样实际上会保存很多不变的信息，对存储是极大的浪费；再者，设计不当还非常影响查询效率，拖垮数据库。

举个例子，一家连锁药店企业，门店数3000，SKU数1000，如果存库存快照数据，每天就是300万，一年就是10个亿。如果要求能够查询5年的历史数据，那么就需要保存近50亿的历史快照数据。面对这类问题，观远数据的Smart ETL可以处理海量历史数据压缩存储与查询。既能满足反应数据的历史状态，又可以最大程度的节省存储空间，提高查询效率。

  · 数据清洗和转换：

在实际的数据分析和决策过程中，数据往往存在不一致、重复、缺失等问题，需要利用ETL进行数据清洗和转换。通过 ETL的处理，可以得到高质量、一致性的数据，为后续的数据分析和决策提供可靠的基础。

1.4. 功能介绍

Smart ETL编辑界面分为5个主要区域，分别为：ETL算子区、画布编辑区、数据预览区等。

不同操作区域的描述说明如下：

2. 新手入门

为方便您系统性的掌握数据处理技能，我们为您梳理了以下的学习路径，您可以参考下方的入门实操案例，完成您的第一个ETL任务。具体学习路径如下：

3. 常见问题

若您在使用Smart ETL功能时遇到问题，建议前往 《ETL常见问题》 和 《ETL常见报错》 了解。

更多关于Smart ETL的使用帮助可前往 观远数据视频教程网站 查看。