数据开发工程师入门指南
概述
本学习路径面向数据开发工程师或数据工程岗位，构建从数据底层加工到高阶数据建模的完整技能栈。您将深入掌握智能 ETL 进行数据清洗与整合，学习数据建模方法，掌握数据治理实践，并最终通过复杂 ETL 案例和性能优化解决实际数据工程难题。
学习路径
| 学习阶段 |
关卡介绍 | 具体关卡 | 学习目标 | 帮助文档 | 观远学堂 |
|---|---|---|---|---|---|
| 入门阶段 | 基础导读 |
观远BI核心概念 | 理解观远BI的基本概念 | 观远BI概念表 | / |
| 观远BI核心功能速览 | 熟悉观远BI主要功能模块及其适用场景 | 产品介绍 | 产品概览 | ||
| 数据接入 | 接入本地文件 | 掌握上传Excel/CSV等文件并创建数据集 | 本地文件 | / | |
| 接入在线文档 | 学习连接飞书表格、钉钉表格等在线数据源 | 在线文档 | 在线文档 | ||
| 接入标准数据库 | 学会连接MySQL、SQL Server等数据库并抽取数据 | 标准数据库连接指南 | 数据库 | ||
| 数据集管理与维护 | 对数据集进行更新、调整数据结构、查看血缘关系等操作 | 数据集管理 | 数据集管理 | ||
| 数据准备 | 学习什么是智能ETL | 了解智能ETL的应用场景及功能模块 | 智能ETL | Smart ETL的定义及特点 | |
| 数据的输入和输出 | 理解ETL任务的数据流，掌握配置输入源与输出目标 | 输入数据集、输出数据集 | 输入数据集和输出数据集 | ||
| 字段管理 | 掌握使用组件进行字段的筛选、衍生与重构 | 添加计算列、选择列、合并列 | 加计算列、选择列、合并列组件 | ||
| 数据行处理 | 掌握使用组件对数据行进行清洗与规整 | 筛选数据行、数据去重、值替换、null值替换 | 筛选数据行、去重、值替换与null值替换 | ||
| 数据整合 | 掌握使用组件整合多表数据 | 行拼接、关联数据 | 行拼接、关联数据 | ||
| 数据聚合与形变 | 掌握使用组件进行数据汇总与结构转换 | 分组聚合、行转列、列转行 | 分组聚合、行转列&列转行 | ||
| SQL输入 | 在ETL流程中嵌入自定义SQL，实现更灵活的数据加工 | SQL输入 | SQL组件 | ||
| ETL运维与管理 | 理解ETL更新策略、任务治理思路，并能为任务配置访问权限 | ETL更新策略、ETL治理的实践思路、ETL权限管理 | Smart ETL的保存和更新机制、Smart ETL的运维注意事项 | ||
| 数据可视化基础 | 制作仪表板 | 学会创建仪表板并添加组件 | 新建仪表板 | / | |
| 制作可视化图表 | 掌握柱图、折线图、饼图等常见图表的制作 | 可视化图表 | 图表、表格 | ||
| 添加筛选器 | 能够添加并配置文本、日期、数值等筛选器 | 筛选器 | 筛选器类型 | ||
| 函数计算基础 | 函数速览 | 了解观远BI支持的函数类别及其典型应用场景 | 函数清单 | 函数的使用场景和类别作用 | |
| ETL常用函数 | 掌握聚合、日期、字符串、逻辑等函数在ETL中的应用 | 观远函数宝典.xlsx | 聚合函数、日期函数 | ||
| 数据分享与协作 | 订阅与推送 | 能够设置页面、卡片或数据集订阅，并推送到邮箱、钉钉或飞书等 | 卡片订阅、页面订阅、合并订阅、数据集订阅 | 订阅 | |
| 掌握为关键指标设置阈值预警规则，并自动通知相关责任人 | 卡片预警、数据集预警 | 预警 | |||
| 数据应用管理 | 制作数据大屏 | 掌握数据大屏的页面布局、动效与主题配置，用于展会、监控等大屏场景 | 数据大屏 | 数据大屏 | |
| 创建移动轻应用 | 学会零代码将仪表板发布为移动应用，实现随时随地查看数据 | 创建移动应用 | 移动轻应用 | ||
| 案例实操 | 制作初级数据分析报告 | 制作一份初级的数据分析报告 | 第一个分析案例 | 如何快速制作一份数据分析报告 | |
| 进阶阶段 | 高级可视化 | 杜邦分析图 | 掌握使用杜邦分析图构建与分解复杂指标体系 | 杜邦分析图 | 杜邦分析 |
| 全局参数 | 学会创建全局参数，实现一次控制多个组件的动态交互，提升分析灵活性 | 全局参数 | 视图数据集 | ||
| 中国式报表 | 中国式报表Pro入门 | 理解中国式报表Pro的核心概念、使用场景与核心功能 | 中国式报表Pro功能介绍 |
中国式报表Pro简介 | |
| 掌握中国式报表Pro的入门操作流程 | 中国式报表Pro使用流程 |
中国式报表Pro入门 | |||
| 模板单元格与动态属性 | 掌握模板单元格的设置 | 中国式报表Pro模版说明 | 模版单元格 | ||
| 配置单元格的动态属性 | 扩展、排序、分组、布局、过滤、父格、范围 | 扩展、排序、分组、布局、父格、范围 | |||
| 设计中国式报表 | 掌握中国式报表的设计全流程 | 尝试做一份简单的地区销售表 | 基础案例演示 | ||
| 数仓开发 | 对接外部数据库 | 对接云厂商、国产化等外部数据库 | 自助式对接外部数据库 | / | |
| 数据回写至数据库 | 将BI分析资产回流至企业的业务系统和数据仓库 | 数据回写至数据库 | / | ||
| ETL复杂案例 | 复杂ETL开发实战 | 需求分析、设计开发、数据核对、性能优化 | / | ETL复杂案例 |