观远 BI

ETL运行

创建于 2022-10-27 / 最近更新于 2022-10-31 / 1205
字体: [默认] [大] [更大]

问题场景1:单个ETL更新任务CPU占用时间长

问题原因

建议查看指标「最近30天CPU占用时长TOP20的ETL(CPU占用时长≥10s)」,若单个ETL的CPU占用时长时间超过60分钟,说明ETL运行占用CPU的时间过长。可能造成该现象的原因如下:

(1)ETL更新任务发生阻塞,无法正常运行。

(2)ETL更新任务运行逻辑复杂(输出数据集多等情况),导致更新时间长(>60min)。

(3)ETL更新任务运行同时,有较多其他任务并行占用资源,导致ETL更新任务排队时间长或运行任务受影响。

排查思路

我们建议您按照如下思路逐步排查:

1)检查此类ETL更新任务的运行时长是否异常。

您可点击ETL名称跳转,查看ETL运行记录,观察历史时长是否都需要类似时间。

?优化措施

若属于非预期作业时长,建议通过日志查询,具体排查占用时间长的原因。可在“管理员设置-运维管理-参数配置”中配置任务最大运行时长,限制异常任务占用资源。

2)检查此类ETL更新时间是否有优化空间。

?优化措施

建议多个输出数据集节点的情况下:

a. 若在ETL中共用的节点较多,则将共用部分单独做ETL处理,并把该ETL的输出数据集作为原ETL的输入数据集,避免相同数据的重复计算;

b. 若ETL中共用的节点较少,则将不同处理过程分拆成独立的ETL,使多个ETL并行更新,提升运算效率。

3)检查此类ETL更新任务运行时间是否有优化空间。

?优化措施

a. 在不影响业务的前提下,了解此类任务是否有上游依赖,无上游依赖的任务建议调整至低峰时段运行;

b. 参考指标「节点CPU使用率各时间段趋势图」和「服务器CPU负载(System Load)趋势图」,了解CPU使用率高峰、CPU负载高峰,建议此类任务运行避开以上时段。

问题场景2:ETL非预期作业较多

问题原因

建议查看指标「昨日ETL运行时间分布」,若实际ETL运行数量超过计划数量2倍以上,说明昨日ETL非预期作业较多。可能造成该现象的原因如下:

(1)问题时段有大量手动触发的ETL运行任务。

(2)由于前面时间段任务堆积导致前时段的定时任务延期至本时段运行。

(3)ETL设置了级联更新,一个ETL/数据集的更新完成会触发多个ETL的更新,加剧了级联更新后ETL更新任务堆积的情况。

排查思路

我们建议您按照如下思路逐步排查:

(1)排查问题时段内是否有大量手动触发的ETL运行任务。

观察「昨日ETL运行时间分布图」中,有警告标志的柱子,点击下钻后,查看「用户」列是否为自动更新。

(2)排查问题时段内是否有大量级联更新ETL运行任务。

观察「昨日ETL运行时间分布图」中,有警告标志的柱子,点击下钻后,选择操作对象跳转,查看资源血缘。在资源血缘中,可追溯该ETL运行是否是由上游任务触发。

(3)排查问题时段内是否有大任务阻塞,导致定时任务延期进行。

观察「昨日ETL运行时间分布图」中,有警告标志前的柱子,点击下钻后,对运行时长进行排序。

?优化措施

若有运行时长超过60min的任务,建议按照「单个ETL更新任务CPU占用时间长」场景提供的处理方式进行调整。

(4)排查问题时段ETL任务排队时间是否较长(排队时间>30min)。

观察「昨日ETL运行时间分布图」中,有警告标志前的柱子,点击下钻后,观察任务排队时间。

?优化措施

若排队时间长(排队时间>30min),可观察该时段内存使用率情况,如未触达95%警戒线,建议咨询观远数据,确认是否可前往“管理员设置-运维管理-参数配置”中将ETL调度任务并行数调大。若调大后仍无法解决,建议考虑扩容,具体扩容方案请联系观远数据进行评估。

其他建议

参考指标「节点CPU使用率各时间段趋势图」和「服务器CPU负载(System Load)趋势图」,了解CPU使用率高峰、CPU负载高峰,建议手动触发的ETL、复杂ETL或下游级联较多的任务运行避开以上时段。


0 人点赞过