观远 BI

同环比月末对比问题

创建于 2022-11-01 / 最近更新于 2024-09-02 / 3469
字体: [默认] [大] [更大]

【优化前】

月同比表现会出现1对多的情况 ,比如 3月30日和3月31日,都对应4月30日,结果4月30日出现了两条数据

image.png

【优化后】

按照“当前日期 -1 months”的规则去找对比日期。

注意:按照上面这个规则,spark 默认是月末对齐,mysql ,PG等是日期对齐,其他数据库也各有规则。

guanindex数据集、文件数据集等按照spark规则处理,直连数据集按照各自数据库的规则处理。

image.png

小结

优化的逻辑是:

spark 默认是月末对齐(5月31号和5月30号都对比4月30号数据,4月30号对比3月30号数据),guanindex数据集、文件数据集、ETL输出数据集等按照spark规则处理;

直连数据集按照各自数据库的规则处理,比如mysql和clickhouse是日期对齐(5月31号和5月30号都对比4月30号数据,4月30号对比3月30号数据)


10 人点赞过