同环比月末对比问题
创建于 2022-11-01 / 最近更新于 2024-09-02 / 3469
字体:
[默认]
[大]
[更大]
【优化前】
月同比表现会出现1对多的情况 ,比如 3月30日和3月31日,都对应4月30日,结果4月30日出现了两条数据
【优化后】
按照“当前日期 -1 months”的规则去找对比日期。
注意:按照上面这个规则,spark 默认是月末对齐,mysql ,PG等是日期对齐,其他数据库也各有规则。
guanindex数据集、文件数据集等按照spark规则处理,直连数据集按照各自数据库的规则处理。
小结
优化的逻辑是:
spark 默认是月末对齐(5月31号和5月30号都对比4月30号数据,4月30号对比3月30号数据),guanindex数据集、文件数据集、ETL输出数据集等按照spark规则处理;
直连数据集按照各自数据库的规则处理,比如mysql和clickhouse是日期对齐(5月31号和5月30号都对比4月30号数据,4月30号对比3月30号数据)
10 人点赞过