京东零售基于ClickHouse的增量刷岗方法

• 全文链接
• 请求原文

作   者：

季健;  洪帅;  陈洪健;  钱叶;  刘传耀; 

作者机构：

北京沃东天骏信息技术有限公司京东零售; 

关键词：

版本化数据迁移;  ClickHouse;  岗位维表;  验数机制;  增量刷岗方法; 

期刊名称：

计算机应用

i s s n：

1001-9081

年卷期：

2024 年 44 卷 0S1 期

页   码：

199-203

摘   要：

刷岗是对某个最小存货单位（SKU）对应的岗位等维度字段发生变更，按照最新的SKU岗位等维度数据回溯、覆写的过程，刷岗这一行为在典型的电商企业（京东（JD）、淘宝）较为常见。针对京东零售业务场景下明细表和维表数据量庞大导致刷岗操作的运行时间过长的问题，提出一种基于ClickHouse的增量刷岗方法。首先，将维度表加载为ClickHouse字典表，采用明细表关联ClickHouse字典表的方法进行刷岗；其次，采用增量刷岗方法取代传统全量刷岗的形式，不仅提升刷岗效率，同时减少刷岗带来的集群资源消耗；最后，加入验数逻辑和并发控制机制保证数据准确性和集群的稳定。将该技术与传统的刷岗技术在实际业务生产场景中进行亿级数据的刷岗测试对比，实验结果表明，在硬件设备相同的情况下，提出的增量刷岗方法刷岗时间缩短80%，集群资源（CPU、内存）的使用减少50%，显著提高刷海量数据岗效率。