核心系统、零售、批售、征信、反欺诈等系统较多,数据来源繁多,数据孤岛较为严重。
业务端需要实时取用用户行为数据以便业务运营,然而实时采集用户行为数据技术能力不足,无法及时供数给业务端。
目前使用开源 sqoop 及 kettle,不具备实时采集能力,无法满足业务端实时取数需求。
DataPipeline 的流式处理框架能够满足高效低延迟,秒级准实时的要求。
DataPipeline 不仅支持 MySQL、Oracle、SQLServer 等多源数据,还支持各种大数据平台、文件系统同步等功能。
DataPipeline 产品能够自适应表结构变化,可自动同步;数据部门可根据业务的实际需要,选择相应的同步策略等灵活多样的自适应功能。
配置方便,能快速高效的搭建实时数据管道,提高研发工作效率。
能够解析主流数据库的日志,提供实时数据采集能力。
自适应表结构变化,自动断点续传,可以减轻运维压力。