DataPipeline 合伙人 & CPO 陈雷:企业实时数据管理问题与实践 | 附PPT下载
陈雷 | DataPipeline 合伙人 & CPO,曾任 IBM
大中华区认知物联网实验室服务部首席数据科学家、资深顾问经理。十五年数据科学领域与金融领域经验。综合交通大数据应用技术国家工程实验室产业创新部主任,中国电子学会区块链专委会委员。
DataPipeline是一家数据领域的独立软件提供商。已成功服务了包括但不限于星巴克、百胜中国、民生银行、中国人寿等重点领域的近百家客户。
10 月 20 日,IT 桔子邀请到DataPipeline合伙人 & CPO 陈雷先生,面向 IT 桔子用户带来 “企业实时数据管理问题与实践”
为主题的分享,以下为本次活动的干货观点。(文末附 PPT 下载地址)
为什么要构建实时数据平台
2000 年左右甚至更高一些,我们的交易系统和分析系统是不分家的。随着业务需求的不断提升,对7*24
小时联机交易的要求,交易系统服务压力越来越大。为了避免分析系统影响交易系统,逐渐从业务系统中分离出了分析系统,OLTP(联机事务处理)和
OLAP(联机分析处理)
两类系统概念就此产生。同时产生了两个概念,一个是ODS(把交易系统里的全部原始数据复制一份出来