博客文章

走进 DataPipeline,连接一切数据、应用与设备

DataPipeline通过华为鲲鹏兼容性认证,以自主科技创新推动中国信息产业进步
这不仅为DataPipeline的客户提供了更加广泛的基础环境选择空间,也标志着DataPipeline通过自主创新的数据中间件产品对中国信创产业发展的投入将进一步深化。
DataPipeline合伙人&CPO陈雷:成为中国的世界级数据中间件厂商
「连接一切数据、应用和设备」
数字化转型提速,DataPipeline助力中石油产业大数据实时共享能力再提升
DataPipeline企业级实时数据融合平台为中石油构建的实时数据融合平台顺利上线!
IT168专访|DataPipeline 合伙人&CPO陈雷:我们致力于成为中国的世界级数据中间件厂商
凡是过往,皆为序章,十余年沐雨栉风,百万里地北天南,也平常! 念念不忘,必有回响,再十年筚路蓝缕,献心力自强安邦,正起航!
DataPipeline亮相2020数据库技术大会,揽获「技术卓越奖」
DataPipeline受邀参与本次顶级数据领域技术盛会,与华为、阿里、腾讯等国内外33家领先的软件产品、技术方案提供商同台亮相。
DataPipeline荣获湾区创见·2020网络安全大会 TECHSPARK 十强奖
近日,作为湾区创见·网络安全大会的重磅环节,TECHSPARK星星之火IT创新大赛十强决赛在深圳国际会展中心落下帷幕。DataPipeline在10家入围决赛企业中脱颖而出,获得专家评委团一致好评,同时揽获IT创新大赛决赛十强奖。 作为湾区创见·网络安全大会的重磅环节,TECHSPARK星星之火IT创新大赛十强决赛为大家呈现了一场思想的碰撞。在本次十强决赛中,参赛公司进行项目路演,由企业服务领域知名投资机构东方富海、红点中国等机构合伙人,及世界500强企业腾讯、雪松控股等企业信息化专家组成评委团,按照技术领先性、产品成熟度、市场规模与客户需求等维度进行综合评分。此次DataPipeline获奖,充分体现了评委专家团对DataPipeline数据产品的成熟度、技术的先进性、客户服务的体系化与质量以及在数据领域丰富经验的全面认可。 TECHSPARK星星之火IT创新大赛由深信服科技和琥珀资本联合主办,是首个面向IT基础设施及企业数字化转型与应用的创新科技项目比赛。大赛旨在选拔5G、人工智能、云计算、大数据等前沿科技与新基建相关技术领域的创业独角兽,助推IT产业创新发展。 Data
DataPipeline CPO 陈雷:实时数据融合之法,便捷可管理
陈雷 | DataPipeline 合伙人 & CPO 曾任 IBM 大中华区认知物联网实验室服务部首席数据科学家、资深顾问经理。十年管理经验,十五年数据科学领域与金融领域经验。综合交通大数据应用技术国家工程实验室产业创新部主任,西安交通大学软件学院大数据智能创新中心主任,中国电子学会区块链专委会委员。 在确保了实时数据融合的稳定性之后,企业开始关注数据管理能否满足数字化转型和多速IT的敏捷要求。实时数据融合产品的敏捷性、便捷性成为一个重点考量要素。 配置便捷 传统数据处理过程的构建,往往是以月为单位交付的,例如构建一个数据仓库或一个大数据平台,我们经常听到的建议是建设周期不要超过半年,即使是数据仓库构建完成之后,由于需要进行大量的代码开发,新的业务分析需求或者数据需求的交付周期也是以周为单位计算的,这很难满足业务应对市场竞争的需要,更不用说面对纷繁复杂的市场环境和竞争格局,业务形态是在不断调整变化的,这也对后端的数据支撑提出了更高的要求,数据资源作为战略资源必须在合适的时间出现在合适的地点,实时数据更是如此。 而众所周知,数据处理交付周期长的根本原因是处理过程中要面对从异构语义
DataPipeline 合伙人 & CPO 陈雷:企业实时数据管理问题与实践 | 附PPT下载
陈雷 | DataPipeline 合伙人 & CPO,曾任 IBM 大中华区认知物联网实验室服务部首席数据科学家、资深顾问经理。十五年数据科学领域与金融领域经验。综合交通大数据应用技术国家工程实验室产业创新部主任,中国电子学会区块链专委会委员。 DataPipeline是一家数据领域的独立软件提供商。已成功服务了包括但不限于星巴克、百胜中国、民生银行、中国人寿等重点领域的近百家客户。 10 月 20 日,IT 桔子邀请到DataPipeline合伙人 & CPO 陈雷先生,面向 IT 桔子用户带来 “企业实时数据管理问题与实践” 为主题的分享,以下为本次活动的干货观点。(文末附 PPT 下载地址) 为什么要构建实时数据平台 2000 年左右甚至更高一些,我们的交易系统和分析系统是不分家的。随着业务需求的不断提升,对7*24 小时联机交易的要求,交易系统服务压力越来越大。为了避免分析系统影响交易系统,逐渐从业务系统中分离出了分析系统,OLTP(联机事务处理)和 OLAP(联机分析处理) 两类系统概念就此产生。同时产生了两个概念,一个是ODS(把交易系统里的全部原始数据复制一份出来
实时数据融合之法,稳定高容错
陈雷 | DataPipeline 合伙人 & CPO 曾任 IBM 大中华区认知物联网实验室服务部首席数据科学家、资深顾问经理。十年管理经验,十五年数据科学领域与金融领域经验。综合交通大数据应用技术国家工程实验室产业创新部主任,西安交通大学软件学院大数据智能创新中心主任,中国电子学会区块链专委会委员。 上周我们发布了“实时数据融合之道,博观约取,价值驱动”,文章提到实时数据既要全面覆盖能被利用的各类数据,也要基于价值分清先后顺序;既要高效释放数据价值,也要选好抓手、切入点。而触客业务因为直接与收入相关,无疑成为实时数据最好的切入点。也正因为其重要性和敏感性,所以大家更为关注实时数据融合过程中的稳定高容错。 不管是绝地求生还是企业级系统,稳定输出都是最重要的。 上下游不稳定时,你得稳定 实时数据在获取与加载过程中,上下游节点一般都是注册机制而不是纳管机制,系统很难实时感知到上下游节点的实际状态和发生的问题,在实际企业环境中,实时数据融合的上下游节点往往在业务连续性和服务级别上高于实时数据融合系统,因此,实时数据的处理需要遵循上下游节点的管理机制,例如认证方式、安全加密方式、连接时
实时数据融合之道:博观约取,价值驱动
陈雷 | DataPipeline 合伙人 & CPO 曾任 IBM 大中华区认知物联网实验室服务部首席数据科学家、资深顾问经理。十年管理经验,十五年数据科学领域与金融领域经验。综合交通大数据应用技术国家工程实验室产业创新部主任,西安交通大学软件学院大数据智能创新中心主任,中国电子学会区块链专委会委员。 所谓数据时效性的提升指的绝不仅仅是用户行为数据、交易数据等时序数据的时效性,或者说这些数据的时效性本身都是很高的,数据时效性提升的主要战场应该是针对散落在各业务系统中没有被集中管理的各类结构化数据以及需要汇聚关联各个业务数据后加工计算的数据(说人话:没有纳入主数据系统管理的各业务系统账户、客户数据及数据仓库、集市中的分析加工结果数据的时效性一般都比较低)。 近年来随着互联网企业在数据技术发展过程中逐渐占据主导地位,互联网数据、用户行为数据等大数据概念被大家普遍接受,但对于企业来说与其把目光盯在价值密度较低的沙子上筛来筛去,不如好好想想自己家里的金山钻石矿里的数据能不能更快地变现(说人话:客户在网银上的访问轨迹的价值远不如客户账户大额变动来的有价值,所以先想办法把这事告诉客户经理吧)
线上直播 | DataPipeline 合伙人 & CPO陈雷:企业实时数据管理问题与实践
根据 IDC 市场追踪数据,截止到 2018 年底,中国大数据解决方案市场软硬服总额达到 388.8 亿元人民币。中国大数据市场预计未来五年将保持持续增长的趋势,年复合增长率将达到 17.3%。 目前,中国大数据发展处于应用落地阶段。对数据质量、数据管理、数据应用等方面提出了更高的要求,但往往在推进落地的过程中容易陷入高投入慢节奏的怪圈,投入产出比不清晰。 本次 IT 桔子超级小组邀请到 DataPipeline 合伙人 & CPO 陈雷,带来【企业实时数据管理问题与实践】为主题的分享,围绕实时数据管理方面进行解读。 活动嘉宾 DataPipeline 合伙人 & CPO 陈雷曾任 IBM 大中华区认知物联网实验室服务部首席数据科学家、资深顾问经理。十年管理经验,十五年数据科学领域与金融领域经验。综合交通大数据应用技术国家工程实验室产业创新部主任,中国电子学会区块链专委会委员。 DataPipeline 是一家数据领域的独立软件提供商,通过实时数据融合、实时数据服务、实时异常检测三条产品线构建的实时数据产品矩阵,帮助客户提升数据流转时效性,降低异构数据融合成本,实现数据高质、高
吉利集团数字化转型提速,DataPipeline助力集团化实时数据采集同步平台建设
​9月20日,吉利集团和DataPipeline公司共同宣布,DataPipeline协助吉利集团搭建的集团化实时数据采集同步平台正式投入使用。该项目的实施对于推动吉利集团实现企业数字化转型、数据规范化和集约化管理、增强其持久核心竞争力具有重要意义。 1986年诞生的吉利集团,经过34年的发展,确立了其中国品牌汽车领袖的市场地位,进入全球汽车行业第一阵营。2019年,吉利集团旗下各品牌在全球累计销售汽车超217.8万辆,市占率从6.2%提升至6.5%,全年营收974亿元,净利润82.6亿元。在全球汽车市场遇冷的情况下,吉利集团实现逆势增长,这与吉利集团由上至下地坚持数字化转型策略密不可分。 图片来源:浙江吉利控股集团官网 为能最大化挖掘数据价值,赋能业务发展,大数据已经成为吉利集团的关键生命线。而数据融合作为大数据的基石,更是至关重要。为了支持实时营销、智能驾驶、智能制造等实时数据应用场景,就要求实时数据融合平台能够支持企业内各类数据管理技术秒级延迟的实时数据获取。而要实现营销系统、ERP系统、分析系统等系统产生的数十亿条数据的整合,打通Oracle、SQL Server、MyS
1
2
3
4
5
9

用数据驱动决策与创新!