博客文章

走进 DataPipeline,连接一切数据、应用与设备

DataPipeline CPO 陈雷:实时数据融合之法,便捷可管理
陈雷 | DataPipeline 合伙人 & CPO 曾任 IBM 大中华区认知物联网实验室服务部首席数据科学家、资深顾问经理。十年管理经验,十五年数据科学领域与金融领域经验。综合交通大数据应用技术国家工程实验室产业创新部主任,西安交通大学软件学院大数据智能创新中心主任,中国电子学会区块链专委会委员。 在确保了实时数据融合的稳定性之后,企业开始关注数据管理能否满足数字化转型和多速IT的敏捷要求。实时数据融合产品的敏捷性、便捷性成为一个重点考量要素。 配置便捷 传统数据处理过程的构建,往往是以月为单位交付的,例如构建一个数据仓库或一个大数据平台,我们经常听到的建议是建设周期不要超过半年,即使是数据仓库构建完成之后,由于需要进行大量的代码开发,新的业务分析需求或者数据需求的交付周期也是以周为单位计算的,这很难满足业务应对市场竞争的需要,更不用说面对纷繁复杂的市场环境和竞争格局,业务形态是在不断调整变化的,这也对后端的数据支撑提出了更高的要求,数据资源作为战略资源必须在合适的时间出现在合适的地点,实时数据更是如此。 而众所周知,数据处理交付周期长的根本原因是处理过程中要面对从异构语义
实时数据融合之法,稳定高容错
陈雷 | DataPipeline 合伙人 & CPO 曾任 IBM 大中华区认知物联网实验室服务部首席数据科学家、资深顾问经理。十年管理经验,十五年数据科学领域与金融领域经验。综合交通大数据应用技术国家工程实验室产业创新部主任,西安交通大学软件学院大数据智能创新中心主任,中国电子学会区块链专委会委员。 上周我们发布了“实时数据融合之道,博观约取,价值驱动”,文章提到实时数据既要全面覆盖能被利用的各类数据,也要基于价值分清先后顺序;既要高效释放数据价值,也要选好抓手、切入点。而触客业务因为直接与收入相关,无疑成为实时数据最好的切入点。也正因为其重要性和敏感性,所以大家更为关注实时数据融合过程中的稳定高容错。 不管是绝地求生还是企业级系统,稳定输出都是最重要的。 上下游不稳定时,你得稳定 实时数据在获取与加载过程中,上下游节点一般都是注册机制而不是纳管机制,系统很难实时感知到上下游节点的实际状态和发生的问题,在实际企业环境中,实时数据融合的上下游节点往往在业务连续性和服务级别上高于实时数据融合系统,因此,实时数据的处理需要遵循上下游节点的管理机制,例如认证方式、安全加密方式、连接时
实时数据融合之道:博观约取,价值驱动
陈雷 | DataPipeline 合伙人 & CPO 曾任 IBM 大中华区认知物联网实验室服务部首席数据科学家、资深顾问经理。十年管理经验,十五年数据科学领域与金融领域经验。综合交通大数据应用技术国家工程实验室产业创新部主任,西安交通大学软件学院大数据智能创新中心主任,中国电子学会区块链专委会委员。 所谓数据时效性的提升指的绝不仅仅是用户行为数据、交易数据等时序数据的时效性,或者说这些数据的时效性本身都是很高的,数据时效性提升的主要战场应该是针对散落在各业务系统中没有被集中管理的各类结构化数据以及需要汇聚关联各个业务数据后加工计算的数据(说人话:没有纳入主数据系统管理的各业务系统账户、客户数据及数据仓库、集市中的分析加工结果数据的时效性一般都比较低)。 近年来随着互联网企业在数据技术发展过程中逐渐占据主导地位,互联网数据、用户行为数据等大数据概念被大家普遍接受,但对于企业来说与其把目光盯在价值密度较低的沙子上筛来筛去,不如好好想想自己家里的金山钻石矿里的数据能不能更快地变现(说人话:客户在网银上的访问轨迹的价值远不如客户账户大额变动来的有价值,所以先想办法把这事告诉客户经理吧)
DataPipeline王睿:业务异常实时自动化检测 — 基于人工智能的系统实战
作者王睿,现在DataPipeline任Head of AI,负责研发企业级业务异常检测产品,旨在帮助企业一站式解决业务自动化监控和异常检测问题。
构建实时数据集成平台时,在技术选型上的考量点
本文简要讨论了一些构建面向实时数据的集成平台在技术选型方面的考量点。
DataPipeline CTO陈肃:从ETL到ELT,AI时代数据集成的问题与解决方案
DataPipeline CTO陈肃:从ETL到ELT,AI时代数据集成的问题与解决方案
DataPipeline CTO陈肃:构建批流一体数据融合平台的一致性语义保证
首先,本文将从数据融合角度,谈一下DataPipeline对批流一体架构的看法,以及如何设计和使用一个基础框架。其次,数据的一致性是进行数据融合时最基础的问题。如果数据无法实现一致,即使同步再快,支持的功能再丰富,都没有意义。
技术实战 |《Apache Kafka实战》作者胡夕:Apache Kafka监控与调优
对于如何有效地监控和调优Kafka是一个大话题,很多用户都有这样的困扰,今天我们就来讨论一下。
携程实时计算平台架构与实践
本文主要从携程大数据平台概况、架构设计及实现、在实现当中踩坑及填坑的过程、实时计算领域详细的应用场景,以及未来规划五个方面阐述携程实时计算平台架构与实践。
技术分享干货丨瓜子二手车基于Kafka的结构化数据流
瓜子上线了Kafka platform,主要面向用户和管理两方面的功能。
技术干货丨如何在VIPKID中构建MQ服务
本文主要从三方面展开。首先介绍VIPKID使用MQ的历史。其次,为RocketMQ在VIPKID的实践。最后,提到VIPKID的MQ服务关于以后可能会如何变化和发展。
承认吧,你跟ETL工具就是商业情侣的关系
如果非要用一个例子解释你(企业)与ETL工具的关系,其实本质上就是一种商业情侣关系。
1
2

用数据驱动决策与创新!