大数据知识图谱实战经验总结

作为数据科学家，我想把行业新的知识图谱总结并分享给技术专家们，让大数据知识真正转化为互联网生产力!大数据与人工智能、云计算、物联网、区块链等技术日益融合，成为全球最热的战略性技术，给大数据从业者带来了前所未有的发展机遇，同时也对大数据工程师提出了高标准的技能要求。大数据具有海量性、多样性、高速性和易变性等特点，映射到大数据平台建设要求，不仅要具备海量数据采集、并行存储、灵活转发、高效调用和智能分析的通用Paas服务能力，而且能快速孵化出各种新型的Saas应用的能力。

要实现这个目标，架构设计至少要满足三个总体技术要求：

1. 一是把分布式大数据平台的基础数据服务能力建设摆在首位。规划出支撑PB级规模数据运营能力的云平台架构，运用经典设计原则和设计模式的架构之美，吸纳业内主流分布式技术的思想精髓，深耕主流平台服务模式到现代微架构的演变内涵;
2. 二是用系统架构设计和微服务建设思想武装团队，持续撰写多维度的架构蓝图，推动团队协同作战;
3. 三是围绕大数据全栈技术体系解决项目实战中的各类难题，制定主流技术规范和设计标准，通过平台核心组件方式快速迭代出新型业务。从设计要求来讲，大数据平台服务的整体设计要具备全面、全局、权衡的关键技术要求，不仅能全面提炼国内外优秀架构和解决方案的精华，而且要理解分布式技术的底层设计思想;不仅能全局了解上下游技术生态和业务结合的设计过程，而且要游刃有余的处理系统功能和性能问题;不仅能权衡新技术引入和改造旧系统的成本估算，而且要推动作战团队轻松驾驭新技术。

• 第一个总体技术要求：把分布式大数据平台的基础数据服务能力建设摆在首位。规划出支撑PB级规模数据运营能力的创新云平台架构，运用经典设计原则和设计模式的架构之美，吸纳业内主流分布式技术的思想精髓，深耕主流平台服务模式到现代微架构的演变内涵。
• 第二个总体技术要求：用系统架构设计和微服务建设思想武装团队，持续撰写多维度的架构蓝图，推动团队协同作战。架构师不仅要具备大型云平台架构的实战经验之外，更要有大智慧和战略思维，通过蓝图来推动和管理好每一个产品的全生命周期。
• 第三个总体技术要求：围绕大数据全栈技术体系解决项目实战中的各类难题，制定主流技术规范和设计标准，通过平台核心组件方式快速迭代出新型业务。针对设计规范的重要性，我们不妨用《孙子兵法》的大智慧来分析一下。

从系统整体技术能力出发，提出物联网大数据平台的八个通用微服务的技术要求，包括大数据的高并发采集服务、灵活分发服务、高可扩展海量存储服务、高并发展海量存储服务、高可靠海量存储服务、自定义迁移服务、基于机器学习的智能分析服务和基于Spark生态的实时计算服务，具体如下：

高并发采集服务：

• 支持多种移动终端和物联网数据的可扩展接入，并具备大规模接入并发处理能力。能够兼容主流行业通用的可扩展协议和规范，并采用高可靠的集群或者负载均衡技术框架来解决。如引入Mina或者Netty技术框架后适配各种多种移动终端接入。标准化接入要求常用的字节流、文件、Json等数据格式符合主流标准格式。

灵活分发服务：

• 按照分析应用需求，转发不同的数据类型和数据格式，交互方式之一是主流的消息中间件MQ或者Kafka，保证高效的转发并转换数据给数据服务运营方。交互的方式之二是Restful 方式，保证数据可以按照协议规范进行安全可靠的数据转发和传输。

高可扩展海量存储服务：

• 支持数据类型和数据表可扩展，对物联网大数据进行海量存储和计算，尤其适用于初创公司研发百万级用户之内的大数据平台。

高可并发海量存储服务：

• 支持数据类型和数据量的高速增长，对物联网大数据进行批处理，适合构建PB级数据量和千万级用户量的云平台。

高可靠海量存储服务：

• 支持物联网多源异构数据的统一高效和海量存储，并提供易于扩展的行业数据的离线计算和批处理架构，适合构建ZB级数据量和亿级用户量的分布式大平台。

基于Spark生态的实时计算服务：

• 支持对物联网大数据智能分析能力，通过企业级中间件服务框架提供安全可靠接口，实现数据实时统计和计算。

基于机器学习的智能分析服务：

• 支持安全高效的机器学习算法，通过支持分布式分类、聚类、关联规则等算法，为用户和物联网机构提供个性化的智能分析服务。

自定义迁移服务：

• 支持对物联网大数据的整体迁移和同步，通过数据转换和数据迁移工具对不同数据类型和数据格式进行整体迁移，实现数据集的自定义生成。 

01高并发采集微服务

面对千倍用户量和万倍数据量的增长速度，如何保证物联网大数据在比较快的时间内进入平台?应对用户量的增长，如何在规定的时间内完成采集?在硬件设备处理能力之外，让数据更快的汇聚到平台是核心需求。具体考虑如下：

满足采集来自不同的厂家、移动设备类型、传输协议的行业数据的需求。我们在接口设计中完全可以针对不同设备和传输协议来设计，就是借用“分而治之”的用兵之道，“分而治之” 就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的解，把各部分的解组成整个问题的解，这种朴素的思想也完全适合于技术设计，软件的体系结构设计、模块化设计都是分而治之的具体表现。其中策略模式就是这个思想的集中体现。策略模式定义了一个公共接口，各种不同的算法以不同的方式实现这个接口。

满足高并发需求。需要借助消息队列、缓存、分布式处理、集群、负载均衡等核心技术，实现数据的高可靠、高并发处理，有效降低端到端的数据传输时延，提升用户体验。借用“因粮于敌”的思想。“因粮于敌”的精髓是取之于敌，胜之于敌，以战养战，动态共存。我们常说的借用对手优势发展自己并整合资源就是这个思想的集中体现。正式商用的系统需要借助高性能中间件来并行处理数据，达到不丢包下的低延迟。我们采用商用的Mina 负载均衡技术框架，可以支持多种设备和传输协议(HTTP、TCP、UDP)的数据接入，可以满足每秒上万并发数的数据接入需求。针对以上的核心需求分析和技术定位，我们可以借助第三方中间件和采用设计模式实现个性化业务，来解决接口的集中化、可扩展性、灵活性等问题，借助Mina的Socket NIO技术魅力，适配高并发的数据接口IOFilterAdapter进行反序列化编码，适配高并发的数据接口IOHandlerAdapter进行业务处理。

02 灵活转发微服务

（编辑：好传媒网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!