一则关于大数据的要闻：大数据生于2006，卒于2019！这是真的吗？

由于关注的重心从我们收集数据的方式转向实时处理数据，大数据时代即将终结。大数据现在是支持多云、机器学习和实时分析这几个新时代的业务资产。

大数据时代生于2006年4月1日，卒于2019年6月5日

大数据时代终结于2019年6月5日，当时Tom Reilly宣布即将从Cloudera辞职，随后该公司市值应声下跌。加上MapR前不久宣布将于6月下旬关门大吉——这将取决于MapR能否找到买家来继续运营，2019年6月表明了这个事实：Hadoop推动的大数据这个早期时代已宣告结束。大数据会因在这几方面起到的作用而被世人铭记：促使社交媒体开始占主导地位，从根本上改变企业在处理多出好几个数量级的数据方面的理念，以及澄清分析数据、数据质量和数据治理的价值，不断评估作为企业资产的数据。

如果为大数据时代拟写某种意义上的悼词时，必须要强调一下：大数据技术实际上并没“死”，但第一代基于Hadoop的大数据已达到成熟的程度，它已在企业数据界确立了稳固的角色。大数据不再是无限增长的炒作周期的一部分，而是一种老牌技术。

大数据的诞生

大数据时代始于ApacheHadoop在2006年的亮相，开发人员和架构师将此工具视为有助于处理和存储多结构化数据和半结构化数据。企业在数据方面的理念发生了根本性转变，并不仅限于传统企业数据库的ACID(原子性、一致性、隔离性和持久性)，导致数据使用场合发生了变化，许多公司意识到以前丢弃或保存在静态归档中的数据实际上有助于了解客户行为、采取行动的倾向、风险因素以及复杂的组织、环境和商业行为。Cloudera这款商业发行版推出后，Hadoop的商业价值在2009年开始得到确立，MapR、Hortonworks和EMC Greenplum(现在的Pivotal HD)紧随其后。虽然分析师们预测大数据这个潜在市场的规模高达500亿美元或更多，但Hadoop这种分析工具最终在最近十年受到了质疑。

Hadoop在企业界面临的挑战

虽然Hadoop在通过批处理支持大型存储和ETL(提取、转换和加载)作业以及支持机器学习任务方面大有价值，但它在支持公司和大型组织用来管理日常运营的较为传统的分析工作方面并非最佳选择。Hive、Dremel和Spark等工具在Hadoop上面使用以支持分析，但Hadoop从未变得足够快，无法真正取代数据仓库。

Hadoop还面临这样的挑战：NoSQL数据库和对象存储提供商在解决Hadoop最初旨在帮助解决的部分存储和管理难题方面取得了进展。随着时间的推移，在Hadoop上支持业务连续性面临挑战，加上支持实时、地理空间及其他新兴的分析使用场合方面缺乏灵活性，这使得Hadoop面对海量数据时很难在批处理之外大有作为。

此外，久而久之，许多公司开始发现大数据难题越来越与此有关：支持一系列广泛的数据源，并迅速调整数据模式、查询、定义和上下文，新的应用程序、平台和云基础设施供应商就体现了这一点。为了克服这个挑战，分析、集成和复制就必须变得更敏捷更快速。许多供应商纷纷创办就体现了这个挑战，包括：

• 分析解决方案：比如ClearStory Data、Domo、Incorta、Looker、FineBI、Microsoft Power BI、Qlik、Sisense、Tableau和ThoughtSpot
• 数据管道供应商：比如Alooma、Attunity、Alteryx、Fivetran和Matillion
• 数据集成供应商：包括Informatica、MuleSoft、SnapLogic、Talend和TIBCO(后者还凭借其Spotfire产品组合角逐分析领域)。

如果从收购或融资的角度来看，许多这些公司似乎都备受瞩目，这绝非巧合。最近的例子包括但不限于：

• ThoughtSpot在2018年5月完成1.45亿美元的D轮融资
• Sisense在2018年9月完成8000万美元的E轮融资
• Incorta在2018年10月完成1500万美元的B轮融资
• Fivetran在2018年12月完成1500万美元的A轮融资
• Looker在2018年12月完成1.03亿美元的E轮融资
• TIBCO在2018年12月收购Orchestra Networks
• Logi Analytics在2019年2月收购Jinfonet
• 谷歌在2019年2月收购Alooma
• Qlik在2019年2月收购Attunity
• Informatica在2019年2月收购AllSight
• TIBCO在2019年3月收购SnappyData
• Alteryx在2019年4月收购ClearStory Data
• Matillion在2019年6月完成3500万美元的C轮融资
• 谷歌在2019年6月斥资26亿美元收购Looker
• Salesforce在2019年6月斥资157亿美元收购Tableau
• Logi Analytics在2019年6月收购Zoomdata

这些解决方案的成功表明了日益需要分析师、数据和平台灵活性，以便面对诸多云和数据源改进数据的上下文分析价值。2019年会更闹猛，因为其中许多公司归私募股权公司所有，或者已获得大量的风投资金，需要尽快成功退出，帮助资助未来的风投基金。

随着大数据的消逝，我们进入到了后大数据时代，包括多云时代、机器学习时代以及实时和无处不在的上下文时代。

多云时代恰恰表明日益需要基于现有的各种应用系统跨多云支持应用软件和平台，也日益需要支持持续交付和业务连续性。“某项任务有一个应用软件”这种观念导致了企业中每个员工平均有一个SaaS应用软件的业务环境，这意味着每家大企业在为数千个SaaS应用软件支持数据和流量。后端容器化这个趋势导致支持按需和峰值使用环境的存储和工作负载环境日益分散化和专业化。

机器学习时代专注于分析模型、算法、模型训练、深度学习以及算法和深度学习技术的伦理。机器学习需要处理创建干净数据供分析所用所需的大量相同工作，但还需要另外的数学、业务和伦理上下文以创建持久的长期价值。

实时和无处不在的上下文恰恰表明，从分析的角度和交互的角度来看，日益需要及时的更新。从分析的角度来看，公司分析处理仅仅每周更新一次或每天更新一次已不够。员工现在需要近乎实时的更新，否则有可能做出糟糕的公司决策，这些决策在制定的那一刻就已过时或落伍了。有效使用实时分析需要广泛的业务数据，以提供适当的整体上下文以及供针对数据按需执行的分析所用。无处不在还表明了交互的兴起，包括物联网提供表明环境和机械活动的更多边缘观察信息，以及仍在发展中的扩展现实(Extended Reality，包括增强现实和虚拟现实)提供身临其境的体验。为了提供这种级别的交互，必须以交互的速度分析数据，可能短至300-500毫秒，以提供有效的行为反馈。

（编辑：好传媒网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!