云计算与Hadoop11年来相爱相杀

　　同时诞生于2006年，十年间云计算革了架构的命，那hadoop呢?

　　Doug Cutting，在外界看来至少有两个称谓：作为技术大牛他是Hadoop之父，作为商业领袖他是Cloudera首席架构师。

　　近日，Doug Cutting来到北京，也因此接受了科技茱比莉的 独家采访 。过去的十年毫无疑问属于云计算和大数据。其中，Hadoop被认为是大数据领域的一个里程碑，它驱动了大数据的快速发展，还将深刻影响IoT和AI的走向。

　　这次访谈，茱比莉并没有请Hadoop之父去简单回顾Hadoop的发展，而是选取了与Hadoop一同诞生于2006年的云计算，看两者十年间如何“相爱相杀”。至少在Doug Cutting看来， Cloudera最大的竞争对手竟是云计算第一巨头AWS，更有意思的是，它同时也是最重要的合作伙伴 。

　　而展望下一个十年，Hadoop的代表企业Cloudera在2017年刚刚上市，作为开源企业在商业上的阶段性成功， Doug Cutting认为Cloudera虽然尚未盈利但未来营收会超越Red Hat，因为大数据正和AI、IoT纠缠在一起 ……

　　最大的对手和伙伴都是AWS

　　Hadoop和云计算什么关系?在技术上可谓互相成就，但在商业上Doug Cutting认为Cloudera最大的竞争对手与合作伙伴都是AWS。

　　2006年，Hadoop诞生。

　　它的原型是Nutch项目，初衷是基于开源创建网络搜索引擎并实现具备可扩展性和收缩性的数据技术，而当Nutch与谷歌论文的想法合体，Hadoop应运而生。

　　时至今日，Hadoop的发展也远远超出了Doug Cutting的预料——不仅成为大数据技术发展史上的一个里程碑，还组成了一个具备自我演进能力的、多种技术有机融合的、稳定而强大的生态系统。这也正是Cloudera应运而生的缘由。

　　2006年，云计算诞生。

　　它彻底改变了企业IT基础架构，也带来了新的商业模式。在Doug Cutting看来，云计算使得Hadoop的应用更加灵活：

　　一，在本地安装Hadoop，用户需要部署大规模集群以支持不同类型的应用，并拥有统一的数据存储;而在云环境中运行Hadoop，用户可以针对不同的应用创建不同的集群，并按需对这些集群进行弹性伸缩，而且云服务商可以帮助用户管理数据存储。

　　二，从数字化转型角度来看，过去，IT往往只集中在企业用户的IT部门，但是随着云计算的普及，数字化在企业各个部门得到广泛应用，这意味着更多的非IT部门在IT应用中可以自我管理、自我服务。

　　然而，这并不意味着Hadoop产品的全盘云化。

　　Doug Cutting认为，云部署和本地部署两种交付方式都会长期共存：对于一些数据量较大，且自身IT资源和能力较强的客户来说，不少工作负载特别是像需要全天候永续运行的工作负载是放在本地数据中心上的，这样做更经济更实用，扩展性也更强。还有一些工作负载或者是数据，由于受制于法律法规的要求，必须要放在本地数据中心运行。

　　就Cloudera而言，三年前正式推出了Cloudera Director管理云环境中运行的集群。目前，云模式占到15%到20%的营收比重，并且会不断增长。我预计这个比例最终会达到40%到60%，但是不会到90%，也就是说本地部署模式仍然会是Cloudera企业业务的一个重要组成部分。”

　　而在谈到Cloudera的竞争格局时， Doug Cutting出人意料地将AWS作为最大的竞争对手，但同时也是最大的合作伙伴。

　　在Hadoop创业公司当中，业界总是把Cloudera与Hortonworks和MapR三家公司相提并论。此外，在大数据维度的竞争中，还总是拿上市后的Cloudera和IBM、Oracle、微软等商业大数据软件企业对比。

　　但在Doug Cutting看来，和其他创业公司相比就如“ 我们做可口可乐，他们做百事可乐” ，一直保持优势。而在大数据的商业软件领域，微软是Cloudera的合作伙伴，Oracle是Cloudera的分销商 ，“大数据领域采用最多的还是开源的系统”。

　　不过，让Cloudera更加重视的竞争对手，并非来自传统的大数据领域，比如亚马逊，它希望通过云服务来代替传统大数据解决方案供应商的工作。

　　“打一个比方，不论是可口可乐还是百事可乐，人们不喝汽水改喝白水了。这样的跨界竞争是更加有挑战性的竞争，非传统竞争对手的加入更让我们警惕，Cloudera也会对自身加以调整来适应新的竞争格局。”Doug Cutting表示。

　　但同时，AWS也是Cloudera最大的云合作伙伴。当Cloudera应用云模式交付的时候，亚马逊AWS、微软Azure、谷歌云都会应用，但比例最大的仍是AWS。

　　尽管AWS会推出与Cloudera竞争的同类产品像EMR，但仍然会为用户提供Cloudera的产品。表面看这与AWS的产品又矛盾冲突，但是从整体云计算企业之间的竞争来看，Cloudera能够为AWS带来新的企业级客户。另一方面，如果客户选择私有部署Cloudera的产品，对于AWS来说收入仍旧是零。

　　此外，亚马逊AWS、微软Azure、谷歌云也会有一些用户的大数据应用使用的是专有的商用软件服务。不过，Doug Cutting认为，假以时日这些用户会意识到，在云中使用开源的大数据解决方案，成本更低、质量更高，而且开源的Hadoop可以让业务在不同的云环境之间自由迁移，商业软件因此并不过构成严重威胁。

　　Cloudera会比Red Hat更成功?

　　Cloudera虽然上市但未实现盈利。Doug Cutting认为，现在就和Red Hat对比，只能说很多人缺乏耐心，实际上Red Hat也曾经多年亏损，而Cloudera还非常年轻，由于AI、IoT的发展，未来盈利也会超越Red Hat。

　　云计算、大数据、IoT、AI等趋势接踵而至，Hadoop作为一项基础技术仍然发挥着关键作用，Spark也有效地推动了IoT和AI的应用。

　　Doug Cutting认为，大数据和AI是非常匹配的技术，因为AI本身就是一种大数据的应用。在对AI的系统进行训练的时候，使用的数据越多，AI系统就越先进。

　　比如，Cloudera 近日就推出了AI平台Data Science Workbench。它的初衷在于，一些用户应用Spark，他们的AI系统基于spark，而Cloudera已经支持了Spark;另一些数据工作者倾向于使用Spark以外的其他工具，例如通过Python或R来做AI，但Python和R和Hadoop的集群并非天生就匹配。因此，新平台旨在让所有数据工作者在一个安全环境中创建AI系统的时候，仍然能够使用他们自己熟悉的工具。

　　另一方面，Cloudera的产品和业务增长仍然有很大的一部分会来自于传统的任务，比如数据仓库，用于支持搜索的运行时环境，各种传统的数据库应用。其实，大部分用户在采用大数据工具方面还处在非常早期的发展阶段。因此，传统的应用和技术仍有较大的增长前景，尽管它们并不那么频繁地出现在人们关注的热点当中。

　　这些都决定了Cloudera所处的产业仍然处于高速发展的快车道上。

　　此外，Doug Cutting对开源极力推崇归。在开源的世界当中，竞争的逻辑不同。开源技术的开放性和分享性决定了没有哪个公司完全拥有开源的技术。每当开源的技术有了新的突破或进展，开源的整个生态系统进一步的发展和改进，开源群体中的每一份子都会受益其中。

　　这也决定了Cloudera的商业模式符合未来发展的潮流。据悉，Cloudera既有用户的采购量过去5年平均涨幅为40%;而近几年来通过云模式等新型合作方式，新客户数量尤其是中小企业数量也增势喜人。

　　Cloudera能不能超越Red Hat还需时日，而开源的商业模式和大数据、AI的发展轨道足够让它上市，也足够让它持续发展。

　　大数据时代，Hadoop培训、大数据培训、培训班，就选光环大数据！

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！