Apache Kylin技术分享 基于Hadoop的OLAP引擎

　　传统上，hadoop(包括MapReduce，Pig以及Hive)通常用于外部私有 OLAP Cube 引擎准备数据。如今，Zaloni的客户基于 Apache Kylin 的OLAP技术实现了实时查询的能力，这些Cube的事实表包含了400亿条以上的原始数据。我们正在帮助客户统一归集来自于多个独立系统的账单数据，并构建OLAP Cube以支持实时分析，这是以前系统所无法实现的。现在，Hadoop集群都可以做到了。

　　基于Hadoop的分析演化

　　Hadoop已经从通用计算能力(MapReduce)的分布式数据平台演化为一个更强大的平台。Hadoop及其生态系统已经有能力处理更广泛的用例，远超最初设计时的低成本分布式批处理能力。支持了从迭代式的机器学习算法，到 OLAP 及 OLTP 系统，这些基于“hadoop集群”的开源分析能力给传统的大玩家们(Oralce，SAS，Teradata，IBM等)带来了很大的压力。

　　为规模设计

　　Apache Kylin是开源的多维在线分析处理引擎(MOLAP)，名字来源于中国的一种神兽“麒麟”。项目最初诞生于eBay，专为分析处理PB级数据集而设计。这里引用一段Apache 基金会2015年12月的Blog ：“Apche Kylin是目前为止大数据领域最好的OLAP引擎”，eBay数据服务与解决方案部门高级总监Wilson Pang说到，“在eBay，我们收集用户在每一个页面的每一个行为。当其他OLAP引擎挣扎于数据量的极大膨胀时，Kylin可以在毫秒级获得查询响应。除此之外，基于Kylin我们还实现了近实时的数据流存储和分析。总之，Kylin在eBay产品分析平台中扮演了至关重要的后台核心组件角色。”

　　如何工作

　　Kylin通过预计算实现查询速度的提升，利用 Hive 查询计算多个维度的组合(译者注：此处原文有误，正确应为，Kylin是通过Hive获取数据源，并利用MapReduce计算多个维度的任意组合)，计算各类指标的聚合值，并将这些中间结果保存在 HBase 中。Kylin拥有用户友好的查询界面，也支持通过API和JDBC、ODBC提交查询。查询引擎基于 Apache Calcite 查询处理器和HBase的检索功能(比如fuzzy row filters)实现结果集快速获取。HBase的rowkeys利用 Trie Data Structure 技术实现维度字段字典数据的高效压缩。

　　当前，Kylin只支持 星型模型 ，因此每个Cube只能有单一的事实表。

　　建模向导

　　设计Cube很容易。假设你已经有了一张Hive的表，建模向导将帮助你一步步走完设计的流程，包括选择维度(包括层级维度)，选择维表，选择指标等。也支持按照日期时间分区，使得Cube分段刷新易如反掌，这广泛用在了流数据的增量式构建。一旦Cube定义好了，我们通过Kylin的监控界面查看Cube的构建进度。

　　除了原生的Kylin Web界面，你可以通过JDBC查询OLAP Cube，也可以通过Zeppelin(Zeppelin已经内置了Kylin的解释器)，或者设计良好的REST API。

　　基于Hadoop的OLAP的其他选项

　　Kylin是基于Hadoop的OLAP技术的一个开源选项。 Apache Lens 是另一个，它是一个 ROLAP 解决方案，并不能实现Kylin这种预计算技术所能达到的快速查询响应能力。 Druid 也是一个选项，它采用了自己的集群技术(并不依赖Hadoop)。也有一些第三方的解决方案，声称支持Hadoop之上的OLAP能力。

　　大数据时代，Hadoop培训、大数据培训、培训班，就选光环大数据！

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！