魅族大数据之流平台设计部署实践
2017-11-02一、魅族大数据平台架构如图所示便是魅族的大数据平台架构。左边是多样性的数据源接入;右上是离线数据的采集;下面是流平台(也是今天分享的主角);中间是集群的部署;右边是ETL的数据挖掘、算法库和一些数据模型;左上角是...
大数据架构和模式,第 3 部分 理解大数据解决方案的架构层
2017-11-02概述这个 “大数据架构和模式” 系列的 第 2 部分 介绍了一种评估大数据解决方案可行性的基于维度的方法。如果您已经使用上一篇文章中的问题和提示分析了自己的情况,并且已经决定开始构建新的(或更新现有的)大数据...
数据库管理系统是什么意思?
2017-11-02数据库管理系统是什么意思?在理解这个概念之前,我们先来了解什么是数据库。 数据库(Database)是按照数据结构来组织、存储和管理数据的仓库,它产生于距今六十多年前,随着信息技术和市场的发展,特别是二十世纪九十年...
大数据架构和模式,第 2 部分 如何知道一个大数据解决方案是否适合您的组织
2017-11-02简介在确定投资大数据解决方案之前,评估可用于分析的数据;通过分析这些数据而获得的洞察;以及可用于定义、设计、创建和部署大数据平台的资源。询问正确的问题是一个不错的起点。使用本文中的问题将指导您完成调查...
是时候该对你的数据库做一次全面体检啦!
2017-11-02数据库作为一个大型的并发存储系统,其内部设计极其复杂,开发者在使用数据库时,面临着可用性、可靠性、性能、安全、扩展性等多重挑战,这就使得数据库的使用具有较高的技术门槛。一般大型团队都会雇佣专职的DBA来维护...
-
设计思想为了解决分布式数据库下,复杂的 SQL(如全局性的排序、分组、join、子查询,特别是非均衡字段的这些逻辑操作)难以实现的问题;在有了一些分布式数据库和 Hadoop 实际应用经验的基础上,对比两者的优点和不足,加上...
针对 MySQL 大规模数据库的性能和伸缩性的优化
2017-11-02在需要支持移动/平板电脑应用及普通桌面浏览器访问的时代,网站的普及率和有效性很大程度上取决于其可用性和性能。一个访问缓慢的网站会使得访问者或潜在的客户流失,并导致商业的失败。一个访问速度相当快的网站将...
数据架构师:DB2 数据仓库性能,第 2 部分
2017-11-02在 前一期 IBM Database Magazine 中,本专栏的第 1 部分从系统和数据库的角度讨论了 IBM DB2 数据仓库性能管理。在本期中,我将针对 SQL 语句级性能调优提供一些建议。 首要问题:选择目标 在进行查询调优时,不但要追...
数据架构师:DB2 数据仓库性能,第 1 部分
2017-11-02数据仓库与 OLTP 性能管理:性质不同DB2 数据仓库环境中的性能管理与基于 DB2 的 OLTP 应用程序中的监视和调优很不一样。重要的差异包括:单独的 SQL 语句与事务。在 OLTP 环境中,典型的事务包含多个 SQL 语句,常常可...
大数据架构和模式,第 1 部分 大数据分类和架构简介
2017-11-02概述大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征,包括数据的频率、量、速度、类型和真实性。处理并存储大数据时,会涉及到更多维度,比如治理、安全性和策略。选择一种架构并构建...
果断收藏!六大主流大数据采集平台架构分析
2017-11-02随着大数据越来越被重视,数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台:Apache FlumeFluentdLogstashChukwaScribeSplunk Forwarder大数据平台与数据采集任何完整的大数据平台,一般包括以下的几个过...
“搜索修改何时了,数据哪里找”,这个问题怎么办?
2017-11-02未来,商业的竞争就是数据的竞争京东说,“如果你的竞争对手,掌握了你最核心、最机 密的数据,那无异于在自掘坟墓”!阿里说,“我们是一家数据公司,即使我们已经是全球最大的零售平台“!亚马逊说,“因为数据,未来,我们会比你...
美团点评酒旅数据仓库建设实践
2017-11-02在美团点评酒旅事业群内,业务由传统的团购形式转向预订、直连等更加丰富的产品形式,业务系统也在迅速的迭代变化,这些都对数据仓库的扩展性、稳定性、易用性提出了更高要求。对此,我们采取了分层次、分主题的方式,本...
Hadoop工具如何形成SAP Hana的大数据平台
2017-11-02自2008年以来,SAP Hana一直是领先的数据库管理系统之一。它比许多其他数据库管理解决方案能够更有效地处理数据,主要是因为它可以使用一些最先进的hadoop工具。没有Hadoop,大多数SAP Hana数据库将是相对无用的。访...
十大数据中心公司:Equinix第一,中国电信第三
2017-11-02全球许多大的数据中心提供商在多个国家提供批发及/或零售主机代管服务。公司需要数据中心时,不一定非要自行构建和运营这个数据中心,它们而是求助于提供批发和零售数据中心服务的许多提供商。实际上,数据中心服务市...
数据库测试不可或缺,你知道吗?
2017-11-02对数据库测试的根本误解有许多关于测试驱动开发(Test-Driven Development,缩写为TDD)的书籍。那些书通常关注的是将测试应用于工作单元(units of work)。对于工作单元的理解有许多种不同的方式,通常它表示一个类(class)...
从定位到运营,快速构建企业大数据分析平台
2017-11-02如今云计算和大数据口号喊的热火朝天,大家都在谈,然而,人们对大数据的理解还是较为模糊,困惑满满。尤其是如何利用大数据分析平台与互联网、电商、电信、金融以外成千上万的传统行业对接,发挥其数据背后的价值。对这...
重新定义数据库历史的时刻
2017-11-02提起 VividCortex 公司的创建者兼CEO Baron Schwartz ,大家可能会比较陌生,但读过他的著作《高性能MySQL》的一定大有人在。他同时也做过许多开源软件的性能分析、监控和管理工作。同时他还对许多不同的数据库社区...
实时/历史数据库和关系型数据库的区别
2017-11-02实时数据库实时数据库是数据库系统发展的一个分支,它适用于处理不断更新的快速变化的数据及具有时间限制的事务处理。实时数据库技术是实时系统和数据库技术相结合的产物。实时数据库最起初是基于先进控制和优化...
Python 连接Sql Server数据库 MSSql
2017-11-02Python 想要和MSSql数据库进行交互,首先要下载名为"pymssql"的包,然后import该包即可。 百度云(3.4win32+64):http://pan.baidu.com/s/1eSyPO5c 下载后安装,系统会自动选择pytho...
数据可视化的7个好处
2017-11-01数据可视化是指以饼状图等图形的方式展示数据。这帮助用户能够更快地识别模式。交互式可视化能够让决策者深入了解细节层次。这种展示方式的改变使得用户可以查看分析背...
51个你需要知道的大数据术语
2017-11-01每天数十亿字节的数据收集下,了解大数据的复杂内涵非常重要。为了帮助你了解这一领域,我们从最近的大数据指南中编辑了一个列表,列出了最重要的相关术语和定义。 你认为我...
大数据+农业或将颠覆农业未来
2017-11-012017年10月25日,农业大数据共享经济高峰论坛在上海隆重举行。 来自中国农业大学、中国柑橘学会、国家气象信息中心、中国邮政极速鲜、佳格天地伊顿农业等行业专家、从业...
大数据治污 济宁智慧城市建设结出新硕果
2017-11-01大数据治污济宁智慧城市建设结出新硕果。 根据2017年山东省环保厅公布的省内1、2月份空气质量排名显示,济宁市共有“蓝天白云、繁星闪烁”天数28天,同比改善幅...
善用大数据执法更高效
2017-11-01善用大数据执法更高效,近日,汝州许多市民的朋友圈被一则时长8秒的视频刷爆。视频中一辆灰色的汽车因随意停放在非机动车道,被执法队员落锁固定待进一步处理,两名当事人急中...