Go 在万亿级大数据平台开发中的实战
2017-11-02导语迅猛发展的互联网将我们带入了大数据时代,大数据已经成为发展中不可或缺的力量支撑,大数据挑战和机遇并存,如何更好合理、灵活应用大数据是企业的关注所在。七牛大数据团队研发工程师孙健波为大家带来题为Go 在...
PB级海量数据服务平台架构设计实践
2017-11-02基于PB级海量数据实现数据服务平台,需要从各个不同的角度去权衡,主要包括实践背景、技术选型、架构设计,我们基于这三个方面进行了架构实践,下面分别从这三个方面进行详细分析讨论:实践背景该数据服务平台架构设计之...
Google发布语音指令数据集
2017-11-02深度学习在语音识别方面的使用方兴未艾,但是可用的训练数据集却不多见。虽然Kaldi这种软件可以使用神经网络进行训练,但是复杂的操作吓退了很多小白。Google认识到,互联网上没有可供入门者快速入门深度学习的语言数...
搭建python数据分析平台
2017-11-02基本结构其实没什么高深的东西,无非是常用的那一套:pandas, numpy, matplotlib…但是为了更方便使用,加持了 jupyter notebook(即以前的ipython notebook)……又为了更方便使用,前端加了nginx或apache反代……双为了更...
趣味解析,斗鱼直播大数据的玩法儿
2017-11-02斗鱼是时下国内最大的游戏直播平台,日活用户达2000万,主播日活达40,000人,ALEXA全球排名约200名、国内约20名(高于优酷、Bilibili等站)。本文作者吴瑞诚,目前负责斗鱼数据平台部,本文中他将分享斗鱼大数据这块的玩法儿,...
云计算深度学习平台架构与实践的必经之路
2017-11-02定义云深度学习平台什么是云深度学习?随着机器学习的发展,单机运行的机器学习任务存在缺少资源隔离、无法动态伸缩等问题,因此要用到基于云计算的基础架构服务。云机器学习平台并不是一个全新的概念,Google、微软、...
兼顾稳定和性能,58大数据平台的技术演进与实践
2017-11-02接下来我会跟大家分享一下58大数据平台在最近一年半的时间内技术演进的过程。主要内容分为三方面:58大数据平台目前的整体架构是怎么样的;最近一年半的时间内我们面临的问题、挑战以及技术演进过程;以及未来的规划...
从零开始搭建MongoDB数据库即服务
2017-11-02一、什么是数据库即服务(DBaaS)首先介绍一下『数据库即服务』。『数据库即服务』其实是『Database-as-a-service』的中文翻译,我们看看它在维基百科中的定义:我们知道,现在有很多的as-a-service,比如Infrastructure as...
四维图新发布“MineData”位置大数据平台,积累数据每天增长2.8TB
2017-11-02今天,四维图新发布了名为“MineData”的位置大数据平台。据介绍,MineData平台被四维图新视为该公司继数字地图、车联网、自动驾驶业务外的一个新的重大业务。MineData现由四维图新旗下子公司世纪高通运营。据悉,Min...
硅谷“疯狂”吸取大众数据,但这才只是开始
2017-11-02个人数据在技术世界的地位犹如化石燃料行业中的石油。这就是为什么像Amazon和Facebook这样的公司在数据方面开发的比我们想象的要更深入。若酷暑天里冷饮售高价会如何?英国的消费者很快就会发现这一情况。 最近...
HiTSDB 时序数据库技术架构和产品解析
2017-11-02摘要: 8月24日阿里云数据库技术峰会上,来自阿里数据库事业部高级专家钟宇带来HiTSDB 时序数据库方面的演讲。本文主要从时序数据开始介绍,包括时序序列数据的特点,接着介绍了时序数据业务场景,以及OpenTSDB在HBase上...
大数据技术平台的分类与选择指南
2017-11-02大数据的处理过程可以分为大数据采集、存储、结构化处理、隐私保护、挖掘、结果展示(发布)等,各种领域的大数据应用一般都会涉及到这些基本过程,但不同应用可能会有所侧重。对于互联网大数据而言,由于其具有独特完...
-
算法体系架构在上半部分中,我们介绍了有赞搜索引擎的基本框架。搜索引擎主要3个部件构成。第一,hadoop集群,用于生成大规模搜索和实时索引; 第二,ElasticSearch集群,提供分布式搜索方案; 第三,高级搜索集群,用于提供商业...
-
随着互联网数据规模的爆炸式增长,如何从海量的历史,实时数据中快速获取有用的信息,变得越来越有挑战性。电商数据系统主要类型一个中等的电商平台,每天都要产生百万条原始数据,上亿条用户行为数据。一般来说,电商数据...
数据架构简史:转换中的范式
2017-11-02数据架构是一系列决定收集哪些数据,如何在数据库系统中使用、处理和存储数据的规则、策略以及模型。例如,数据集成是依赖于数据架构用于集成过程中的指令。如果没有从编程范式转换到数据架构范式,现代计算机将会变...
15家大数据公司被调查,数据行业正在酝酿风暴
2017-11-02最近的大数据行业,风声鹤唳。据内部消息,最近监管对数据乱象出手,开始清理行动,15家公司被列入调查名单,其中几家估值都超几十亿。据多位知情人透露,上周末,“数据堂”多人被警方调查,导致部分数据业务线停摆。多位业内...
一小时建立数据分析平台
2017-11-02摘要:优秀的数据分析平台,首先要满足数据查询、统计、多维分析、数据报表等功能。可惜很多分析师,工作的第一年,都是埋葬在SQL语句中,以SQL+Excel的形式完成工作,却用不上高效率的工具。今天教大家如何搭建一套数据分...
携程机票大数据架构最佳实践
2017-11-02讲师介绍许鹏,携程机票大数据基础平台Leader,负责平台的构建和运维。深度掌握各种大数据开源产品,如Spark、Presto及Elasticsearch。著有《Apache Spark源码剖析》一书。主题简介:数据平台技术选型用户交互实践大数...
智慧交通大数据平台搭建过程及应用案例
2017-11-02城市交通是枢纽,是出行保障,而解决大、中型城市的交通问题,城市公共交通和货物专业运输必然成为重中之重。本届“CDAS 2017中国数据分析师行业峰会”邀请到首发集团智慧交通大数据中心筹备组负责人曹正凤做关于智慧...
无服务器架构是移动开发者的福音?
2017-11-02realm.io的CEO兼联合创始人Alexander Stigsen简述了无服务器架构在移动开发领域的重要作用,将服务器栈抽离出去之后,移动开发会变得极其简单。从第一部iPhone发布到现在已经有十年的时间了,但对于开发者来说,似乎还...
汽车全生命周期管理量化决策及大数据挖掘、定价平台“数鼎科技”宣布完成千万元天使融资
2017-11-02今天,汽车及相关行业量化决策及大数据深度挖掘、智能定价服务平台数鼎科技宣布已完成千万人民币级天使轮融资,由松禾资本远望基金、兰石创投及资深投资人联合投资。数鼎科技创始人兼CEO蓬蕾(Rose PENG)表示,本轮融...
云计算平台点兵:谁在用AWS,谁在用Azure?
2017-11-02微软和亚马逊双双发布了2017年第二季度财报,两家公司的云计算业务涨势喜人:AWS的季度全球销售额达到了41亿美元,在保持市场领跑的前提下一年大涨41%;Azure的利润更是一年疯涨97%。业界知名的问答平台Stack Overflow...
做了两款数据库监控工具,打算在近期开源
2017-11-02MySQL监控工具演示地址:http://106.14.181.95:7001 功能树:这个工具可以分别帮忙开发人员、DBA、测试人员做各自关心的事情,例如开发人员可以监控SQL,分析慢查询,该工具也会给出简单的优化意见;测试人员可以用来做性能...
你的下一部游戏机,会是一台 Mac 电脑吗?
2017-11-02用 MacBook Pro 玩 PC 游戏是种怎样的体验?在知乎上最高票的回答是下面这张图:(图片来源:9GAG)相信每一个指望用电脑打游戏的玩家,都不会把 Mac 列入选购清单里。不过,情况正在发生变化。在 WWDC 2017 上,苹果花费了大量...
开发嵌入式AI超算平台,米文动力为机器人提供终端智能解决方案
2017-11-02本月国务院正式印发《新一代人工智能战略规划》,提出到2020年中国人工智能技术核心产业规模超过1500亿元,带动相关产业规模超过1万亿元;到2030年,人工智能核心产业规模超过1万亿元,带动相关产业规模超过10万亿元。目...