使用Hummingbird提升Rackspace Cloud Files的性能

　　使用Hummingbird提升RackspaceCloudFiles的性能，RackspaceCloudFiles是一个使用OpenStackSwift构建的大规模云对象存储系统。随着发展，该系统遇到了许多可扩展性问题。近日，CloudFiles项目经理MattBarker撰文介绍了他们遇到的问题以及Hummingbird如何提升了CloudFlies的性能。

OpenStackSwift是Rackspace于2010年推出的一个存储项目，用Python编写，是原始OpenStack平台的一部分。为了保证可扩展性和硬件部署架构的灵活性，Swift被分解为一个公共服务（代理服务）和三个内部服务（对象服务、容器服务、账户服务）。其中，对象服务层（即对象服务器和复制器）自创建以来几乎没有变化。但随着CloudFiles的发展，Python的局限性显现出来。比如，它在并发支持和磁盘I/O方面的局限会导致对象服务层成为瓶颈。

他们考虑了许多不同的方法，包括配置更多的对象工作进程、修改并发设置及加入事件循环。但是，当一个节点在硬件或磁盘层面出现故障时，Python对象服务会让问题变得更加严重。对象服务器会完全没有响应，或者继续接受连接，但提供数据非常缓慢，许多请求都需要很长的时间才能完成。CloudFiles团队运行和优化服务的时间都赶上开发新特性了。

为了解决上述问题，CloudFiles团队首席工程师MichaelBarton开始尝试使用各种语言框架重写对象服务器。基准测试表明，Go是一个不错的选择。于是，他们就使用Go语言重新编写和部署对象服务，即Hummingbird项目。在API层面，Hummingbird具备与Swift相同的功能。他们还创建了一个测试套件，用于在对象服务器和对象复制器层面比较两者的性能。接下来，他们将Hummingbird部署到弗吉尼亚数据中心的单个生产节点上，然后依次扩展到一个4节点“区域（zone）”、半个集群、整个“地区（region）”。截至目前，他们已经在弗吉尼亚和伦敦数据中心这两个生产环境中部署了Hummingbird。在弗吉尼亚地区，每小时的读超时数量显著减少，如下图所示：

而在响应速度方面，Go对象服务器大约是Python对象服务器的两倍。

　　Python培训，就选光环大数据Python培训机构！python学习地址：http://hadoop.aura.cn/python/

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！