Repustate从Python迁移到Go，性能提高10倍

　　Repustate从Python迁移到Go，性能提高10倍。Repustate向世界各地的企业和组织提供文本分析服务。随着公司的发展，他们每天处理的文本段数量从5亿增加到10亿，其中包括Tweet、新闻文章、博客评论、用户反馈等。大规模的文本分析非常困难，因为很少会出现两段文本完全相同的情况，所以无法利用缓存来提高效率。不过，它可以将大段的文本分成多个句子，然后并发分析每个句子。近日，Repustate官方博客发表了一篇博文，介绍其API的演进过程。

RepustateAPI的第一个版本是用Django编写的。他们构建了一个原型，并以此为基础推出了他们的服务。但每个Django请求/响应周期的开销太大。随着API访问量增加，可靠性问题凸显，使用Amazon服务的成本也大大增加。于是，他们开始寻找一种Python代替方案，并选择了Flask。Flask几乎是现成的API，而且是轻量级的。不过，他们稍后又发现了Falcon。他们非常喜欢这个框架，因为它使用Cython进行了优化，速度比Django要快许多，而且它还遵循简洁REST原则。事实证明，Falcon是一个很好的补救方案。Repustate的平均响应时间缩短了，故障和支持问题的数量也降下来了。

但即便如此，Repustate的性能仍然不能满足日益增长的需求。尤其是并发，一直是Python的痛处。而且，他们用的是Python2.7，还没有使用Python3中的asyncio包。但实际上，即使用了，也还是要担心GIL的问题。并且，Falcon无法实现自托管部署。Python无法像Java或C那样打包，然后分发。而他们的许多客户需要在自己的网络中运行Repustate，他们只能为这些客户提供一个部署了整个技术栈的虚拟应用。该虚拟应用既可以用于VMware，也可以用于VirtualBox。这是个可行的方案，但很笨重，而且更新和支持困难。所以，他们希望能够仅仅提供一个可以安装的二进制文件。

之所以选择Go，是因为Go满足了他们所有的要求：

比Python快

可以编译成单个的二进制文件

可以部署到任何操作系统

容易实现并发

而且，Go测试套件的布局看上去比他们的nose测试要简单。测试函数头很容易迁移。例如，将deftest_my_function():转换成funcTestMyFunction(t*testing.T){，通过简单的替换就可以完成。此外，goroutines和channels非常易于使用，使得并发文本分析很容易实现。

整个迁移过程耗时3个月，感兴趣的读者可以查看他们的迁移过程。下面是他们的迁移成果：

API平均响应时间由100ms降至10ms；

所需EC2实例的数量减少了85%；

由于Go可以编译成一个单独的二进制文件，而Go1.5让交叉编译变得很容易，所以他们现在能够提供一个Repustate自托管版本；

由于Python和Go相似，所以他们能够快速重建单元测试。

　　Python培训，就选光环大数据Python培训机构！python学习地址：http://hadoop.aura.cn/python/

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！