基于Python的ESB和后端应用服务器

　　Zato是一个用Python编写的开源ESB和应用服务器。按照设计，它用于构建后端应用程序（即仅是API）和在SOA中整合系统。

查看Zato的项目文档点击这里，查看其GitHub页点击这里。

Zato的目标用户是使用Python或者Ruby和PHP等其它动态语言的开发人员，或者是那些考虑在工作中尝试动态语言的技术团队，后者或是因为看到动态语言在其它地方使用，或是因为愿意尝试用其中一种动态语言编写的非前端系统。

该平台是轻量级但完整的，它涵盖了架构师、程序员或者系统管理员的所有视角，对许多特性提供开箱即用的支持，包括HTTP、SON、SOAP、SQL、AMQP、JMSWebSphereMQ、ZeroMQ、RedisNoSQL、FTP、基于浏览器的GUI、CLI、API、安全、统计、作业调度、负载均衡和热部署。另外，它还提供了大量指南和参考样式方面的文档。

它的最初版本于2013年5月18日发布，最新的1.1版在6月初发布。

体系结构

Zato环境是一个或者多个集群的集合。每个集群由多个共享同一个SQL和Redis数据库的服务器构成。这些服务器的前端是集群专属的HAHTTP负载均衡器。

所有的服务器始终处于活动状态，并且总是运行同一组服务。为了实现active-standby设定，负载均衡器可以根据需要把任意服务器离线。

负载均衡器是一个嵌入式的HAProxy实例，管理员通过命令行或者通过GUI调用SSLXML-RPC对其进行远程控制，该过程可以用也可以不用客户端证书。用户可以给服务器赋予权重，以及使用HAProxy自身提供的其它功能，如连接ACL或速率限制。

服务器基于gunicorn/gevent项目构建。该项目是一个联合体，它使用libevent来选择每个平台支持的最佳异步事件通知库，如Linux平台上的epoll。

为了充分利用单台计算机能够提供的所有CPU，Zato按照设定好的数值预先生成一定数量的工作进程，每个进程使用选定的异步网络连接库来处理连接，所有进程监听相同的套接字。负载均衡器用于在不同的计算机之间分配负载及提供HA。

集群中的一台服务器担当启动AMQP/JMSWebSphereMQ/ZeroMQ资源调度器和连接器的角色。如果这台服务器意外宕机，那么始终处于活动状态的ping机制可以保证另外一台服务器接管这个角色。

应用程序可以使用多种协议进行集成，包括HTTP（对JSON/SOAP和纯XML有特殊支持）、FTP、AMQP、JMSWebSphereMQ（用于实现与现有的MQJava应用程序之间的无缝互通性）、Redis和SQL。其中，HTTP协议是同步调用Zato服务的唯一方式。这种情况下，请求应用程序会进入阻塞状态等待响应。

程序员可以使用任何Python库。如果Zato自身尚未提供某个功能，也可以使用其它技术实现，如XML-RPC或者SMTP，该过程仅是一个导入Python内置包的问题而已。

集群管理使用基于浏览器的GUI和CLI。前者主要用于管理处于运行状态的集群，后者则用于在操作系统中安装Zato组件，如服务器。

集群配置信息存储在Redis和SQL操作型数据库中。Redis存储快速变化和频繁更新的数据，如统计信息或用户的运行时信息，而SQLODB存储可以简单地映射成关系结构的数据。

虽然主要使用GUI进行环境配置，但也可以将集群的配置信息以JSON格式导出/导入，而且导出结果可以存储到一个外部的配置版本库，从而可以对其进行版本管理、标记或者版本间差异比较。

带有GUI的内置调度器可以用于一次性作业或者循环作业（也可以用Cron语法）。

服务器和服务只通过Redis和SQLODB进行状态共享。没有自定义的协议或者数据格式用于保持服务器状态的一致性。

Zato使用超过160个自带的管理服务来进行自我管理，其中每一项都可以通过命令行或者在HTTP上以JSON/SOAP方式调用公共API获得。GUI和CLI工具本身都是这些服务的客户端。

Zato已经为Python应用程序创建了方便的客户端，所以用Python编写的应用程序在与Zato暴露的服务进行通信时还是只能使用Python对象。

服务

Zato服务是实现了单个特定方法的Python类。它可以接收输入和产生输出，也可以只接收输入或者只产生输出。

服务可以从GUI或者命令行以静态的或者热部署的方式安装。安装过程会自动将服务编译成字节码。

服务可以使用任何数据格式，但是Zato对JSON、SOAP和普通XML提供更多支持。如果使用了其中任何一种，序列化和反序列化都会在后台完成，开发人员只需通过点号就可以使用纯Python对象，而不必基于诸如XSD那样的模式创建Bean/模型/存根/类——尽管这意味着将没有代码完成。

同一服务可以在HTTP、AMQP、JMSWebSphereMQ、ZeroMQ和调度器上暴露，而不需要修改任何代码，也不需要重启服务器。特别地，只有在HTTP上暴露的服务可以进行同步调用。

SimpleIO（SIO）是一种声明式语法，用于表示简单的请求和响应。选用该语法，服务可以在不修改代码的情况下通过JSON或者XML/SOAP暴露。SIO不能处理复杂文档，它不接受任意嵌套的结构。任何结构的任何文档都可以用于Zato,只是有时不能用于SIO。

下面是一个基础服务的示例，该服务使用YahooYQL/JSON和Google’sXMLAPI获取一家公司的市场资本总额。

该服务接收一个股票代码（例如GOOG或RHT），发出两个HTTP请求，然后清理响应并把它们组合成一个通用格式。根据请求格式的不同，组合结果以JSON或XML格式返回。

#anyjson

fromanyjsonimportloads

#bunch

frombunchimportbunchify

#decimal

fromdecimalimportDecimal

#lxml

fromlxml.objectifyimportfromstring

#Zato

fromzato.server.serviceimportService

classGetMarketCap(Service):

"""根据公司股票代码返回其市场资本总额，单位是10亿USD。

"""

classSimpleIO:

response_elem='market_cap'

input_required=('symbol',)

output_required=('provider','value')

defhandle(self):

#..................................

#Yahoo

#..................................

#通过名称获取到Y!的连接

yahoo=self.outgoing.plain_http.get('Yahoo!YQL')

#创建用于YQL查询的URL参数。

q='select*fromyahoo.finance.quoteswheresymbol="{}"'.format(

self.request.input.symbol)

url_params={'q':q,'format':'json',

'env':'http://datatables.org/alltables.env'}

#调用Y!，并从JSON响应创建一个bunch实例，这样就可以用点号

#引用这些元素。

yahoo_response=bunchify(loads(yahoo.conn.get(self.cid,url_params).text))

#清理Y!的响应——如果有业务响应，就去掉最后一个字符。

#假设响应总是以10亿为单位。

ifyahoo_response.query.results.quote:

value1=yahoo_response.query.results.quote.MarketCapitalization

value1=Decimal(value1[:-1])ifvalue1else'n/a'

else:

value1='n/a'

#一个新的响应条目会附加到条目列表，根据服务调用方式的不同，

#Zato会把它序列化为JSON或者XML。

item1={'provider':'Yahoo!','value':str(value1)}

self.response.payload.append(item1)

#..................................

#Google

#..................................

#通过名称获取到Google的连接

google=self.outgoing.plain_http.get('GoogleFinance')

#创建用于调用Google的URL参数

url_params={'stock':self.request.input.symbol}

#调用Google并从XML响应创建一个Objectify实例，这样就可以

#用点号引用这些元素。

google_response=fromstring(google.conn.get(self.cid,

url_params).text)

#清理Google的响应——如果有业务响应，就将百万转换成十亿。

ifhasattr(google_response.finance,'market_cap'):

value2=Decimal(google_response.finance.market_cap.get('data'))/1000

else:

value2='n/a'

#此外，将一个纯Python字典(hashmap)附加到响应对象，并由Zato

#完成序列化

item2={'provider':'Google','value':str(value2)}

self.response.payload.append(item2)

这是一个非常简单的集成示例，而并不是所有的场景都允许使用SIO，但是不管服务多复杂，有一点需要强调，就是不应该回避使用Python进行编码。除了可执行外，从许多方面看来，它都非常像伪代码——这里有更多的使用示例可以说明这一点。

事实上，这正是使用Python创建Zato的原因——作为一种十分高级的语言，Python非常令人满意，它尽可能的减少麻烦和语言怪癖，使开发人员可以专注于集成。同时，它还是一种真正通用的编程语言，而不是一种有局限性、可能图形化和领域专属的第四代语言。

回到上面的例子，可以使用GUI创建需要的资源——本例中是“Yahoo！YQL”和“Google财经”的传出连接。也可以从命令行使用JSON配置完成上述操作，但还是会显示图形界面。

这些独有的API不需要安全性保证，但是如果需要，则可以使用“HTTP基础认证（HTTPBasicAuth）”、“WS-Security用户名令牌（WS-SecurityUsernameTokens）”或者技术账户（与HTTP基础认证类似，但是不需要BASE64）。

现在，服务可以通过GUI或者命令行进行热部署了。此处使用后者：

$cpstockmarket.py/opt/server1/pickup-dir

确认信息会写到服务器日志：

2013-06-2019:25:16,115-INFO-Uploadedpackageid:[53],

payload_name:[stockmarket.py]

接下来，可以使用Zato的CLI从命令行调用它，也可以从GUI调用它。这里采用前一种方法，并使用JSON和纯HTML两种格式：

$zatoserviceinvoke/opt/server1stockmarket.get-market-cap\

--payload'{"symbol":"GOOG"}'

{u'market_cap':[

{u'value':u'298.8',u'provider':u'Yahoo!'},

{u'value':u'298.81505',u'provider':u'Google'}

]}

$

$zatoserviceinvoke/opt/server1/stockmarket.get-market-cap--data-format

xml\

--transportsoap--payload'\

<soapenv:Envelope

xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/"\

xmlns:zato="https://zato.io/ns/20130518">\

<soapenv:Body>\

<zato:request>\

<zato:symbol>IBM</zato:symbol>\

</zato:request>\

</soapenv:Body>\

</soapenv:Envelope>'

<market_cap>

<zato_env>

<cid>K255124128065587321859442392853212603320</cid>

<result>ZATO_OK</result>

</zato_env>

<item_list>

<item>

<provider>Yahoo!</provider>

<value>8.763</value>

</item>

<item>

<provider>Google</provider>

<value>8.76324</value>

</item>

</item_list>

</market_cap>

$

CLI只是一种管理员或者开发人员快速访问服务的方式，而实际上，服务现在已经加载到一个安全的HTTP通道上，客户端应用程序可以通过该通道访问服务。服务器不需要重启。

Zato1.1其它特性速览

服务

服务使用Python编写，但如果需要，也可以使用C或C++创建服务。

服务已从传输层解耦，因此，除非开发人员坚持深入研究底层细节，否则他们可以专注于数据校验、扩展、转换、路由或者调用其它服务。服务管理可以使用基于浏览器的GUI、CLI或者JSON配置。

Zato还将服务与安全机制隔离——服务遵循这样的假设，如果它们被调用，那么前一层已经处理了授权/认证。

一个服务可以同时通过多种通道暴露，每一个通道使用不同的数据格式、安全定义或传输协议。

如果使用JSON/XML/SOAP，服务会收到一个美观的Python对象作为输入，程序员可以通过常规的点号访问该对象（例如，request.customer.payment.date），而不需要手动序列化/反序列化。如果使用SimpleIO（SIO），不管使用哪种数据格式，都会产生相同的对象，所以相同的服务可以通过多种通道暴露给客户端应用程序，并且每种通道都可以使用三种数据格式中的任意一种。

“钩子（Hook）”可以用来影响服务的生命周期，实现跨服务的代码共用（这是除Python类继承之外的另一种代码共用方式）。

任何同步调用都发生在同一操作系统级别的进程和线程，因此，操作系统可以捕获服务抛出的任何异常，并进行现场回溯（堆栈跟踪）。

异步调用需要通过Redis路由。消息首先发布到Redis上，另一个服务——可能在另一台服务器上——取得该请求。这也是调度器的工作原理，作业（服务）运行请求发布到Redis上，目标服务接收该请求作为输入。

有一点需要注意，所有围绕数据来源、格式和传输协议的抽象编程仅仅是为开发人员提供方便。例如，如果有一个需求，需要实现一个Zato自身没有提供的功能，那么开发人员总是可以直接访问原始的字节/字符串消息。

在活动集群上所做的几乎所有操作，如部署或重新配置，都不需要重启服务器和中断消息流。

GUI

GUI是在Django中使用手写HTML/CSS/jQuery的方式编写而成。开发过程遵循诸如StephenFew那样的信息设计和可用性专家所制定的指南。

它有如下主要特征：

集群管理——包含指向关键组件的快速链接，具有向负载均衡器的配置中添加/删除服务器，及以服务器和负载均衡器的视角检查服务器是否运行正常的能力。

负载均衡器——包含用于更改负载均衡器基础数据的GUI和HAProxy的配置源代码视图，也可以通过它远程执行HAProxy命令及访问统计信息。

服务

服务热部署

服务以及请求频率、平均响应时间等基本统计信息列表（也有图表）

查看特定服务的信息，包括服务的暴露通道、所在服务器和服务的基本统计信息

可以从浏览器运行服务的服务调用程序

具有语法高亮显示功能的源代码浏览器，可用于查看服务器上到底安装了什么（因为服务以源代码的形式部署，所以总是可以取得源代码，字节码是在部署过程中生成的）

上传/下载WSDL文件（虽然Zato自身并不用它来验证请求），并使它可以通过公共的URL访问

存储和访问请求/响应抽样信息（每N次请求进行一次抽样）

存储和访问速度慢的请求/响应信息（超过设定阀值）

安全——增加和删除安全定义，这些定义可以在通道和传出连接之间重用

通道和传出连接——前者包括AMQP、JMSWebSphereMQ、plainHTTP、SOAP或ZeroMQ，后者包括AMQP、FTP、JMSWebSphereMQ、plainHTTP、SOAP、SQL或ZeroMQ。创建这些类的新对象或者更新已有对象，几乎从不需要重启和编码。

RedisNoSQL——一个用于远程执行Redis命令的GUI。同时，它还具有指定数据字典及映射的能力。所谓映射是要表达这样一种对照关系，例如，在ISO4217字符集中美元符号是USD，但是它的数字码是840。

用于创建、更新或者手动执行作业的调度器。运行一个作业意味着执行一项服务，并且可以为该服务选择一个静态有效负载作为输入。

在GUI中有用颜色标记集群的选项，例如，生产总是蓝色，测试总是绿色及开发总是灰色，这样可以避免“胖手指”综合征。

可用于快速回答下面两个问题的统计信息——哪个服务最慢和哪个服务在给定时间范围内（小时/天/月/年或者任意一个时间段）使用最多。用户可以在浏览器中比较这些数据，也可以导出成CVS格式的文件（还可以通过API获取）。负载均衡器也会提供它自己的运行时统计信息。

CLI

命令行接口可以用于执行一系列管理操作，包括创建集群组件、对组件进行完整性检查、启动、停止或更新组件或管理加密资料。

下文会对两个命令进行说明。第一个针对正在运行的组件取得其操作系统级的信息。另一个用于创建完整的工作环境，该环境将包含两个服务器、Web管理界面和一个负载均衡器，每个组件均使用随机产生的加密资料，所有的组件都已经完成配置和设置工作。

$zatoinfo/opt/z1/load-balancer

+--------------------------------+--------------------------------+

|Key|Value|

+=========================+================+

|component_details|{"created_user_host":|

||"dev1@box1","version":|

||"1.1","component":|

||"LOAD_BALANCER","created_ts":|

||"2013-06-19T14:55:42.027946"}|

+--------------------------------+--------------------------------+

|component_full_path|/opt/z1/load-balancer|

+--------------------------------+--------------------------------+

|component_host|box1/box1|

+--------------------------------+--------------------------------+

|component_running|True|

+--------------------------------+--------------------------------+

|current_time|2013-06-20T15:05:12.078273|

+--------------------------------+--------------------------------+

|current_time_utc|2013-06-20T13:05:12.078289|

+--------------------------------+--------------------------------+

|master_proc_connections|[connection(fd=4,family=2,|

||type=1,|

||local_address=('127.0.0.1',|

||20151),remote_address=(),|

||status='LISTEN')]|

+--------------------------------+--------------------------------+

|master_proc_create_time|2013-06-20T13:04:15.440000|

+--------------------------------+--------------------------------+

|master_proc_create_time_utc|2013-06-20T11:04:15.440000+00:|

||00|

+--------------------------------+--------------------------------+

|master_proc_name|python|

+--------------------------------+--------------------------------+

|master_proc_pid|10793|

+--------------------------------+--------------------------------+

|master_proc_username|dev1|

+--------------------------------+--------------------------------+

|master_proc_workers_no|0|

+--------------------------------+--------------------------------+

|master_proc_workers_pids|[]|

+--------------------------------+--------------------------------+

$

zatoquickstartcreate/opt/qs-1postgresqllocalhost5432zato1zato1

localhost6379

ODBdatabasepassword(willnotbeechoed):

Entertheodb_passwordagain(willnotbeechoed):

Key/valuedatabasepassword(willnotbeechoed):

Enterthekvdb_passwordagain(willnotbeechoed):

[1/8]Certificateauthoritycreated

[2/8]ODBschemacreated

[3/8]ODBinitialdatacreated

[4/8]server1created

[5/8]server2created

[6/8]Load-balancercreated

Superusercreatedsuccessfully.

[7/8]Webadmincreated

[8/8]Managementscriptscreated

Quickstartclusterquickstart-309837created

Webadminuser:[admin],password:[hita-yabe-yenb-ounm]

Starttheclusterbyissuingthe/opt/qs-1/zato-qs-start.shcommand

Visithttps://zato.io/supportformoreinformationandsupportoptions

$

API

Zato自带的管理服务有文档说明。客户端应用程序可以通过JSON或SOAP方式调用这些服务，为开发人员或管理员创建可供选择的工具或GUI。实际上，Zato提供的基于Django的Web管理界面就是这样的应用程序——所有的操作都是通过API执行，Web控制台从不直接访问任何配置数据存储区。

总结

Zato1.1是个轻量级但完整的ESB应用服务器，已经可以用于很多任务。随着时间的推移，会加入更多的功能。具体而言，除了会在工具和GUI方面增加一组新内容外，接下来的几个版本将重点提供开箱即用的业务API，用于连接具体的系统或应用程序。同时，还将为开发人员提供一个开发工具包，使他们可以创建自己的API。在编写和支持其它集成模式方面，也会完成更多的工作。

　　Python培训，就选光环大数据Python培训机构！python学习地址：http://hadoop.aura.cn/python/

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！