揭密首个面向IaaS的查询语言：ZStack Query Language（ZQL）

为了简化UI工作并为运维人员提供一种更加灵活的资源查询方式，ZStack在2.6版本中推出了首个面向IaaS的查询语言 —— ZStack Query Language，简称ZQL。

背景

IaaS管理着海量的数据中心资源，如何对这些资源进行灵活快速的查询是运维人员面临的一个难题。在以往的IaaS软件中，往往只对单个资源的某些字段提供有限的API查询支持，例如可以通过虚拟机的IP字段查询，这不足够也不灵活。运维人员在做复杂查询时往往得绕开IaaS软件直接查询其后端数据库，这既要求运维人员要了解IaaS资源的内部关系，又带来了数据库误操作的风险。

从ZStack正式发布的第一个版本ZStack0.6开始，我们就致力在API层面提供跟数据库级别的查询功能，ZStack的每个资源都包含一个Query API，能够通过资源的自身字段以及资源的关联资源字段进行查询。例如

QueryVmInstance name~=web-vm state=Running

这里查询所有名字包含web-vm字符串，正在运行中的VM。又例如

QueryVmInstance vmNics.eip.vip.ip='22.22.22.22'

EIP是虚拟机的关联资源，这里查询网卡绑定了EIP为22.22.22.22的虚拟机。

Query API功能强大：

用户可以通过count参数返回满足查询条件资源数量，类似SQL的select count(*);

通过fields参数指定要返回的字段，类似SQL的select uuid,name from;

通过sortBy、sortDirection参数指定排序的字段和方向，类似SQL的order by;

通过start、limit参数实现分页查询，类似SQL的limit和offset。

Query API除了使用方便外，定义也很简单。程序员在ZStack中增加了一种新资源后，只需要在代码中定义如下class:

@AutoQuery(replyClass = APIQueryVmInstanceReply.class, inventoryClass = VmInstanceInventory.class)

public class APIQueryVmInstanceMsg extends APIQueryMessage {

}

不需要写任何实现，对应资源就具有了Query API。

ZStack内部包含一个Query Service负责处理所有资源的Query API，将他们翻译成相应的SQL语句，在查询条件中包含关联资源条件时会生成对应的Join子句。

基于Query API， ZStack0.6版本就包含了超过400万个单项查询条件，组合查询条件数为400万的阶乘。极大的方便了运维和复杂UI的设计。但Query API仍然包含一些缺陷：

Ø 查询条件之间只能是AND逻辑，无法执行OR逻辑，条件之间也无法加括号实现复杂逻辑组合

Ø 不支持类似SQL中的sub query子句

Ø 单个API只能查询一种资源，查询多种资源时需要调用多个API

Ø 不支持跟监控系统的查询语言整合

随着ZStack UI的场景越来越丰富，Query API的限制使得UI端的工作越来越多，很多场景需要多次调用Query API进行数据组合。例如在监控Top 5页面(用于检测系统中CPU、内存、磁盘、网络等资源使用率最高5个资源的页面)，需要先采用Query API将虚拟机、物理机等资源信息查询回来，再调用监控系统ZWatch的API查询对应的监控数据。

Query API在未来的ZStack版本中会一直保留并维护，其后端实现已经从原来的Query Service替换成ZQL

ZStack Query Language

使用过著名issue管理系统JIRA的开发者都知道JIRA在进行高级搜索的时候提供一种查询语言JQL (JIRA Query Language)，能够使用一种类似SQL的DSL(Domain Specific Language)对JIRA中ticket的各个字段进行高效的查询。ZQL跟JQL类似，也是一种类似SQL的DSL，先来看一个例子：

query vminstance where name='webvm' or vmnics.ip='192.168.0.10' or (vmnics.eip = '172.20.100.100' and (cpuNum >= 8 or clusterUuid in ('fe13b725c80e45709f0414c266a80239','73ca1ca7603d454f8fa7f3bb57097f80')))

在这个简单例子中，可以看到很多熟悉的SQL元素，例如and/or条件、括号、>=/in操作符等。ZQL可以看作SQL的一个子集外加ZStack根据自身需求进行的增强的查询语言。它的基本结构如下：

QUERY queryTarget (WHERE condition+)? restrictBy? returnWith? groupBy? orderBy? limit? offset? filterBy? namedAs?

query关键词

一条ZQL语句通常以query关键字开头，queryTarget表示要查询的资源或资源字段的集合。前面的例子中vminstance代表虚拟机，例如host代表物理机、zone代表区域，所有可被查询的资源都有自己的名称。如果不希望返回资源的所有字段，只希望获得资源的一个或多个字段，实现类似SQL的select uuid,name from ...的功能，可以在资源名后指定字段名，多个字段名用逗号隔离，例如：

query vminstance.uuid,name,cpuNum

该查询返回所有虚拟机的UUID、名称以及CPU数量。

除了query关键字，查询也能以count和sum关键字开头，前者返回满足查询条件资源的总数，后者可以对资源的某个字段进行求和。例如：

count vminstance where cpuNum > 8

返回系统中CPU数量超过8核的虚拟机的总数。

sum vminstance.memorySize by name where cpuNum > 8

用虚拟机名字对CPU核数超过8个的虚拟机进行分组，对它们的memorySize字段进行求和。如果系统中有两个10CPU8G的虚拟机都名为webvm，则求和后返回webvm虚拟机总内存使用数为16G。翻译成SQL则为：

select sum(memorySize) from vminstance where cpuNum > 8 group by name

WHERE从句

ZQL的WHERE从句跟SQL的WHERE从句类似，支持and/or逻辑操作符、括号组合，条件的比较符支持=，!=，>，>=，<, <=, like, not like, is null, is not null, in, not in，查询条件名为资源的字段名。跟SQL不一样的地方在于，ZQL的查询条件可以是关联资源的字段，例如：

query vminstance where vmNics.eip.vip.ip='22.22.22.22'

注意where从句前无需写类似SQL的from xx从句，因为query vminstance已经限定了被查询的资源

这里vip跟eip关联，eip跟vmnic关联，vmnic又跟vminstance关联，则我们可以指定vip的IP作为查询条件。这正是ZQL的强大之处，对于多个关联资源的查询，无需调用多次API在应用端组合数据，也无需像SQL一样写复杂的join从句，只需要像编程一样通过点号(.)引用另一个资源即可， ZQL的翻译器会自动将跨资源引用翻译成对应的SQL join从句。

WHERE从句可以包含子查询，类似于SQL的sub query功能，例如：

query vminstance where vmNics.l3NetworkUuid in (query l3network.uuid where ipRanges.networkCidr='10.1.0.0/24')

这里找出所有CIRD为10.1.0.0/24的三层网络上运行的虚拟机。

上面这个例子也可以用更简单的方法实现：query vminstance where vmNics.l3network.ipRanges.networkCidr='10.1.0.0/24'，这里只是为了演示子查询功能

GROUP BY、ORDER BY、LIMIT、OFFSET 子句

跟SQL一样，ZQL支持GROUP BY、ORDER BY、LIMIT、OFFSET关键字，以实现分组、排序、分页等功能。

GROUP BY：

通过虚拟机的区域UUID和集群UUID分组，统计各区域中各集群中虚拟机的数量。

count vminstance group by zoneUuid,clusterUuid

ORDER BY：

查询所有虚拟机，使用cpuNum字段降序排序。

1. query vminstance order by cpuNum desc

LIMIT、OFFSET：

使用limit和offset实现分页：

query vminstance limit 100 offset 10

多资源查询

对于多个资源的查询，可以通过多条query查询语句实现，语句之间使用分号分隔，例如：

query vminstance where name = 'my-vm';

query host where cpuNum > 10;

query zone;

则一次调用即可返回三种资源的查询结果。由于返回的结果是一个map的JSON结构，为了方便获得对应语句的查询结果，可以使用named as关键字对查询语句命名，例如：

query vminstance where name = 'my-vm' named as 'vm';

query host where cpuNum > 10 named as 'host';

query zone named as 'zone';

则在返回的JSON map中，可以通过vm、host、zone作为key获得对应语句的查询结果。

合并监控查询 (return with从句)

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!