Apache Zeppelin 中 Cassandra CQL 解释器
Apache Zeppelin 中 Cassandra CQL 解释器
Name | Class | Description |
|---|---|---|
%cassandra | CassandraInterpreter | 为Apache Cassandra CQL查询语言提供解释器 |
启用Cassandra解释器
在笔记本中，要启用Cassandra解释器，请单击Gear图标并选择Cassandra。
使用Cassandra解释器
在段落中，使用％cassandra来选择Cassandra解释器，然后输入所有命令。
要访问交互式帮助，请键入HELP;
解释器命令
所述Cassandra解释器接受下列命令
Command Type | Command Name | Description |
|---|---|---|
Help command | HELP | 显示交互式帮助菜单 |
Schema commands | DESCRIBE KEYSPACE, DESCRIBE CLUSTER, DESCRIBE TABLES ... | 描述Cassandra模式的自定义命令 |
Option commands | @consistency, @retryPolicy, @fetchSize ... | 将运行时选项注入段落中的所有语句 |
Prepared statement commands | @prepare, @bind, @remove_prepared | 让您注册一个准备好的命令，并通过注入绑定值重新使用它 |
Native CQL statements | All CQL-compatible statements (SELECT, INSERT, CREATE ...) | 所有CQL语句都直接针对Cassandra服务器执行 |
CQL语句
该解释器与Cassandra支持的任何CQL语句兼容。例如：
INSERT INTO users(login,name) VALUES('jdoe','John DOE'); SELECT * FROM users WHERE login='jdoe'; |
|---|
除了以下特殊命令之外，每个语句都应以分号（;）分隔：
- @准备
- @bind
- @remove_prepare
- @一致性
- @serialConsistency
- @timestamp
- @retryPolicy
- @fetchSize
- @请求超时
只要它们以分号分隔，就支持多行语句以及同一行上的多个语句。例如：
USE spark_demo; SELECT * FROM albums_by_country LIMIT 1; SELECT * FROM countries LIMIT 1; SELECT * FROM artists WHERE login='jlennon'; |
|---|
支持批处理语句，可以跨多行，以及DDL（CREATE / ALTER / DROP）语句：
BEGIN BATCH INSERT INTO users(login,name) VALUES('jdoe','John DOE'); INSERT INTO users_preferences(login,account_type) VALUES('jdoe','BASIC'); APPLY BATCH; CREATE TABLE IF NOT EXISTS test( key int PRIMARY KEY, value text ); |
|---|
CQL语句不区分大小写（列名和值除外）。这意味着以下语句是等同和有效的：
INSERT INTO users(login,name) VALUES('jdoe','John DOE'); Insert into users(login,name) vAlues('hsue','Helen SUE'); |
|---|
所有CQL语句和版本的完整列表如下：
Cassandra版本 | 文件链接 |
|---|---|
3.X | http://docs.datastax.com/en/cql/3.3/cql/cqlIntro.html |
2.2 | http://docs.datastax.com/en/cql/3.3/cql/cqlIntro.html |
2.1＆2.0 | http://docs.datastax.com/en/cql/3.1/cql/cql intro c.html |
1.2 | http://docs.datastax.com/en/cql/3.0/cql/aboutCQL.html |
声明中的评论
可以在语句之间添加注释。单行注释以哈希符号（＃）或双斜杠（//）开头。多行注释在/ **和** /之间。例如：
#Single line comment style 1 INSERT INTO users(login,name) VALUES('jdoe','John DOE'); //Single line comment style 2 /** Multi line comments **/ Insert into users(login,name) vAlues('hsue','Helen SUE'); |
|---|
语法验证
解释器随附了一个内置的语法验证器。此验证器仅检查基本语法错误。
所有与CQL相关的语法验证都直接委托给Cassandra
大多数情况下，语法错误是由于语句或打字错误之间的分号丢失造成的。
模式命令
为了使模式发现更容易和更具交互性，支持以下命令：
命令 | 描述 |
|---|---|
DESCRIBE CLUSTER; | 显示当前的群集名称及其分区 |
DESCRIBE KEYSPACES; | 列出集群中的所有现有密钥空间及其配置（复制因子，持久写入...） |
DESCRIBE TABLES; | 列出集群中的所有现有密钥空间，并列出所有表的名称 |
DESCRIBE TYPES; | 列出集群中的所有现有密钥空间，并列出所有用户定义的类型名称 |
DESCRIBE FUNCTIONS; | 列出集群中的所有现有键空间，并列出所有函数的名称 |
DESCRIBE AGGREGATES; | 列出集群中的所有现有密钥空间，并列出所有聚合名称 |
DESCRIBE MATERIALIZED VIEWS; | 列出集群中的所有现有密钥空间，并列出所有实例化视图名称 |
DESCRIBE KEYSPACE <keyspacename>; | 描述给定的密钥空间配置及其所有表的详细信息（名称，列，...） |
DESCRIBE TABLE (<keyspacename>).<tablename>; | 描述给定的表。如果没有提供密钥空间，则使用当前登录的密钥空间。如果没有登录密钥空间，则使用默认系统密钥空间。如果没有找到表，会出现错误信息 |
DESCRIBE TYPE (<keyspacename>).<typename>; | 描述给定类型（UDT）。如果没有提供密钥空间，则使用当前登录的密钥空间。如果没有登录密钥空间，则使用默认系统密钥空间。如果没有找到类型，会出现错误信息 |
DESCRIBE FUNCTION (<keyspacename>).<functionname>; | 描述给定的功能。如果没有提供密钥空间，则使用当前登录的密钥空间。如果没有登录密钥空间，则使用默认系统密钥空间。如果没有找到功能，则会出现错误信息 |
DESCRIBE AGGREGATE (<keyspacename>).<aggregatename>; | 描述给定的聚合。如果没有提供密钥空间，则使用当前登录的密钥空间。如果没有登录密钥空间，则使用默认系统密钥空间。如果没有找到聚合，则会出现错误消息 |
DESCRIBE MATERIALIZED VIEW (<keyspacename>).<view_name>; | 描述给定的视图。如果没有提供密钥空间，则使用当前登录的密钥空间。如果没有登录密钥空间，则使用默认系统密钥空间。如果没有找到任何视图，会出现错误信息 |
模式对象（集群，密钥空间，表，类型，功能和聚合）以表格格式显示。左上角有一个下拉菜单来展开对象细节。右上角的菜单显示“图标”图标。
运行时参数
有时您希望能够将运行时查询参数传递给您的语句。
这些参数不是CQL规范的一部分，而是特定于解释器。
以下是所有参数的列表：
参数 | 语法 | 描述 |
|---|---|---|
Consistency Level | @consistency=value | 将给定的一致性级别应用于段落中的所有查询 |
Serial Consistency Level | @serialConsistency=value | 将给定的串行一致性级别应用于段落中的所有查询 |
Timestamp | @timestamp=long value | 将给定的时间戳应用于段落中的所有查询。请注意，直接在CQL语句中传递的时间戳值将覆盖此值 |
Retry Policy | @retryPolicy=value | 将给定的重试策略应用于段落中的所有查询 |
Fetch Size | @fetchSize=integer value | 将给定的提取大小应用于段落中的所有查询 |
Request Time Out | @requestTimeOut=integer value | 将给定的请求超时以毫秒为单位应用于段落中的所有查询 |
一些参数仅接受限制值：
参数 | 可能的值 |
|---|---|
Consistency Level | ALL, ANY, ONE, TWO, THREE, QUORUM, LOCALONE, LOCALQUORUM, EACHQUORUM |
Serial Consistency Level | SERIAL, LOCALSERIAL |
Timestamp | Any long value |
Retry Policy | DEFAULT, DOWNGRADINGCONSISTENCY, FALLTHROUGH, LOGGINGDEFAULT, LOGGINGDOWNGRADING, LOGGINGFALLTHROUGH |
Fetch Size | Any integer value |
请注意，您应该不加分号（;在每个参数语句的结束）
一些例子：
CREATE TABLE IF NOT EXISTS spark_demo.ts( key int PRIMARY KEY, value text ); TRUNCATE spark_demo.ts; // Timestamp in the past @timestamp=10 // Force timestamp directly in the first insert INSERT INTO spark_demo.ts(key,value) VALUES(1,'first insert') USING TIMESTAMP 100; // Select some data to make the clock turn SELECT * FROM spark_demo.albums LIMIT 100; // Now insert using the timestamp parameter set at the beginning(10) INSERT INTO spark_demo.ts(key,value) VALUES(1,'second insert'); // Check for the result. You should see 'first insert' SELECT value FROM spark_demo.ts WHERE key=1; |
|---|
有关查询参数的一些注释：
- 许多查询参数可以在同一段落中设置
- 如果相同的查询参数用不同的值设置很多时间，则解释器仅考虑第一个值
- 每个查询参数都适用于同一段落中的所有CQL语句，除非您使用纯CQL文本覆盖选项（如强制使用USING子句的时间戳）
- 关于CQL语句的每个查询参数的顺序并不重要
支持准备声明
出于性能原因，最好先准备语句，然后通过提供绑定值重用它们。
此解释器提供3个命令来处理准备和绑定的语句：
- @prepare
- @bind
- @remove_prepared
例：
@prepare[statement-name]=... @bind[statement-name]=’text’, 1223, ’2015-07-30 12:00:01’, null, true, [‘list_item1’, ’list_item2’] @bind[statement-name-with-no-bound-value] @remove_prepare[statement-name] |
|---|
@prepare
您可以使用语法“@prepare [statement-name] = SELECT ...”来创建一个准备好的语句。该语句名是强制性的，因为翻译准备与Java驱动程序给定的语句，并在保存生成的准备语句内部哈希表，使用所提供的语句名作为搜索关键字。
请注意，内部准备的语句映射与所有笔记本和所有段落共享，因为Cassandra只有一个解释器实例 如果解释器遇到相同的statement-name（key）的许多 @prepare，那么只有第一个语句才会被考虑。
例：
@prepare[select]=SELECT * FROM spark_demo.albums LIMIT ? @prepare[select]=SELECT * FROM spark_demo.artists LIMIT ? |
|---|
对于上述示例，准备好的语句是SELECT * FROM spark_demo.albums LIMIT ?。`SELECT * FROM spark_demo.artists LIMIT？被忽略，因为已准备好的语句映射中已经存在一个条目，带有key select。
在Zeppelin的背景下，笔记本可以定期执行，因此有必要避免重新准备许多时间相同的声明（被认为是反模式）。
@bind
一旦准备好声明（可能在分开的笔记本/段落中）。您可以将值绑定到它：
@bind[select_first]=10 |
|---|
绑定值不是@bind语句的强制值。但是，如果您提供绑定值，则需要遵守一些语法：
- 字符串值应包含在简单引号（'）之间
- 日期值应包含在简单引号（'）之间，并遵循格式：
- yyyy-MM-dd HH：MM：ss
- yyyy-MM-dd HH：MM：ss.SSS
- null按原样解析
- 布尔值（true | false）按原样解析
- 集合值必须遵循标准的CQL语法：
- 列表：['list item1'，'list item2'，...]
- 设置：{'set item1'，'set item2'，...}
- map：{'key1'：'val1'，'key2'：'val2'，...}
- 元组值应该在括号之间（见元组CQL语法）：（'text'，123，true）
- udt值应该在括号之间（见UDT CQL语法）：{stree name：'Beverly Hills'，number：104，邮编：90020，state：'California'，...}
可以在批处理中使用@bind语句：
BEGIN BATCH@bind[insert_user]='jdoe','John DOE'UPDATE users SETage =27WHERE login='hsue';APPLYBATCH;
@remove_prepare
为了避免准备好的语句永远保留在准备好的语句映射中，您可以使用 @remove_prepare [statement-name]语法将其删除。删除不存在的准备语句不会产生错误。使用动态表单
而不是对CQL查询进行硬编码，可以使用Zeppelin动态表单语法注入简单的值或多个选择表单。
仍然支持绑定输入文本和选择表单的旧式胡须语法（{{}}），但不推荐使用，并在将来的版本中将其删除。
传统 简单参数的语法是：{{input_Label = default value}}。默认值是强制性的，因为第一次执行该段落，我们在呈现表单之前启动CQL查询，因此应提供至少一个值。 多选择参数的语法是：{{input_Label = value1 | value2 | ... | valueN}}。默认情况下，第一次执行该段落时，首选用于CQL查询。
例：
#Secondary index on performer style SELECT name, country, performer FROM spark_demo.performers WHERE name='${performer=Sheryl Crow|Doof|Fanfarlo|Los Paranoia}' AND styles CONTAINS '${style=Rock}'; |
|---|
在上面的例子中，第一个CQL查询将执行为performer ='Sheryl Crow'AND style ='Rock'。对于后续查询，您可以使用表单直接更改值。
请注意，我们在简单引号（'）之间附带了$ {}块，因为Cassandra希望有一个String。我们也可以使用$ {style ='Rock'}语法，但这次，表单上显示的值是“Rock”而不是Rock。
也可以使用动态表单来准备语句：
@bind[select]=='${performer=Sheryl Crow|Doof|Fanfarlo|Los Paranoia}', '${style=Rock}' |
|---|
共享状态
可以并行执行许多段落。但是，在后端，我们仍然使用同步查询。 只有当有可能返回值时，异步执行才是可能Future的InterpreterResult。这可能是Zeppelin项目的一个有趣的建议。
最近，Zeppelin允许您选择解释员的隔离级别（请参阅解释器绑定模式）。
长篇小说，你有3个可用的绑定：
- shared：相同的JVM和所有注释的相同的解释器实例
- 范围：相同的JVM但不同的解释器实例，每个音符一个
- 隔离：不同的JVM运行单个解释器实例，每个音符一个JVM
使用共享绑定，所有注释和段落com.datastax.driver.core.Session都使用相同的对象。因此，如果您使用USE 密钥空间名称 ; 声明登录到一个密钥空间，它会更改密钥空间 所有当前用户的的卡桑德拉解释，因为我们只能创造1个％的实例对象卡桑德拉解释。 com.datastax.driver.core.Session
同样的说法也适用于准备好的语句哈希映射，它由所有使用Cassandra解释器的实例共享。
当使用作用域绑定时，在同一个JVM中， Zeppelin将创建Cassandra解释器的多个实例，从而创建多个com.datastax.driver.core.Session对象。小心使用这种绑定的资源和内存使用！
所述分离的模式是最极端的，并且将创建许多JVM / com.datastax.driver.core.Session因为有不同的笔记对象。
解释器配置
要配置Cassandra解释器，请转到解释器菜单，向下滚动以更改参数。该卡珊德拉解释器使用的是官方卡桑德拉Java驱动程序和大多数参数都用于配置Java驱动程序
以下是配置参数及其默认值。
属性名称 | 描述 | 默认值 |
|---|---|---|
cassandra.cluster | 要连接的Cassandra群集的名称 | Test Cluster |
cassandra.compression.protocol | 在线压缩 可能的值为：NONE，SNAPPY，LZ4 | NONE |
cassandra.credentials.username | 如果启用安全性，请提供登录 | none |
cassandra.credentials.password | 如果启用安全性，请提供密码 | none |
cassandra.hosts | 逗号分隔Cassandra主机（DNS名称或IP地址）。 例如：'192.168.0.12，node2，node3' | localhost |
cassandra.interpreter.parallelism | 可执行的并发段数（查询块）数 | 10 |
cassandra.keyspace | 要连接的默认键盘空间。强烈建议让默认值在表名前加上所有查询中的实际键空格 | system |
cassandra.load.balancing.policy | 负载均衡策略。Default = new TokenAwarePolicy(new DCAwareRoundRobinPolicy()) 要指定您自己的策略，请提供您的策略的完全限定类名（FQCN）。 在运行时，解释器将使用Class.forName（FQCN）实例化策略， | DEFAULT |
cassandra.max.schema.agreement.wait.second | Cassandra max模式协议等待第二 | 10 |
cassandra.pooling.core.connection.per.host.local | 协议V2及以下default = 2.协议V3及以上default = 1 | 2 |
cassandra.pooling.core.connection.per.host.remote | 协议V2及以下default = 1.协议V3及以上default = 1 | 1 |
cassandra.pooling.heartbeat.interval.seconds | 卡桑德拉泳池心跳间隔（秒） | 30 |
cassandra.pooling.idle.timeout.seconds | Cassandra空闲时间在几秒钟内 | 120 |
cassandra.pooling.max.connection.per.host.local | Protocol V2及以下default = 8.协议V3及以上default = 1 | 8 |
cassandra.pooling.max.connection.per.host.remote | 协议V2及以下default = 2.协议V3及以上default = 1 | 2 |
cassandra.pooling.max.request.per.connection.local | 协议V2及以下默认值= 128.协议V3及以上默认值= 1024 | 128 |
cassandra.pooling.max.request.per.connection.remote | 协议V2及以下默认值= 128.协议V3及以上默认值= 256 | 128 |
cassandra.pooling.new.connection.threshold.local | 协议V2及以下默认值= 100.协议V3及以上默认= 800 | 100 |
cassandra.pooling.new.connection.threshold.remote | 协议V2及以下默认值= 100.协议V3及以上default = 200 | 100 |
cassandra.pooling.pool.timeout.millisecs | Cassandra游泳池以毫秒为单位超时 | 5000 |
cassandra.protocol.version | Cassandra二进制协议版本 | 4 |
cassandra.query.default.consistency | Cassandra查询默认一致性级别 可用值：ONE，TWO，THREE，QUORUM，LOCAL ONE，LOCAL QUORUM，EACH QUORUM，ALL | ONE |
cassandra.query.default.fetchSize | Cassandra查询默认提取大小 | 5000 |
cassandra.query.default.serial.consistency | Cassandra查询默认串行一致性级别 可用值：SERIAL，LOCALSERIAL | SERIAL |
cassandra.reconnection.policy | Cassandra重新连接政策。Default = new ExponentialReconnectionPolicy(1000, 10 * 60 * 1000) 要指定自己的策略，请提供策略的完全限定类名（FQCN）。 在运行时，解释器将使用Class.forName（FQCN）实例化策略， | DEFAULT |
cassandra.retry.policy | Cassandra重试政策 Default = DefaultRetryPolicy.INSTANCE要指定您自己的策略，请提供您的策略的完全限定类名（FQCN）。在运行时，解释器将使用Class.forName（FQCN）实例化策略， | DEFAULT |
cassandra.socket.connection.timeout.millisecs | Cassandra套接字默认连接超时（毫秒） | 500 |
cassandra.socket.read.timeout.millisecs | Cassandra套接字以毫秒为单位读取超时 | 12000 |
cassandra.socket.tcp.no_delay | Cassandra套接字TCP没有延迟 | true |
cassandra.speculative.execution.policy | Cassandra投机执行政策 Default = NoSpeculativeExecutionPolicy.INSTANCE要指定您自己的策略，请提供策略的完全限定类名（FQCN）。 在运行时，解释器将使用Class.forName（FQCN）实例化策略。 | DEFAULT |
更改日志
3.0 （Zeppelin 0.7.1）：
- 更新文档
- 更新交互式文档
- 添加对二进制协议V4的支持
- 实现新的
@requestTimeOut运行时选项 - 将Java驱动程序版本升级到3.0.1
- 允许解释器在使用FormType.SIMPLE时以编程方式添加动态表单
- 允许动态窗体使用默认的Zeppelin语法
- 在FallThroughPolicy上修正打字错误
- 在创建动态表单之前，请先查看AngularObjectRegistry中的数据
- 添加缺少的
ALTER语句支持
2.0 （Zeppelin 0.7.1）：
- 更新帮助菜单并添加更改日志
- 添加对用户定义函数，用户定义的聚合和物化视图的支持
- 将Java驱动程序版本升级到3.0.0-rc1
1.0 （Zeppelin 0.5.5-孵育）：
- 初始版本
错误和联系人
如果您遇到这个解释器的错误，请在@doanduyhai创建一个JIRA票，并在Twitter上打我一下。