首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Phoenix index 二级索引

一、索引的创建 通过二级索引,索引的列或表达式形成一个备用行键,以允许沿着这个新轴进行点查找和范 围扫描。 (1)覆盖索引 覆盖索引,一旦找到索引的条目,不需要返回主表,会把我们关心的数据绑定到索引行,节 省读取的开销。 例如:以下内容将在v1和v2列上创建一个索引,并在索引中包含v3列,以防止从原始数据 表中获取该列: CREATE INDEX my_index ON my_table(v1,v2)INCLUDE(v3) (2)功能索引 功能索引,允许您不仅在列上而且在任意表达式上创建索引。然后,当一个查询使用该表达 式时,索引可以用来检索结果而不是数据表。 例如:在EMP上创建索引UPPER_NAME_IDX(UPPER(FIRST_NAME ||''|| LAST_NAME)) 有了这个索引,发出下面的查询时,将使用索引而不是数据表来检索结果: SELECT EMP_ID FROM EMP WHERE UPPER(FIRST_NAME ||''|| LAST_NAME) ='JOHN DOE' (3)全局索引 全局索引适合读操作任务重的用例。使用全局索引,索引的所有性能损失都是在写入时发生 的。我们拦截数据表更新写(DELETE,UPSERT VALUES和UPSERT SELECT),建立索引 更新,然后发送任何必要的更新到所有感兴趣的索引表。在读的时候,phoenix会选择索引 表,然后使用它,这使得查询加快并且直接可想其它表一样scan索引表。默认情况下,除 非暗示,否则索引不会用于引用不属于索引的列的查询。 在用使用全局索引之前需要在每个RegionServer上的hbase­site.xml添加如下属性: 注意:如果使用的是ambari或者cloudera搭建的集群,可直接创建全局或本地索引,这些配置文件已经配置好了 <property> <name>hbase.regionserver.wal.codec</name> <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value> </property> CREATE INDEX USERIDINDEX ON CSVTABLES(USERID); 以下查询会用到索引 SELECT USERID FROM CSVTABLES WHERE USERID='9bb8b2af925864bb275b840c578df3c3'; (4)本地索引 本地索引适用于写多读少,空间有限的场景,和全局索引一样,Phoneix在查询时会自动选 择是否使用本地索引,使用本地索引,为避免进行写操作所带来的网络开销,索引数据和表 数据都存放在相同的服务器中,当查询的字段不完全是索引字段时本地索引也会被使用,与全局索引不同的是,所有的本地索引都单独存储在同一张共享表中,由于无法预先确定 region的位置,所以在读取数据时会检查每个region上的数据因而带来一定性能开销。 在使用本地索引需要在Master的hbase-site.xml添加以下属性 注意:注意本地索引与全局索引的区别,全局只有在,select和where中都为索引才会使用索引 复制代码 <property> <name>hbase.master.loadbalancer.class</name> <value>org.apache.phoenix.hbase.index.balancer.IndexLoadBalancer</value> </property> <property> <name>hbase.coprocessor.master.classes</name> <value>org.apache.phoenix.hbase.index.master.IndexMasterObserver</value> </property> 复制代码 Phoeinx4.3以上为支持在数据region合并时本地索引region也能进行合并需要在每个 region servers中添加以下属性 <property> <name>hbase.coprocessor.regionserver.classes</name> <value>org.apache.hadoop.hbase.regionserver.LocalIndexMerger</value> </property> 创建本地索引 CREATE LOCAL INDEX MYINDEX ON CSVTABLES(USERID); 删除索引 CREATE LOCAL INDEX MYINDEX ON CSVTABLES(KEYWORD); 如果表中的一个索引列被

01

哥伦布编码

哥伦布编码解码 UINT GetUeValue(BYTE *pBuff, UINT nLen, UINT &nStartBit) {     //计算0bit的个数     UINT nZeroNum = 0;     while (nStartBit < nLen * 8)     {         if (pBuff[nStartBit / 8] & (0x80 >> (nStartBit % 8)))         {             break;         }         nZeroNum++;         nStartBit++;     }     nStartBit ++;     //计算结果     DWORD dwRet = 0;     for (UINT i=0; i<nZeroNum; i++)     {         dwRet <<= 1;         if (pBuff[nStartBit / 8] & (0x80 >> (nStartBit % 8)))         {             dwRet += 1;         }         nStartBit++;     }     return (1 << nZeroNum) - 1 + dwRet; } 1. H.264/AVC标准规定了一系列编码方法,用于把符号编码成二进制比特流。这些方法包括: FLC (定长码) ExpG (指数哥伦布码) CAVLC CABAC 位于Slice data级别之上的符号,使用FLC或ExpG编码。 2. ExpG依据变字长编码理论。在变字长编码中,编码器的编码输出码字是长度不等的码字。大概率出现的信息符号,赋以短字长的码字;小概率出现的信息符号,赋以长字长的码字。 ExpG码字的二进制结构如下: [前导零][1][INFO] 码字包含M个前导零(M>=0),         bit 1,         M-bit信息域INFO。 根据输入的参数code_num,ExpG码的编码过程是: M = floor(log2(code_num + 1)) INFO = code_num + 1 - 2^M 相应的,解码过程是: (1) 读取一系列连续的bit 0直到bit 1,记录bit 0的个数(M), (2) 读取bit 1 (3) 读取M-bit = INFO (4) code_num = 2^M + INFO - 1 由此,ExpG的码字长度是2M+1比特。 3. 映射 H.264的语法参数k通过4种方式映射为code_num,然后对code_num使用ExpG编码,生成二进制码字。 4种映射方式: ue 无符号直接映射,code_num = k te 截断映射 se 有符号映射,code_num = 2|k| (k<=0)                code_num = 2|k| - 1 (k>0) me 根据标准中指定的表 4. ExpG解码的实现与优化 以FFMpeg中的get_ue_golomb()函数为例,ExpG的解码算法的优化既考虑运算量又考虑存储空间。 (1) 根据当前二进制ExpG码的比特地址index,读取n-bit的二进制数据到32-bit buf。 buf = swap32(*(uint32_t *)((uint8_t *)bit_stream + (index>>3))) << (index&0x07) swap32()的作用是在按32位读取bit stream时,处理大尾数、小尾数的转换。 -------------------------- | index%8 | buf的有效位n | -------------------------- | 0       | 32-bit       | -------------------------- | 1       | 31-bit       | -------------------------- | 2       | 30-bit       | -------------------------- | 3       | 29-bit       | -------------------------- | 4       | 28-bit       | -------------------------- | 5       | 27-bit       | --------------------------

02
领券