【HBase】HBase表的设计及与生态系统中其他框架的集成
(3)创建t1表,列簇为f1,最大版本数为1,表的生存时间为2592000,使用blockcache缓存hbase表中读写的数据:
【HBase】HBase各功能组件、集成MapReduce的方式及数据迁移
(1)在/opt/modules/hadoop-2.5.0/etc/hadoop/hadoop-env.sh文件中添加环境变量
【HBase】HBase的物理模型及数据存储
(1)Table在行的方向上分割为多个Region。
(2)Table中的所有行都按照row key的字典序排列,根据rowkey存储在不同的Region上。
(3)Region是按大小分割的,每个表开始只有一个region,随着数据增多,region不断增大,当增大到一个阈值的时候,region就会等分成两个新的region,之后会有越来越多的region。
(4)Region是HBase中分布式存储和负载均衡的最小单元。不同Region分布到不同RegionServer上。移动的时候是移动一个Region,进行不同RegionServer之间的负载均衡。
(5)Region虽然是分布式存储的最小单元,但并不是存储的最小单元,存储的最小单元是Cell。Region由一个或者多个Store组成,每个store保存一个columns family列簇。每个store又由一个memStore和0至多个StoreFile组成。memStore存储在内存中,StoreFile存储在HDFS上。memStore是内存中划分的一个区间,StoreFile是底层存储在HDFS上的文件。
(6)每个column family存储在HDFS上的一个单独文件中。Key和Version number在每个column family中均有一份。空值不会被保存。
V2V Data Offloading for Cellular Network Based on the SDN Inside MEC Architecture 学习笔记
1、这篇文章发表于2018年3月的《IEEE Access》,《IEEE Access》是一个SCI期刊,一作CHUNG-MING HUANG是台湾国立成功大学的教授。
2、数据卸载是用来解决蜂窝网络中的移动数据爆炸问题。这篇文章提出了卸载蜂窝网络的车辆信息流量到VANET中的V2V路径上。设计了一个结合SDN和MEC的体系结构SDNi-MEC,来处理VANET V2V卸载的问题。在SDNi-MEC体系结构中,每个车辆向SDNi-MEC服务器中的信息库报告车辆信息,SDNi-MEC服务器中的SDN控制器计算当前用蜂窝网络互相通信的两个车辆之间的V2V路径。提出的方法:(1)使用每个车辆的信息;(2)采用中心化的管理策略计算两个车辆之间的V2V路径,并通知沿途车辆。(3)试图为当前使用蜂窝网络互相通信的两个车辆建立一个VANET路由路径。性能分析显示,在中等车辆密度的实验场景中,基于SDNi-MEC的卸载方案较对比方案有更好的性能。
我的方案:(1)可以使用每个车辆的信息:GPS获得位置、速度、方向和车辆x可以检测到的周围车辆的ID。(2)可以使用一个中心化的服务器,进行V2V路径的计算和生成,并收集车辆发来的信息。(3)本文使用计算出来的V2V路径进行数据卸载,进行两辆车之间的通信。我使用计算出来的V2V路径进行任务执行,选择最佳路径,进行多跳的任务执行。
3、VANET中的三种通信范式:vehicle to infrastructure (V2I),vehicle to vehicle (V2V),vehicle to infrastructure to vehicle (V2I2V)。
V2I范式:<1>车辆从远程服务器下载数据;<2> 车辆和基础设施侧或基站侧的对等实体进行通信。
V2V范式:两个车辆通过k跳的车辆ad hoc路径互相通信。
V2I2V范式:V1和V2之间的通信路径为:V1 <-> BS/RSU <-> 核心网络/骨干网络 <-> BS/RSU <-> V2。
V2I2V范式是本文使用的通信范式,实验中的车辆装配有蜂窝网络接口和802.11p网络接口。车辆x和y通常使用蜂窝网络通信,当存在一条V2V路径时,x和y就卸载其通过蜂窝网络的通信到基于802.11p的V2V通信。
【Hive】Hive的企业级优化及实战案例
语法格式:EXPLAIN [EXTENDED|DEPENDENCY] query
语句示例:explain select deptno, avg(sal)avg_sal from emp group by deptno ;
【Hive】Hive中的HiveServer2、Beeline及数据的压缩和存储
HiveServer2的作用:将hive变成一种server服务对外开放,多个客户端可以连接。
【Hadoop】Hadoop 2.x 和 Hadoop 3.x 完全分布式环境搭建
克隆虚拟机前需要关闭所有正在运行的服务进程,然后关闭系统。克隆需要选择完整克隆。
克隆出两台虚拟机,共三台。
克隆后需要修改配置:
(1)修改/etc/sysconfig/network中的HOSTNAME,使得三台虚拟机的hostname不同(永久生效)。
(2)/etc/udev/rules.d/70-persistent-net.rules中将NAME=eth1改为eth0,修改MAC地址,因为MAC地址是唯一的。
(3)将修改后的MAC地址拷贝到/etc/sysconfig/network-scripts/ifcfg-eth0文件中,并在该文件中设置IP地址。
(4)在/etc/hosts中设置主机名和IP地址的映射。三台虚拟机的映射都要有。
(5)重启网络服务:service network restart。
【Hadoop】MapReduce 的应用场景
MapReduce中的所有数据类型都统一地实现了writable接口,以便用这些类型定义的数据可以被序列化进行网络传输和文件存储。当程序间传递对象或者持久化对象的时候,就需要序列化对象成字节流,writable就是Hadoop中序列化的格式。
【NDN IoT】Caching in Named Data Networking for the Wireless Internet of Things 全文翻译
Mohamed Ahmed Hail *, Marica Amadeo+,Antonella Molinaro+, Stefan Fischer*
【NDN基础】Information-Centric Networking: A Natural Design for Social Network Applications 学习笔记
本文主要介绍了信息中心网络(ICN)、内容中心网络(CCN)、社交网络应用程序(Twitter、Facebook)和将ICN应用于Social Network Applications的优势,并将其与CDN应用于Social Network Applications做对比,最后,做了基于CCN和基于CDN的tweet delivery的模拟实验。
【NDN基础】Information-Centric Networking: A Natural Design for Social Network Applications 全文翻译
Bertrand Mathieu,Patrick Truong, Wei You, and Jean-François Peltier
【NDN IoT】Building an On-ramp for the Internet of Things 全文翻译
物联网正处于婴儿期,与万维网使因特网成为一种必不可少的通讯、商业和娱乐工具之前因特网的状态相似。为使得物联网变得实际有用,我们需要一种相似的革新。这篇文章定义了今天物联网涉及发现和控制的一些重要的问题,并提出了一些基于我们叫做物理Web的概念的解决方案,即一个物联网网络技术的集成。
【NDN转发】Community Aware Content Retrieval in Disruption Tolerant Networks 全文翻译
You Lu, Mario Gerla, Tuan Le, Vince Rabsatt,Haik Kalantarian
【NDN IoT】NDN-ACE: Access Control for Constrained Environments over Named Data Networking 全文翻译
Wentao Shang*, Yingdi Yu*, TengLiang+, Beichuan Zhang+, Lixia Zhang*
Windows Server 2003 报错:”NTDETECT 失败“ 和 “文件或目录损坏且无法读取,请运行chkdsk工具”
在安装“一键还原精灵”软件,并对C盘进行GHOST备份成功后,想要对D盘也进行GHOST备份,可是报错不能备份。
在CTeX上编码论文《杂谈勾股定理》及论文式样
\documentclass[UTF8]{ctexart}
Eclipse连接SQL Server 2008与连接SQL Server 2000代码的不同及连接2008过程中遇到的问题
【报错】HTTP Status 500 - java.lang.UnsupportedOperationException: 此驱动程序不支持 Java Runtime Environment (JRE) 1.8 版。请使用支持 JDBC 4.0 的 sqljdbc4.jar 类库。
【NDN基础】Networking Named Content 问题汇总
原文:(1)Availability: Fast, reliable content access requires awkward, pre-planned,application-specific mechanisms like CDNs and P2P networks, and/or imposesexcessive bandwidth costs.
【NDN基础】Networking Named Content 全文翻译
网络使用逐步演化为对内容的分发和获取,然而现今网络技术仅仅涉及主机之间的连接。访问内容和服务需要把用户关心的东西映射到网络的位置。我们提出内容中心网络,它把内容看作原语,在身份识别、安全和可访问性上与位置去耦合,并且通过名字获取内容。内容中心网络使用新的方法路由命名的内容,这些方法是从IP衍生出来的,通过这些方法,我们能够同时获得可扩展性、安全性和性能。我们用安全文件下载系统和VoIP电话系统具体实现了体系结构的基本特征、表现力和性能。