首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Xen4.0环境下安装虚拟机

安装HVM Guest时,需要VT技术支持,检测方式可以通过1)cat /proc/cpuinfo查看flags项中是否包含vmx或者svm;2)xm info查看virt_caps项是否含hvm 1、 资源准备 修改/etc/xen/xend-config.sxp 把vnc监听地址改成0.0.0.0 系统安装镜像文件: WIN_2003_SP2.iso 2、 制作虚拟硬盘 # dd if=/dev/zero of=vmdisk.img bs=1M seek=4096 count=1 3、 制作虚拟机配置文件 拷贝系统配置文件 # cp /etc/xen/xmexmple.hvm ./windows.hvm 修改配置文件 name = "xpsp3"      #虚拟机名称 vif = [  'type=ioemu, bridge=xenbr0' ]   # 网桥配置 disk = [ 'file:/home/wq/p_w_picpath/pv/hvm/vmdisk.img,ioemu:hda,w', 'file:/home/wq/ WIN_2003_SP2.iso,hdc:cdrom,r']       #前面一个是虚拟硬盘的位置,后面一个是系统装镜像文件所在位置 boot=cd                #设置默认系统启动位置 CD-ROM(d)  hard-disk(c) vncconsole=1       #类似xm cr -c 中的-c功能,使系统启动之后自动通过vnc连接到虚拟机窗口 usbdevice='tablet'   #可以解决鼠标漂移问题 sdl = 1 #使用sdl方式时,不会出现两个鼠标,使用Alt+Ctrl进入或出来,关掉窗口就关掉了虚拟机 -------------------------------------------------------------------- kernel='hvmloader' builder='hvm' memory=3072 name='xen-hvm' vif=['mac=00:30:48:35:48:e8,bridge=eth0'] disk=['phy:/dev/lvm-xen/xen-hvm,hda,w', 'file:/opt/debian-6.0.2.1-amd64-CD-1.iso,hdc:cdrom,r'] device_model='qemu-dm' boot='dc' sdl=0 vnc=1 vncunused=1 vncdisplay='1' nographic=0 localtime=1 stdvga=0 vcpus=2 apic=0 acpi=1 4、 虚拟机安装 启动虚拟机 # xm cr windows.hvm 下面是熟悉的windows系统安装界面操作,此处省略

01

Flume 整体介绍

Flume 数据采集         概述:             Flume 是一个数据采集工具,主要可以理解为对日志数据或者其他数据的采集。可以对例如日志数据进行采集传输到我们想要传输的地方,比如从本地文件系统采集数据到HDFS的HIVE目录下获取HDFS的其他目录,提供HIVE进行数据分析。             Flume运行方式为Agent Flume,如果有多个数据源,并且文件系统,则需要启动多个Agent Flume 进行数据采集。         组成:             Flume有三大组件:Source,Channel,Sink,             Source:指定采集数据源,类型:spooldir(本地系统),MySql,                 Source 不仅仅可以定义数据源信息,还可以定义检索文件类型,或者自定义文件获取方式             Channel:通道,通过Channel连接Source和Sink,中间作缓冲,提供适配,类型:Memery,File,JDBC                 Channel 还可以指定文件缓存大小             Sink:指定数据输出目标系统,类型:HDFS,Hive,HBase                 如果Sink输出为HDFS,Hive,则还可以指定文件大小,文件前后缀,文件读写周期等。         安装:             1. 解压Flume安装包             2. 配置系统配置文件 flume-site.xml(FADOOP_HOME,HDFS_HOME,ZooKeeper_HOME),之所以分开是因为Flume是Cloudra提供的,他把HDFS与MapReduce分开了,他提供了整合了的HADDOOP 大数据平台运行框架,更加方便部署。也有可能需要指定HBASE,HIVE等。             3. 配置数据采集业务配置文件  ***.xml             4. 启动Flume         运行机制:Flume通过Agent 方式运行数据采集,可以部署在多台机器,主要根据数据源存储形态来具体决定,如果数据源为多个文件系统,则需要运行多套Agent来采集,如果数据源为Mysql,则一个Agent就够了。Flume通过配置文件定义数据的采集-Source阶段,数据缓存-Channel阶段,及数据发送-Sink阶段。首先Source读取数据文件到Channel,Channel缓存起来,达到触发条件(触发条件自己定义或者默认)则会发动到Sink端进行保存,Sink端对发送的数据也定义定,包括存储文件大小,名称,前后缀等。         重点:             业务配置文件 ***.xml : 一个xml文件里面可以定制多套 FCS流程,即在定义时可以同时存在几套FCS流程在XML文件中,我们在启动Flume时需要指定FCS流程的名称来区分             多级Agent:我们可以指定多个Agent进行关联操作,即一个Agent的Sink输出为另一个Agent的Source输入。             比如Agent1为Agent2 提供输入,则Agent1 输出类型为:Avro Source,Qgent1的输入类型可以为任何允许的输出,Agent2的 输入类型为 :Avro SinK,Agent2的输出类型为允许的任何输出。             Flume是基于事务的,可以保证数据的传输时发送与接受的一致性。         Sample:

01
领券