首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >IDEA中运行Topology

IDEA中运行Topology

作者头像
ZONGLYN
发布2019-08-08 14:53:01
7200
发布2019-08-08 14:53:01
举报
文章被收录于专栏:程序萌部落程序萌部落

基本调试过程

现在IDEA编译成功topo后,使用WinSCP将打包好的包传到主节点

注意:打包之前–要讲 [ 本地模式 ] 改为 [ 集群模式 ]

//本地测试模式           
LocalCluster cluster = new LocalCluster();
    cluster.submitTopology("firstTopo", conf, builder.createTopology());
    Utils.sleep(100000);
    cluster.killTopology("firstTopo");
    cluster.shutdown();
    //集群提交模式
    StormSubmitter.submitTopology("firstTopo", conf, builder.createTopology());

storm.yaml文件中的seeds选项不能与host同时存在 如果同时存在,则storm运行时会出错:提交任务找不到主类等等

修改storm配置中的UI端口,只能!在nimbus中修改 在supervisor中修改会导致supervisor启动不了,会报一下错误

Caused by: while scanning a simple key
 in 'reader', line 32, column 2:
     ui.port = 8000
     ^
could not found expected ':'
 in 'reader', line 33, column 1:
    #

package是把jar打到本项目的target下, install时把target下的jar安装到本地仓库,供其他项目使用 此处使用 先clean再使用pakage打包

storm jar  simple-1.0.jar Random.FirstTopo
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.test</groupId>
    <artifactId>simple</artifactId>
    <version>1.0</version>
    <packaging>jar</packaging>
    <name>simple</name>
    <url>http://maven.apache.org</url>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>
    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-core</artifactId>
            <version>1.0.1</version>
            <scope>compile</scope>  
            //引入依赖的方式默认[没有scope]为compile,意为最后打包无需包含此依赖,
            //provided必须显式写出scope[打包时会包含依赖]
        </dependency>
    </dependencies>
    <build>
        <plugins>
            //可删去
            <plugin>  
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.3.2</version>
                <configuration>
                    <source>1.8</source>              
                    //实测此处的1.8没有什么用处,改成1.6也行,但是最好改成与系统一致的jdk版本
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
            <plugin>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.4</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>
截图.png-328.3kB
截图.png-328.3kB

Random包下有三个文件,则再提交时,main入口class应为 Random.FirstTopo 提交命令中的jar应为上图中的simple-1.0.jar simple-1.0.jar 5 KB simple-1.0-jar-with-dependencies.jar 24735 KB src/main/java/Random : src,main,java都不算路径,Random才对应eclipse中的package

运行组合用例

Object : kafka-storm-demo
Assign:
 
[IDEA] 打包的时候要改为 集群 模式
[IDEA] 修改topic的名称
[IDEA] 验证成功与否需要在console中查看System.out的输出
[Attention!] 此实例可以放在集群中提交,但是在集群中无法验证是否执行成功
  因为代码中只有 [ 系统输出 ] 在集群中提交并不会将输出写入日志,
  也就是说,查看日志等方法无法知道是否执行成功,唯一的方式是
  在IDEA的调试窗口看输出。
[Prepare] IDEA运行程序
[Prepare] CRT_1开启flume
[Prepare] CRT_2开启kafka-consumer
[Prepare] CRT_3开启shell脚本循环写log文件(模拟生产)
[Process-1] CRT_3循环写log,文本 => logg.log								[会在界面输出]
[Process-2] CRT_1监控logg文件,文本 => logg.log => flume					[输出同上一致]
[Process-3] flume充当producer,文本 => logg.log => flume => kafkaproducer
[Process-4] storm获取产生数据并处理,文本 => logg.log => flume => kafkaproducer => storm
[Process-5] 数据被订阅方consumer接收,文本 => logg.log => flume => kafkaproducer => storm => kafkaconsumer
flume+kafka+storm
[do] topic:test 上述各方的topic要一致,不一致要在代码中改过来
[do] cd cmd  => sh logg.sh			                                        
                                                                            打开脚本生产数据[1]
[do]应有的终端窗口 flume | consumer | shell-log | idea-console 									
[do] bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name producer -Dflume.root.logger=INFO,console			                                
                                                                            开启flume[2]
[do] kafka-console-producer.sh --broker-list hadoop01:9092 --topic test     开启消费者[3]
[do] storm jar simple-1.0.jar Skafka.KafkaTopologytest						提交任务[4]
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017-03-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 基本调试过程
  • 运行组合用例
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档