首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Storm无法在Windows Server上使用"supervisor.run.worker.as.user: true“选项启动

Storm是一个分布式实时计算系统,用于处理大规模实时数据流。它是一个开源项目,由Apache基金会进行维护。Storm可以在Linux和Windows操作系统上运行,但是在Windows Server上使用"supervisor.run.worker.as.user: true"选项启动时会遇到问题。

"supervisor.run.worker.as.user: true"选项是用来指定Storm的worker进程以特定用户身份运行。然而,在Windows Server上,由于操作系统的限制,Storm无法以用户身份运行worker进程。因此,无法在Windows Server上使用该选项启动Storm。

解决这个问题的方法是在Windows Server上以管理员身份运行Storm的worker进程,而不是以特定用户身份运行。这样可以绕过操作系统的限制并正常启动Storm。

Storm的优势在于其高可靠性、可扩展性和容错性。它可以处理大规模的实时数据流,并提供实时的数据处理和分析能力。Storm广泛应用于实时数据分析、实时监控、实时报警等场景。

腾讯云提供了一系列与Storm相关的产品和服务,例如腾讯云流计算Storm版。该产品基于Apache Storm,提供了稳定可靠的流计算服务,支持高并发、低延迟的实时数据处理。您可以通过访问腾讯云流计算Storm版的官方网页(https://cloud.tencent.com/product/scs)了解更多信息。

总结:在Windows Server上,Storm无法使用"supervisor.run.worker.as.user: true"选项启动,解决方法是以管理员身份运行worker进程。Storm是一个分布式实时计算系统,具有高可靠性、可扩展性和容错性。腾讯云提供了与Storm相关的产品和服务,例如腾讯云流计算Storm版。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Windows 使用 ConEmu 命令行终端打开多窗口启动 Redis 服务

由于开发机器是 Windows 系统,每天启动计算机都需要重新开启 Redis 服务很麻烦。 于是计划写个简单的 batch 脚本,能在桌面点击脚本完成启动和连接 Redis 服务的功能。...batch 实现 基础知识 batch 脚本中输入使用的命令默认的都会打开系统自带的命令行工具(Win + R)如: 有一个 cd_redis.bat 脚本: :: 进入 Redis 安装目录 ::...version 1.0 :: @author huliuqing echo 'Enter in redis install directory...' cd E:\redis2.4.5 pause 使用...ConEmu 打开多个窗口并启动 Redis 服务 需要解决的问题是: 进入并启动 ConEmu 命令行程序 ConEmu 中运行命令 能够一个 batch 脚本中开启多个窗口 最终的 batch...Three tabs" "E:\Program Files\ConEmu\ConEmu.exe" /cmdlist ^> cmd -cur_console:d:E:\redis2.4.5 /c redis-server

3.2K20

Apache Storm使用

每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。...JVM options: 用于配置Storm使用JVM参数 [注] yaml 文件的配置使用“-”来表示数据的层次结构,配置项的:后必须有空格,否则该配置项无法识别 集群配置示例如下: ##...以下是启动Storm各个后台进程的方式: Nimbus: Storm主控节点运行 nohup storm nimbus & 启动Nimbus后台程序,并放到后台执行; Supervisor: Storm...各个工作节点运行nohup storm supervisor & 启动Supervisor后台程序,并放到后台执行; UI: Storm主控节点运行nohup storm ui & 启动UI后台程序...经测试,Storm UI必须和Storm Nimbus 部署同一台机器,否则UI无法正常工作,因为UI进程会检查本机是否存在Nimbus链接。

34610

Storm集群安装详解

以下是启动Storm各个后台进程的方式: Nimbus: Storm主控节点运行”bin/storm nimbus >/dev/null 2>&1 &”启动Nimbus后台程序,并放到后台执行; Supervisor...: Storm各个工作节点运行”bin/storm supervisor >/dev/null 2>&1 &”启动Supervisor后台程序,并放到后台执行; UI: Storm主控节点运行”...经测试,Storm UI必须和Storm Nimbus部署同一台机器,否则UI无法正常工作,因为UI进程会检查本机是否存在Nimbus链接。...经测试,Storm UI必须和Storm Nimbus部署同一台机器,否则UI无法正常工作,因为UI进程会检查本机是否存在Nimbus链接。...使用maven或lein解决storm-starter的包依赖问题,但是由于GFW原因,可能有些依赖包无法获取。

1.8K10

快速部署DBus体验实时数据流计算

1.3 创建app用户及配置SSH免密登录 由于dbus启动拓扑采用的ssh调用storm命令,all in one包中默认的调用ssh使用app用户和22端口,因此要正常体验all in one需要创建...切换到root用户,influxdb-1.1.0.x86_64.rpm的存放目录下执行如下命令: rpm -ivh influxdb-1.1.0.x86_64.rpm 2.2.3 启动 dbus-n1...执行如下命令: service influxdb start 2.2.4 初始化配置 dbus-n1执行如下命令: #登录influx influx #执行初始化脚本 create database...5.2 Dbus Keeper配置相应的结构化规则和查看规则执行后的结果 提取规则如下图: ? 规则执行后结果 ?...体验管理员功能,请使用用户:admin 密码:12345678 管理员界面如下: ? 体验租户功能,请使用用户:user@dbus.com 密码:12345678 租户界面如下: ?

1.5K20

主流大数据技术全体系参数与搭建与后台代码工程框架的编写(百分之70)

True启动态参数配置 spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 1s 启动executor的时间间隔 启动脚本: /usr...启动HBase时,将会自动加载该配置文件。...storm-deploy项目中使用,用来配置supervisor守护进程的jvm选项 supervisor.heartbeat.frequency.secs : 5  supervisor心跳发送频率...对于consumer而言,它需要保存消费消息的offset(如果不指定则存储默认的zookeeper目录kafak-broker),对于offset的保存和使用,由consumer来控制。...事实consumer可以使用任意顺序消费消息,它只需要将offset重置为任意值。 kafka集群几乎不需要维护任何consumer和producer状态信息,这些信息由zookeeper保存。

1.3K30

Storm和Zookeeper集群搭建及java项目中的使用

一篇: Kafka 单机和分布式环境搭建与案例使用 介绍了分布式Zookeeper集群的搭建和Kafka集群的搭建,接下来学习一下Storm集群的搭建。...分别下载到3台服务器,然后解压到自己合适的位置,我这里都是:/home/xuliugen/server 2、配置Storm 配置文件:/home/xuliugen/server/apache-storm...Storm启动与应用 1、Storm命令 启动命令:/home/xuliugen/server/apache-storm-1.1.0/bin 文件夹下, ? 以上列出了所有可以执行的命令模式。...3、启动Storm UI Storm UI这可以启动nimbus的机器运行,这里是:xuliugen129,启动如下: ? 启动之后,jps如下: ?...、网上收集或其他作者投稿,对于网上收集部分除非确实无法确认,我们都会注明作者和来源。

56730

大数据实时处理实战

Supervisor:是Storm集群的slave节点,负责接受nimbus分配的任务,启动和停止属于自己管理的worker进程,是真正意义的分布式计算节点。 ?...=6000#是否能够删除topic的配置,默认false不能删除topicdelete.topic.enable=true Kafka服务启动:jps命令可以看到kafka的进程名,说明kafka已经成功启动...c)Storm集群安装及配置 http://storm.apache.org/下载Storm安装包,建议使用Storm 0.10.0 released以上版本,因为最新版本修正了很多bug,特别是STORM...从图六Topology Summary中可以看出,集群已经发布了7个Topology,每个Topology占用的worker资源,启动的executor线程数,具体资源占用多少是Storm Topology...究其原因是某个Hdfs节点,Yarn任务正在进行Reduce操作,用iostat -x 1 10命令查看,Yarn的中间盘I/O长时间被100%占用,同时Yarn的中间盘也是Hdfs的数据盘,导致写入请求无法响应

2.2K100

Twitter Storm安装配置(Ubuntu系统)单机版

supervisor & bin/storm ui & 如果我们没有为storm添加环境变量,那么启动的时候,我们就需要使用绝对路径或相对路径来定位/chenny/Storm/storm-0.8.2...启动完成后,我们可以使用jps来查看进程状态: >>jps    没有运行任务时,我们必须应该要看到5个进程:QuorumPeerMain、nimbus、core、Jps、supervisor。...MyFirstStormApp右键,选择Import,然后选择File System: ? From Directory中输入相应的路径或者点击Browse,选择路径: ?...image.png 可以看到上面有很多红叉,此时,我们就需要导入项目所依赖的jar包,项目右键,选择Properties,然后Java Build Path,切换到Libraries选项夹下,...打包后的jar包是MyFirstStormApp.jar,将它拷贝到部署有Storm的机器(/usr/local/storm-0.8.2目录下),然后终端中输入:  >>bin/storm jar

59550

storm集群部署

根据 dataDir 和 dataLogDir 变量创建相应的目录,建议优先创建,因为有可能使用的 linux 账户权限不足,zookeeper 无法自动创建这几个目录。...server.A 中 A 的数值,不同机器的该文件中填写相应的值。...bin/storm supervisor >/dev/null 2>&1 & 172.24.132.174 后台运行 storm ui storm ui 得要在 nimbus 机子运行,不能够...supervisor 机子运行 bin/storm ui >/dev/null 2>&1 & 测试 storm 集群 使用 storm 自带测试例子测试,从 github 下载工程到本地: git clone...将 storm 服务器版本修改为 1.0.0 即可解决问题 有多个 supervisor 但 storm ui 只显示一个 具体现象就是启动了多个 supervisor,单在 ui 只显示一个(也有可能是多个

1.7K30

Java程序员的实时分析系统基本架构需要注意的有哪些?

配置完上面的配置文件后,只要分别在节点输入下面命令启动Kafka进程就可以使用了 > bin/kafka-server-start.sh config/server-1.properties & .....接下来就是将配置文件拷贝到集群的各个机器,然后分别在nimbus和supervisor机器通过$bin/storm nimbus 和 $bin/storm supervisor命令来启动集群的机子...最后nimbus通过$bin/storm UI 命令可以启动Storm提供的UI界面,功能十分强大,可以监控集群各个节点的运行状态,提交Topology任务,监控Topology任务的运行情况等。...同时导入storm-core, storm-kaka和kafka的依赖包的时候可能会出现jar包冲突导致无法初始化Log4jLoggerFactory,并无法启动Storm程序. 6.png 也很简单,...7.png  6、kafka使用的时候的小问题: 当在一台机子启动kafka producer客户端的时候,是无法同一台机子继续启动kafka的consumer客户端的,因为这两个进程可能占用的同一个端口

44100

搭建storm集群

除了修改 zoo.cfg 配置文件,集群模式下还要配置一个文件 myid,这个文件 dataDir 目录下,这个文件里面就有一个数据就是 A 的值,Zookeeper 启动时会读取这个文件,拿到里面的数据与...最重要的一点,关闭防火墙,centos7比较坑,他有双重防火墙 entos 7版本以后默认使用firewalld后,按以前关于iptables的设置方法已经不管用了!!!...:/software/ 分别在三台机子,把storm加入环境变量 /etc/profile加入 JAVA_HOME=/software/jdk1.7.0_80 STORE_HOME=/software...lib.tools.jar 主机centos开启nimbus进程 storm nimbus & 另外两台机子开启supervisor 进程 storm supervisor & 开启完按...centos主机上开启 storm ui & storm logviewer & 这样就可以通过web查看storm部署情况了 访问http://192.168.52.142:8080/

1.1K70

Storm Client开发日志【1】

最近抽出了不少业余时间来开发一个新的项目Storm(一个使用 Solid.js 和 Tauri 开发的跨平台 Rest 客户端),简单记录一下开发过程。...这些应用都是基于 Electron 开发的,但本人十分抗拒在电脑安装除了 VS Code 之外的第二个 Electron 应用(出于 Electron 应用的体积、启动速度和内存占用的缘故)。...我现在一般使用 VS Code 的Thunder Client插件进行接口测试,大部分简单场景下已经足够用了。...不过我还是遇到了一个坑, Windows 环境下,配置读取用户目录的权限只需要简单的通配符就可以了。...} } } } 总结 使用 solid.js 和 tauri 进行跨平台桌面应用的开发体验还是相当不错的,构建出的应用在体积、内存占用、启动时间的表现也都很优秀。

36150

最简单流处理引擎——Kafka Streams简介

Storm低延迟,并且市场中占有一定的地位,目前很多公司仍在使用。 Spark Streaming借助Spark的体系优势,活跃的社区,也占有一定的份额。...而Flink设计更贴近流处理,并且有便捷的API,未来一定很有发展。但是他们都离不开Kafka的消息中转,所以Kafka于0.10.0.0版本推出了自己的流处理框架,Kafka Streams。...优势: 弹性,高度可扩展,容错 部署到容器,VM,裸机,云 同样适用于小型,中型和大型用例 与Kafka安全性完全集成 编写标准Java和Scala应用程序 Mac,Linux,Windows开发...使用ZooKeeper,因此如果您还没有ZooKeeper服务器,则需要先启动它。...启动Kafka服务器: > bin/kafka-server-start.sh config/server.properties [2013-04-22 15:01:47,028] INFO Verifying

1.5K10
领券