我的流定义如下:-
IngestToBroker =定制生产者--spring.cloud.stream.bindings.output.content-type=application/json --spring.cloud.stream.bindings.output.producer.headerMode=raw > :Kafkatopic1
DataProcessor = :Kafkatopic1> > :kafkatopic2
myCountsOne =:dataProcessor.定制处理器>字段-值-计数器-字段-名称=messageStatusOne
myCountsTwo =:dataProcessor.定制处理器>字段-值-计数器-字段-名称=messageStatusOne
MyFileSink = :kafkatopic2>文件--目录=C:\usr\sdflogs-name=My-MyFileSink 2
当前场景
1) IngestToBroker和DataProcessor工作良好。我得到所需的JSON输出如下,它被发送到KafkaTopic1,然后通过处理器和kafkaTopic2,最后发送到文件。
{“messageStatusOne”:“接收”、"DateTimeOne":"2017.09.26.22.03.34“、”messageStatusTwo“:”已处理“、"DateTimeTwo":"2017.09.26.22.03.34"} {”messageStatusOne“:”错误“、"DateTimeOne":"2017.09.26.21.06.45”、“messageStatusTwo”:“不可用”、"DateTimeTwo":"2017.09.26.21.06.45"} {“messageStatusOne”:“收到”,"DateTimeOne":"2017.09.26.21.06.52“、”messageStatusTwo“:”已加工“、"DateTimeTwo":"2017.09.26.21.06.52"} {”messageStatusOne“:”审查“、"DateTimeOne":"2017.09.26.21.06.59”、“messageStatusTwo”:“持有”、"DateTimeTwo":"2017.09.26.21.06.59"}
自定义生产者和自定义处理器是我部署的独立应用程序,它基本上改变了数据,而前者每隔几秒钟就推出新的JSON记录。
2)所有的流定义也是如此。它们都很好,我得到了所需的JSON。field-value-counter定义的(除外) myCountsOne和myCountsTwo
问题 1) 本地SCDF服务器上用于分析的仪表板PIC
它似乎不活跃。度量和可视化没有下降。我真的需要这个来工作,而且我是SCDF的新手。我错过了什么?我该怎么做才能起作用?
2)在sideNote上,我也试图用MarkLogic配置SCDF,但是SCDF是否会接受ODBC呢?如果我问这一切听起来很愚蠢,请原谅我。谢谢。
更新我刚刚在我的Spring数据流启动控制台中注意到了这个错误
“无法获得jedis连接嵌套异常是redis.clients.jedis.exceptions.jedisConnectionException”
我们是否需要将任何redis依赖项添加到作为独立应用程序部署的自定义处理器中?这是我的Spring版本-1.5.6.RELEASE.谢谢。
发布于 2017-10-03 22:20:18
为了进一步简化手头的问题,让我们在您的环境中尝试下面的流。一旦你成功了,你就可以回顾其他的流程,看看可能出错的地方。
溪流:
dataflow:>stream创建foo --定义为"http -port=9000,000“字段-部署
数据:
dataflow:>http post --目标http://localhost:9000 --数据{“messageStatusOne”:“接收”,"DateTimeOne":"2017.09.26.22.03.34",“messageStatusTwo”:“已处理”,"DateTimeTwo":"2017.09.26.22.03.34"} (文本/普通) http://localhost:9000 {“messageStatusOne”:“接收”,"DateTimeOne":"2017.09.26.22.03.34",“messageStatusTwo”:“已处理”,"DateTimeTwo":"2017.09.26.22.03.34"} 202已接受
列表:
dataflow:>field-value-counter display --name bar Displaying values for field value counter 'bar' ╔════════╤═════╗ ║ Value │Count║ ╠════════╪═════╣ ║RECEIVED│ 1║ ╚════════╧═════╝
https://stackoverflow.com/questions/46462165
复制相似问题