使用Python Spark streaming从http下载数据
使用Python Spark streaming从http下载数据
提问于 2016-09-27 15:39:17
我是PySpark的新手，我在我的Ubuntu14.04上安装了Kafka单节点和单代理。
安装完成后，我测试了使用kafka-console-producer和kafka-console-consume发送和接收数据的Kafka。
下面是我从启动消费者到消费消息所遵循的步骤。
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning启动生产者，在新的终端窗口中发送消息。
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafkatopic
[2016-09-25 7:26:58,179] WARN Property topic is not valid (kafka.utils.VerifiableProperties)
Good morning
Future big data
this is test message在消费者终端中
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning
Good morning
Future big data
this is test message下面来自meetup.com的链接产生流数据
http://stream.meetup.com/2/rsvps
我的要求是如何收集从http网站到火花使用Kafka的流数据。下载流数据的转换命令是什么？
下载数据后，我可以找到特定时间间隔内的城市计数和其他分析。
回答 1
Stack Overflow用户
发布于 2017-06-08 17:37:46
有不同的方法来处理实时流。我正在考虑的是下面的一个。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/39718830
复制相关文章
相似问题
腾讯云开发者
