目前正在开发一个应用程序,该应用程序从纯文本文件(教科书)中提取数据,并计算TF-下手值,并使用spark存储在蜂窝表中。我需要搜索与关键字的语料库,以找到图书名称像一个rest服务。是否有任何REST服务可以使用spark作为服务对其运行查询?或者是否可以使用Livy来完成上述要求?提前谢谢。
发布于 2018-11-02 06:26:14
可以使用livy来实现这一点,但是如果您只想对hive表执行sql查询,那么使用星星之火服务器就会简单得多。
星星之需服务器是一种jdbc服务器,允许您连接到任何jdbc客户端,并运行sql查询。
您可以在这里找到更多信息:
https://spark.apache.org/docs/2.2.0/sql-programming-guide.html#running-the-thrift-jdbcodbc-server https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-thrift-server.html
https://stackoverflow.com/questions/53109841
复制