我有一个spark应用程序,它读取大量数据,将其加载到内存中,并在两者之间设置所有内容,以便用户多次查询内存中的数据帧。查询完成后,控制台上会提示用户继续输入新的输入集或退出应用程序。但是,我可以从spark-shell运行这个交互式spark应用程序吗?谢谢!Spark session available
目前使用PySpark on 数据库、交互式集群(与一起提交作业)和雪花作为输入/输出数据。我的Spark应用程序应该从雪花读取数据,应用一些简单的SQL转换(主要是F.when.otherwise、窄转换),然后将其加载回雪花。为了测试目的,我把我的工作命名如下:(作者和读者应该被命名)我很难理解Spark向我展示了什么:
我可以理解,我只有一个Spark,所以假设有一个作业,所以S