Python3.10是PyCharm的默认更新，它是pyspark/Spark3.0.0.预览的默认版本--这两者兼容吗？
有些文档表明Python3.9是与火花3.0.预览兼容的最后一个版本。对于刚开始使用Hadoop、Spark、Scala、Python和PyCharm在Windows上设置兼容性的人来说，兼容性的可能性令人望而生畏，在浏览前几个方面时，考虑到课程建议，它试图找到python和火花兼容性。用于Anaconda3的解释器版本为3.8.8。
在下面的图片中，它会出现在学校的硬敲，兼容性可能不存在。下载并不表示对Python的版本控制。本课程的Scala为2.11。最新的版本还表明Scala (相同的链接)需要2.12。在所有这些选择(使用Windows 10)的某个地方，有一个解决方案，但它是难以捉摸的。Hadoop版本似乎也是一个问题。(Hadoop 2.7)
其他兼容性问题发生在为每个项目设置编辑配置之前，包括丢失的文件或访问错误(这是公司的机器特权管理，但不是完全的管理权限)。
从线程转储中，似乎有一条信息日志，但由于是新的，很难对所有调试信息进行排序。可能JDK是错的？但它是建议与JRE1.8.0_201一起使用的。我还看到了一些关于"Program“中的可能空间与JAVA_HOME路径有关的问题。Java在试办过程中被安装到另一个目录时，似乎并不高兴。
Anaconda3>pycharm
CompileCommand: exclude com/intellij/openapi/vfs/impl/FilePartNodeRoot.trieDescend bool exclude = true
2022-11-04 08:40:31,040 [ 1132] WARN - #c.i.o.f.i.FileTypeManagerImpl -
com.adacore.adaintellij.file.AdaSpecFileType@4f671e00 from 'PluginDescriptor(name=Ada, id=com.adacore.Ada-IntelliJ, descriptorPath=plugin.xml, path=~\AppData\Roaming\JetBrains\PyCharmCE2022.2\plugins\Ada-IntelliJ, version=0.6-dev, package=null, isBundled=false)' (class com.adacore.adaintellij.file.AdaSpecFileType) and
com.adacore.adaintellij.file.AdaBodyFileType@22a64016 from 'PluginDescriptor(name=Ada, id=com.adacore.Ada-IntelliJ, descriptorPath=plugin.xml, path=~\AppData\Roaming\JetBrains\PyCharmCE2022.2\plugins\Ada-IntelliJ, version=0.6-dev, package=null, isBundled=false)' (class com.adacore.adaintellij.file.AdaBodyFileType)
both have the same .getDisplayName(): 'Ada'. Please override either one's getDisplayName() to something unique.
com.intellij.diagnostic.PluginException:
com.adacore.adaintellij.file.AdaSpecFileType@4f671e00 from 'PluginDescriptor(name=Ada, id=com.adacore.Ada-IntelliJ, descriptorPath=plugin.xml, path=~\AppData\Roaming\JetBrains\PyCharmCE2022.2\plugins\Ada-IntelliJ, version=0.6-dev, package=null, isBundled=false)' (class com.adacore.adaintellij.file.AdaSpecFileType) and
com.adacore.adaintellij.file.AdaBodyFileType@22a64016 from 'PluginDescriptor(name=Ada, id=com.adacore.Ada-IntelliJ, descriptorPath=plugin.xml, path=~\AppData\Roaming\JetBrains\PyCharmCE2022.2\plugins\Ada-IntelliJ, version=0.6-dev, package=null, isBundled=false)' (class com.adacore.adaintellij.file.AdaBodyFileType)
both have the same .getDisplayName(): 'Ada'. Please override either one's getDisplayName() to something unique.
2022-11-04 08:40:45,822 [ 15914] SEVERE - #c.i.u.m.i.MessageBusImpl - PyCharm 2022.2.3 Build #PC-222.4345.23
2022-11-04 08:40:45,825 [ 15917] SEVERE - #c.i.u.m.i.MessageBusImpl - JDK: 17.0.4.1; VM: OpenJDK 64-Bit Server VM; Vendor: JetBrains s.r.o.
2022-11-04 08:40:45,826 [ 15918] SEVERE - #c.i.u.m.i.MessageBusImpl - OS: Windows 10
[1]: https://spark.apache.org/downloads.html
[2]: https://i.stack.imgur.com/C6BGc.png回答 1
Stack Overflow用户
发布于 2022-11-04 23:16:38
首先，不要使用预览版本。“星火3”已经发布了两年多了，至少要使用最新的小版本。
也就是说，Spark3主要是与Hadoop 3一起使用。
您可以使用Scala2.12或2.13作为火花。
Python 3.9应该可以支持Pyspark。如果你不需要就不要用Anaconda。直接下载Python。pip install pyspark。就这样。您甚至不需要Hadoop来运行火花代码。
也不清楚你为什么要从终点站运行Pycharm。从spark-shell开始，如果效果良好，那么可以运行pyspark。然后您可以使用spark-submit。只有在这些工作完成之后，您才能实际地转向IDE。
或者，不要用一堆软件污染你的主机，而是安装Docker，然后用它来运行带Spark预配置- https://jupyter-docker-stacks.readthedocs.io/en/latest/using/running.html的木星。
https://stackoverflow.com/questions/74318197
复制相似问题
腾讯云开发者
