腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
.
whl
文件
中
调用
pyspark
代码
?
python
、
apache-spark
、
pyspark
、
python-packaging
、
python-wheel
我已经使用poetry创建了一个轮子
文件
。我正在运行spark-submit命令,但它不起作用。
浏览 26
提问于2020-10-23
得票数 3
回答已采纳
1
回答
如
何在
Google云平台中安装Google AI平台中的Spark依赖
python
、
apache-spark
、
google-cloud-platform
文件
夹
中
,它有__init__.py task.py。task.py有我的Python
代码
,带有import
pyspark
from setuptools import find_packagesTrue,) 当我向Google AI Cloud提交训练任务时,在/myCon
浏览 1
提问于2020-05-18
得票数 0
2
回答
在AWS
中
监视python shell胶合作业
python
、
amazon-web-services
、
aws-glue
在亚马逊网络服务的文档
中
,他们指定了如何激活对Spark作业()的监控,但不是python外壳作业。使用原样的
代码
会给出这个错误:ModuleNotFoundError: No module named '
pyspark
' 更糟糕的是,在注释掉from
pyspark
.context import SparkContext
浏览 0
提问于2020-05-22
得票数 1
1
回答
如何将pip / pypi已安装的python包转换为用于AWS Glue的zip
文件
python
、
amazon-web-services
、
amazon-s3
、
pyspark
、
aws-glue
我正在使用AWS和
PySpark
ETL脚本,并希望使用辅助库(
如
google_cloud_bigquery )作为google_cloud_bigquery脚本的一部分。 。,尤其是其中一个答案
中
的一条评论似乎提供了更多的证据。然而,如何做到这一点对我来说还不清楚。例如,我如何使用pip install 包,然后将其转化为压缩
文件
,然后将其上传到S3,以便
PySpark
可以将其与这样的S3 URL一起使用?通过使用pip download命令,我能够获取库,但默认情况下它们不是.zip
文件</e
浏览 1
提问于2018-03-07
得票数 5
1
回答
哪些
文件
是python轮子
中
的二进制
文件
?
python
、
django
、
python-wheel
为了理解在Python轮中分发的源
代码
和二进制
文件
之间的区别,我正在手动检查包.
whl
中
的django
文件
。我看到的具体.
whl
是。WHEEL
文件
似乎包含用于构建此.
whl
的轮式版本的信息。,所有其他
文件
都是上存在的源
代码
文件
。如果是,那么如
何在
.
whl
文件
中
定位二进制
文件
? (2)如果python轮分发二进制
浏览 5
提问于2021-11-11
得票数 1
回答已采纳
1
回答
使用-m从eclipse内部运行python模块
python
、
eclipse
、
pydev
我已经在eclipse
中
编写了一个python包,直到最近,我一直在eclipse
中
运行我的
代码
。我的
代码
的主要内容是在通常情况下包含顶级类的
文件
中
。我现在已经将我的
代码
打包成
whl
,为了使我能够从命令行
调用
whl
,我将main移动到一个__main__.py
中
,并使用命令从命令行
调用
我的包: python -m <<my package>> -cconfi
浏览 0
提问于2017-04-18
得票数 4
回答已采纳
5
回答
如
何在
cmd
中
安装多个
whl
文件
python
、
cmd
我知道如何通过cmd安装*.
whl
文件
(
代码
就是python -m pip install *so-and-so-.
whl
)。但是由于我无意中删除了我的操作系统,没有备份,我发现自己陷入了重新安装所有
whl
文件
的困境。 这大约有50个
文件
。我可以手动完成--这很简单,但是我想知道如
何在
一行
中
完成这个任务。我似乎找不到任何东西可以让我简单地输入python -m pip install *so-and-so.
whl
来查
浏览 5
提问于2017-04-10
得票数 6
回答已采纳
1
回答
如
何在
数据库
中
执行Legacy Scala
代码
库
scala
、
pyspark
、
databricks
我有许多遗留scala包/
代码
库,需要迁移到Databricks。 目前,这些scala包被转换为jar
文件
,这些jar
文件
从shell脚本
中
调用
。我可以在Databricks
中
运行scala,但是如
何在
pyspark
中
调用
包
文件
/ scala
代码
库呢?这有可能吗?如果是的话,我该怎么做?
浏览 4
提问于2022-09-22
得票数 1
2
回答
即使在bootstrap
中
安装pip之后,导入在Amazon EMR
中
也不起作用
python
、
amazon-web-services
、
amazon-emr
/bin/bash----> 1 import xlrd ModuleNotFoundError: No module named 'xlrd' 我的第一个想法是没有安装软件包,而是安装了EMR日志
文件
, 亚马逊(即在路径
中
: stdout.gz S3 /aws-logs-600286585385-us-east-1/el
浏览 15
提问于2021-07-14
得票数 0
回答已采纳
2
回答
哪些
文件
应该包含在python
中
?
python
、
setuptools
sdist是否应该有效地包含存储库
中
的大部分或全部
文件
?或者sdist只包含构建存档(
如
whl
或egg )所需的一组
文件
。 在contrib
中
没有包含在egg或
whl
中
的Py
浏览 1
提问于2018-12-05
得票数 0
1
回答
如何让Tox在setup.py
中
从setup.py中找到依赖项的本地轮
python
、
dependencies
、
setup.py
、
python-wheel
、
tox
到目前为止,它运行得很好,但现在我正在尝试将依赖项添加到我的另一个包
中
。b776c8811dd453eb023b5dd05554e0292d5919fdbb881f3c613f57f5cbe2/PySide2-5.15.2-5.15.2-cp35.cp36.cp37.cp38.cp39-none-win32.
whl
packages/cf/08/04c51fb1ee9bbfb2196c956f8a3f7da4e9757710582e8700bf812f258d43/Qt.py-1.3.3-py2.py3-non
浏览 5
提问于2021-05-01
得票数 1
回答已采纳
1
回答
如
何在
Pipfile中指定os特定的轮转
文件
python
、
pip
、
pytorch
、
pipenv
、
pipfile
要在windows
中
安装py手电筒,我必须在Pipfile
中
编写以下
代码
:torch = {file = "http://download.pytorch.org/
whl
/cpu/torch-0.4.1-cp37-cp37m-win_amd64.
whl
"}torch = {file = "http://
浏览 1
提问于2018-08-16
得票数 7
1
回答
如何导入第三方python库以与glue python shell脚本一起使用
python
、
amazon-web-services
、
aws-glue
、
datadog
按照的指示,我已经将该
文件
打包为.egg,并在glue作业
中
给出了该
文件
的路径。当我尝试使用压缩
文件
时,它抛出ModuleNotFoundError:没有名为“datadog”的模块。如何开始导入库?
浏览 2
提问于2020-06-12
得票数 0
7
回答
无模块名称
pyspark
错误
python
、
pyspark
这是我正在学习的教程
中
的
代码
。我的同学用同样的
代码
没有得到这个错误:----> 1 from
pyspark
import SparkContext 2 sc = SparkContext('local', '
浏览 8
提问于2015-12-16
得票数 22
2
回答
ProcessBuilder如何处理zip
文件
?
java
、
python
、
scala
、
apache-spark
、
hadoop-yarn
这一步骤是:2.火花-提交给纱线,它将
pyspark
.zip分发给所有的机器。3.火花工作者找到
pyspark
.zip并在其中处理python
文件
。 但是
代码
和显示它只将压缩
文件
的路径放到ProcessBuilder的环境
中
。我还没有找到解压缩
pyspark
.zip的
代码
。所以我想知道ProcessBuilder是如何解
浏览 6
提问于2016-04-14
得票数 1
回答已采纳
6
回答
如何列出python轮子
中
的
文件
?
python
、
package
、
python-wheel
、
python-packaging
我正在研究setup.py包含非python
文件
的各种选项,这些选项有点不直观。如何列出.
whl
中
包含的
文件
浏览 2
提问于2015-10-03
得票数 78
回答已采纳
2
回答
Pip在私有github存储库上安装
whl
?
python
、
installation
、
pip
如何从私有的github库
中
安装.
whl
(python库)?我已经设置了个人访问令牌,如果库不是.
whl
,可以使用以下命令安装库 pip install git+https://{token}@github.com/{org_name}/{repo_name}.git 但是,如果
代码
库中有一个.
whl
,并且我想使用以下命令从该库
中
安装: pip install git+https://{token}@github.com
浏览 35
提问于2021-08-19
得票数 5
回答已采纳
1
回答
使用
pyspark
从s3读取流数据
numpy
、
amazon-web-services
、
amazon-s3
、
apache-spark
、
pyspark
我想利用python的极其简单的文本解析和函数式编程能力,并利用丰富的科学计算库,
如
numpy和scipy,因此我想使用
pyspark
来完成一项任务。我一开始要执行的任务是从一个存储桶
中
读取数据,其中有文本
文件
作为流的一部分被写入。有人可以粘贴一个
代码
片段,说明如何使用
pyspark
从s3路径
中
读取流数据吗?直到最近我还以为只能使用scala和java才能做到这一点,但我今天才发现Spark1.2以后的版本,
pyspark
也支持流媒体,但不确定是否支持
浏览 1
提问于2015-04-11
得票数 2
2
回答
无法从火花源连接到蒙古人
python
、
mongodb
、
pyspark
我正在尝试使用
pyspark
连接到MongoDB。下面是我正在使用的
代码
from
pyspark
.sql import SQLContext sparkConf
浏览 4
提问于2018-01-08
得票数 3
回答已采纳
2
回答
无法安装scipy.ndimage
python
、
scipy
python -m pip install --user ndimage-1.3.1-cp39-cp39-win32.
whl
给了我ERROR: ndimage-1.3.1-cp39-cp39-win32.
whl
is not a supported wheel on this platform.
浏览 3
提问于2021-05-11
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何在Spark中处理结构化流式数据,如日志文件或传感器数据?
PySpark算子处理空间数据全解析(5):如何在PySpark里面使用空间运算接口
0483-如何指定PySpark的Python运行环境
Windows和PC机上搭建Spark+Python开发环境的详细步骤
如何用Spark计算引擎执行FATE联邦学习任务?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券