我们尝试在提供AWS管理的星火集群时,使用Dask文档中本页中的说明和指南:来部署Dask。我们发现,在上面的链接中提供的引导操作只将Dask组件部署到主节点,而不是工作人员。理想的情况下,纱线将部署所需的包装为达斯克所有的工人。
我已经提供了下面的引导操作代码。
有没有其他人见过这种情况,并/或可以建议如何解决这个问题?
引导操作代码如下:
#!/bin/bash
HELP="Usage: bootstrap-dask [OPTIONS]
Example AWS EMR Bootstrap Action to install and configure Dask and Jupyt
在jupyter notebook中使用dask时,我发现它有奇怪的行为。因此,我启动了一个本地客户端,并为其提供了一个要执行的作业列表。我的真实代码有点复杂,所以我在这里给你举一个简单的例子:
from dask.distributed import Client
def inc(x):
return x + 1
if __name__ == '__main__':
c = Client()
futures = [c.submit(inc, i) for i in range(1,10)]
result = c.gather(futures)
print(len
我一直在通过点击图标直接启动jupyter notebook应用程序,但我无法在Windows10的命令提示符下启动它。我尝试过输入Jupyter notebook和python -m notebook,但都没有成功: jupyter is not recognized as an internal or external command 和 No module named notebook 分别使用。通过阅读类似的文章,我发现这与Windows环境路径有关,但我不确定如何添加Jupyter。帮帮忙,好吗?(请注意,我可以从命令提示符访问普通的python;还要注意,this similar