GCP数据传输在执行管道时速度太慢
GCP数据传输在执行管道时速度太慢
提问于 2020-03-06 21:53:37
我知道数据扩散是CDAP上的托管服务，但与CDAP OSS (在Google Market place中)相比，当前的6.1.1企业版太慢了。调配dataproc节点大约需要3分钟(无论计算配置文件是什么)，启动和运行模式大约需要1.5分钟，然后数据将开始流经节点。有什么方法可以优化这一点并提高速度吗？
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-03-08 10:40:30
Google Market place中的CDAP OSS在内存中运行，建议仅用于开发，因为执行引擎无法扩展。
如果您要优化Dataproc群集的调配，您可以自行预调配Dataproc群集，并使用远程Hadoop Provisioner计算配置文件来提交作业。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/60565511
复制相关文章
相似问题
腾讯云开发者
