文章/答案/技术大牛

发布

问用GPU安装火花-nlp
EN

Stack Overflow用户

提问于 2022-10-14 17:32:03

回答 1查看 60关注 0票数 0

我是电火花和火花-nlp的新手，我想在WSL-2 Windows 10上使用带有GPU支持的码头容器中的火花-nlp。在安装spark nlp之后，可以使用预先训练过的模型和管道，但是CPU和GPU的速度没有差别。Nvidia显示模型被加载到GPU内存中.请您告诉我我必须安装的库的版本，或者这是什么样的问题。

谢谢

apache-spark

pyspark

gpu

johnsnowlabs-spark-nlp

回答 1

Stack Overflow用户

发布于 2022-11-03 12:19:01

根据您开始会话的方式，您有两个选项可以在Spark上设置GPU，

import sparknlp

spark = sparknlp.start(gpu=True)

或者通过传递这个

spark = SparkSession.builder \
    .appName("Spark NLP")\
    .master("local[*]")\
    .config("spark.driver.memory","16G")\
    .config("spark.driver.maxResultSize", "0") \
    .config("spark.kryoserializer.buffer.max", "2000M")\
    .config("spark.jars.packages", "com.johnsnowlabs.nlp:spark-nlp-gpu_2.12:4.2.2")\
    .getOrCreate()

另外，GPU的使用将取决于您使用的模型和数据集大小。所以别指望自动加速。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/74072855

复制

相似问题

问用GPU安装火花-nlp
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问用GPU安装火花-nlpEN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问用GPU安装火花-nlp
EN