可以引發控製GPU每個任務執行者使用多少?

[KTheJoker]

我如何使用火花分發培訓可能需要GPU的模型和控製GPU的分數給每一個執行者任務?

[Kaniz]

你好@KTheJoker!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[Kaniz]

嗨@Kyle黑爾,這個鏈接可能會幫助你。

https://nvidia.github.io/spark-rapids/docs/tuning-guide.html

[Hubert_Dudek1]

如果您使用的是深度學習FlexFlow能為你是有趣的,因為它可能是更好的在管理GPU可以配置GPU使用量,但在運行時。我不確定是否有可能改變在python代碼。你總是可以繼承人github上問問題https://github.com/flexflow/FlexFlow

[匿名]

試著改變spark.task.resource.gpu。數量改變缺省配置從一個GPU /任務。https://docs.www.eheci.com/clusters/gpu.html gpu-scheduling-1