pyspark.resource.ExecutorResourceRequest¶
-
類
pyspark.resource。ExecutorResourceRequest( resourceName:str,量:int,discoveryScript:str=”,供應商:str=” ) ¶ -
一個執行人資源請求。這是ResourceProfile結合使用以編程方式指定一個抽樣所需的資源將被應用在舞台上水平。
這是用於指定遺囑執行人的資源需求是什麼以及如何火花可以找到這些資源的特定詳細信息。不是每個資源類型所需的所有參數。資源支持gpu和局限性一樣使用全球火花款spark.executor.resource.gpu。*。discoveryScript,數量和供應商對資源的參數都是相同的參數通過配置:用戶指定spark.executor.resource。{resourceName}。{discoveryScript數量,供應商}。
例如,一個用戶想要分配一個執行人GPU資源紗線。用戶指定資源名(gpu),或每個執行者的gpu數量,發現腳本將會被指定執行程序啟動時它可以發現gpu地址可供使用,因為紗沒有告訴火花,然後供應商不會因為其特定用於Kubernetes。
看到的配置和集群特定文檔更多細節。
使用
pyspark.ExecutorResourceRequests類作為一個方便的API。- 參數
-
- resourceName str
-
資源的名稱
- 量 str
-
量要求
- discoveryScript str,可選
-
可選的腳本用來發現資源。這是需要一些集群經理不要告訴引發資源分配的地址。腳本運行在執行人啟動發現可用資源的地址。
- 供應商 str,可選
-
一些集群經理所需廠商
筆記
這個API是不斷發展的。
屬性
量discoveryScriptresourceName供應商