問題
無火花工作開始,司機日誌包含以下錯誤:
最初的工作沒有接受任何資源;檢查您的集群UI,以確保工人注冊和有足夠的資源
導致
這個錯誤可以發生在執行程序內存和數量的遺囑執行人核心設置明確的火花配置選項卡。
這是一個示例配置:
AWS
在這個例子中,設置為遺囑執行人i3.xLarge節點,火花配置設置為:
spark.executor。5 spark.executor核心。記憶6克
的i3.xLarge集群類型隻有4核但用戶顯式地設置5芯/執行人。火花不開始任何任務,進入下麵的錯誤消息到司機日誌:
警告TaskSchedulerImpl:初始工作沒有接受任何資源;檢查集群的UI,以確保工人注冊並有足夠資源警告TaskSchedulerImpl:初始工作沒有接受任何資源;檢查集群的UI,以確保工人注冊並有足夠資源警告TaskSchedulerImpl:初始工作沒有接受任何資源;檢查您的集群UI,以確保工人注冊和有足夠的資源刪除
GCP
在這個例子中,設置為遺囑執行人n1-standard-4節點,火花配置設置為:
spark.executor。5 spark.executor核心。記憶6克
的n1-standard-4集群類型隻有4核但用戶顯式地設置5芯/執行人。火花不開始任何任務,進入下麵的錯誤消息到司機日誌:
警告TaskSchedulerImpl:初始工作沒有接受任何資源;檢查集群的UI,以確保工人注冊並有足夠資源警告TaskSchedulerImpl:初始工作沒有接受任何資源;檢查集群的UI,以確保工人注冊並有足夠資源警告TaskSchedulerImpl:初始工作沒有接受任何資源;檢查您的集群UI,以確保工人注冊和有足夠的資源刪除
解決方案
你永遠不應該指定核大於可用的內核數量的節點選擇一個集群。