問題
在安裝Python庫之後(通過集群UI或使用皮普)，您的Apache Spark作業失敗找不到環境目錄錯誤消息。
org.apache.spark.SparkException:環境目錄不在/local_disk0/.ephemeral_nfs/cluster_libraries/python
導致
庫安裝在集群驅動程序節點上的網絡文件係統(NFS)上。如果任何安全組規則阻止工作者與NFS服務器通信，Spark命令無法解析Python可執行路徑。
Spark作業在安裝庫後似乎會超時，因為安全規則阻止工作線程解析Python可執行路徑。