% pip / % conda不使用加密的集群開始DBR 9. x

[Prabakar]

在試圖使用魔法命令% pip / % conda DBR 9。x或以上不能使用以下錯誤:

% pip安裝numpy

org.apache.spark。SparkException: % pip / % conda命令使用未加密的NFS和啟用SSL加密時默認是禁用的。NFS可以安全地用於安裝庫不包含φ或其他敏感數據,如開源軟件包。% pip / % conda命令或NFS不應該用來傳輸φ引發工人。使% pip / % conda命令,設置spark.databricks.conda。ignoreSSL真正的火花在集群配置中設置並重新啟動集群。

如何解決這個問題?

[Prabakar · Accepted solution]

錯誤消息說讓% pip / % conda命令,設置spark.databricks.conda。ignoreSSL真正的火花在集群配置中設置並重新啟動集群。

但如果你試著設置這個值用% pip命令它不起作用。

我們需要設置spark.databricks啟用%被排除在外。皮普.ignoreSSL適用於火花配置。

這是簡單的,我們忘了看。我想分享這個就不會盲目地依賴於消息中提到的錯誤。調查之前我們去解決。

[Prabakar]

如果你不知道集群工作節點之間的通信加密,您可以參考下麵的鏈接。

https://docs.microsoft.com/en-us/azure/databricks/security/encryption/encrypt-otw