有辦法驗證火花配置的值?

[匿名]

我們可以設置為例:

spark.conf.set (“aaa.test.junk。配置的,99999),然後運行spark.conf.get (“aaa.test.junk.config”)將返回一個值。

這個問題發生在錯誤地設置一個類似匹配屬性。

spark.conf.set (“spark.sql.shuffle。分區',999)= = >不落後的年代

實際的財產:‘spark.sql.shuffle.partition年代”= = >有一個培訓“年代”

運行spark.conf.get (“spark.sql.shuffle.partition”)將返回一個值= = >不落後的年代

我以為我可以運行getAll()驗證,但getAll()可能不會返回屬性顯式地定義在一個筆記本。

有辦法檢查我是否用作配置參數實際上是有效的嗎?我沒有看到任何錯誤消息

[sajith_appukutt · Accepted solution]

你可以檢查的列表這裏的有效配置,並確保沒有拚寫錯誤

[User16857281974]

你會解決這個就像我們解決這個問題對所有失去的字符串引用。即是創建一個常數代表了鍵值你想確保不會出現打印錯誤。

自然,如果你輸入錯了第一次,就會到處是錯的,但這是適用於所有軟件開發。除此之外,一個簡單的斷言將避免回歸,有人可能會改變你的價值。

好消息是,這已經為你做了,你可以簡單地在代碼中包含它如果你想看到:

如果您使用Python,我會繼續和創建自己的常量和斷言,結合底層的Scala代碼就不會是值得的(在我看來)