spark-submit運行時類路徑問題

[User16869510359]

如何識別jar用於加載一個特定的類。我相信我在應用程序jar包裝正確的類。然而,看起來就像從一個不同的加載jar的類。我想了解細節,這樣我就可以確保使用正確的版本的jar和避免衝突。

[User16869510359 · Accepted solution]

添加以下配置集群級別可以幫助打印日誌來識別jar的類加載。

• - verbose: class spark.executor.extraJavaOptions =
• - verbose: class spark.driver.extraJavaOptions =