舊火花版本加載到火花筆記本

[dbu_spark]

我有磚運行時工作將最新10.0 Beta(包括Apache火花3.2.0,Scala 2.12)。

在筆記本上,當我檢查火花的版本,我看到版本3.1.0 3.2.0代替版本

我需要處理工作負載的火花3.2版本,版本修複了https://github.com/apache/spark/pull/32788

截圖集群配置和舊火花版本在筆記本上。

[dbu_spark]

謝謝你的更新@Dan征服者。

再次運行工作,仍然看到火花3.1.0版本。我應該使用spark32(或類似的)當調用引發會話我取正確的火花版本呢?

任何埃塔火花3.2版本的可用性將是巨大的。

謝謝

[Dan_Z]

應該有你需要的所有功能。檢查出來。法律上我們不能稱之為火花3.2。

[dbu_spark]

我不認為這是裝載3.2火花。我還看到了問題writeUTF已固定在火花3.2 - >https://github.com/apache/spark/pull/32788

引起的:java。UTFDataFormatException:編碼字符串太長:97548字節java.io.DataOutputStream.writeUTF (DataOutputStream.java: 364) java.io.DataOutputStream.writeUTF (DataOutputStream.java: 323)

無論如何,我將等待磚運行時的正確反映正確的版本。

[Dan_Z]

是的——這個版本可能有磚的內部特性定於3.2火花,但功能/補丁提供的開源社區仍可能即將到來。對不起這不是可用的。我相信它會很快。編碼快樂!

[werners1]

我隻是注意到(在Azure)不再10.0測試版。

所以“很快”確實很快。