我們嚐試將scala腳本從獨立集群磚平台。Beplay体育安卓版本
我們的腳本兼容版本:
火花:2.4.8 Scala: 2.11.12
磚集群有火花/ scala版本:
火花:3.2.1之上。Scala: 2.12
1:我們不能運行腳本通過Jar“紗線”模式
2:能在解析日期
幾個日期功能不工作在當前版本的火花所以我們必須改變配置時的timeParserPolicy過去了。
相應的錯誤:無法解析“2022-07-07 02:14:26.233”在新的解析器。你可以設置spark.sql.legacy。timeParserPolicy遺留恢複行為引發3.0之前,或一組糾正和治療是一個無效的datetime字符串。
3:在使用“問題。toList”功能。
var df2 = df.select (clicked_at) .distinct () . map (f = > f.getDate (0)) .collect ()。toList
(這個toList函數導致錯誤)
相應的錯誤:在線程“主要”. lang例外。NoSuchMethodError: scala.Predef .refArrayOps美元(Ljava / lang /對象;)Lscala / /可變/ ArrayOps集合
任何幫助,這將是真正有用的
