@Ivo Merchiers:
你看到的行為可能是由於不同的基礎版本的Apache引發本地安裝和磚之間。
split()函數提供的火花的SQL函數和不同版本的火花可能差異這些函數的實現。你提到你在本地使用PySpark版本3.2.1。確認使用哪個版本的火花,你可以PySpark shell中運行以下命令:
導入pyspark打印(pyspark.__version__)
您可以檢查相應的版本的火花和SQL函數文檔
split()函數的行為。在磚,你可以檢查火花正在使用的版本通過運行命令:
spark.version
如果你看到不同的結果之間的分裂()你的本地安裝和磚,你可能需要調整你的代碼來處理不同的行為或在兩種環境中使用相同版本的火花。