你好,我有問題來存儲VectorUDT列存儲到磚特性。我看見商店的特性是不能夠處理這種數據類型,但是可以存儲陣列。所以,我試著將我的VectorsUDT轉換成數組作為解決方案。
然而,當我使用命令.cast(數組<雙>)或者是vector_to_array從pyspark.ml函數。功能,我係統地得到同樣的錯誤:
SparkException:未能執行用戶定義函數(函數$ $ $λ$ 9020/747195126:數組(< struct <類型:非常小的整數,大小:int,指數:數組< int >,價值觀:數組<雙> > >)= >陣列雙> <)
引起的:IllegalArgumentException:函數vector_to_array需要一個非空的輸入參數和輸入類型必須org.apache.spark.ml.linalg。向量”或“org.apache.spark.mllib.linalg。向量”,但有scala.collection.mutable.WrappedArray ofRef美元。
*我如何修複這個錯誤和我VectorUDT數據轉換成數組?
*,或者有更好的實踐來存儲VectorUDT成磚特性的商店嗎?
謝謝你的幫助!