是什麼磚的最佳實踐來存儲VectorsUDT特性存儲?
你好,我有問題要拯救一個表,包含VectorUDT數據有2列。我看到的特性存儲數據磚不能處理這種數據類型但可以處理數組。所以,我試圖將2列轉換為數組。
當我試圖把這些列數組<雙>使用.cast(數組<雙>)或函數vector_to_array從pyspark.ml。功能,我係統有相同的錯誤:
SparkException:未能執行用戶定義函數(函數$ $ $λ$ 9020/747195126:數組(< struct <類型:非常小的整數,大小:int,指數:數組< int >,價值觀:數組<雙> > >)= >陣列雙> <)
引起的:IllegalArgumentException:函數vector_to_array需要一個非空的輸入參數和輸入類型必須org.apache.spark.ml.linalg。向量”或“org.apache.spark.mllib.linalg。向量”,但有scala.collection.mutable.WrappedArray ofRef美元。
*我能做些什麼來解決這個錯誤和我VectorUDT轉換為數組?
*,或者有更好的實踐來存儲VectorUDT磚特性的商店嗎?
謝謝你的幫助!
