取消
顯示的結果
而不是尋找
你的意思是:

是什麼磚的最佳實踐來存儲VectorsUDT特性存儲?

145625年
新的貢獻者二世

是什麼磚的最佳實踐來存儲VectorsUDT特性存儲?

你好,我有問題要拯救一個表,包含VectorUDT數據有2列。我看到的特性存儲數據磚不能處理這種數據類型但可以處理數組。所以,我試圖將2列轉換為數組。

當我試圖把這些列數組<雙>使用.cast(數組<雙>)或函數vector_to_array從pyspark.ml。功能,我係統有相同的錯誤:

SparkException:未能執行用戶定義函數(函數$ $ $λ$ 9020/747195126:數組(< struct <類型:非常小的整數,大小:int,指數:數組< int >,價值觀:數組<雙> > >)= >陣列雙> <)

引起的:IllegalArgumentException:函數vector_to_array需要一個非空的輸入參數和輸入類型必須org.apache.spark.ml.linalg。向量”或“org.apache.spark.mllib.linalg。向量”,但有scala.collection.mutable.WrappedArray ofRef美元。

*我能做些什麼來解決這個錯誤和我VectorUDT轉換為數組?

*,或者有更好的實踐來存儲VectorUDT磚特性的商店嗎?

謝謝你的幫助!

0回答0
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map