我怎麼讓approxSimilarityJoin工作25日k 300 - d向量?

[maffeenAF]

我試圖用激光衝徊化approxSimilarityJoin數據集上~ 25 k 300 - d向量的花車。它卡住和最終失敗的奴隸了錯誤。集群的大小和內存有可能不是問題,發生故障時即使16節點,16個核心,64 g RAM(相同大小的司機)。你的建議是什麼,我怎麼讓它工作嗎?

使用火花2.4.5豐富DataProc

[Dan_Z]

使用箭頭PandasUDF啟用。他們改善在火花3中,但是你可以在火花2.4.5中使用它們。