獲得列字節大小Pyspark數據幀

[Anbazhagananbut]

你好所有的,

我有一個列在一個dataframe struct類型。我想找到的大小列字節。它在雪花越來越失敗而加載。我可以看到大小功能avialable長度。如何計算一個列的大小在字節pyspark dataframe。 pyspark.sql.functions.size (col)收藏功能:返回數組的長度或地圖存儲在列。 請幫我在這種情況下。 謝謝

[sean_owen]

沒有一個大小列;它在內存中占用一定數量的字節,但不同的數量可能當序列化在磁盤或存儲在拚花。你可以計算出大小從它的數據類型在內存中;100字節的數組需要100字節;長需要8個字節,等等。