如何刪除超過4字節字符使用pyspark磚嗎?

[eimis_pacheco]

嗨,社區,

我們需要刪除超過4字節字符使用pyspark磚由於這些不支持通過亞馬遜紅移。有人知道我能做到這一點嗎?

非常感謝你提前

問候

[Shalabh007]

假設你有一個字符串類型列pyspark dataframe,一個可能的方法是

1. 識別的字符總數(比如每個值的列
2. 確定沒有采取的每個字符的字節數(b)
3. 使用substring()函數選擇前n個字符,n =地板(4 / b)