閱讀CSV文件時跳過的行數

[THIAM_HUATTAN]

staticDataFrame = spark.read.format (csv) \ .option(“標題”、“true”)。選項(“inferSchema”,“真正的”).load (" / FileStore /表/ Consumption_2019 / * . csv”)

上麵的時候,我需要一個可以選擇跳過說前4行每一個CSV文件,我該怎麼做?

[User16869509900]

嗨@THIAM HUAT譚

我不認為有一種方法來指定,當閱讀它。然而,在閱讀它,您可以創建單調遞增id(新列),然後過濾這些id大於4。

或者您可以應用(4)和創建抽樣。然後應用減去原來的抽樣和小抽樣之間的轉換。

請讓我們知道它是否適合你

謝謝

[THIAM_HUATTAN]

databricks-data.png

樣本數據如上,我需要的數據行6起,行6頭。行一行5是多餘的。不確定如何實現你的建議。謝謝。

[AnkitDwivedi]

我也有同樣的問題。它解決了嗎?

分辨率是多少? 請建議。謝謝

[托尼]

決議嗎?