取消
顯示的結果
而不是尋找
你的意思是:

多個csv文件加載到一個dataframe秩序

Shridhar
新的因素

我可以通過做一些加載多個csv文件:

路徑= [“file_1”、“file_2”,“file_3”] df = sqlContext。讀.format (com.databricks.spark.csv) .option(“標題”、“true”) .load(路徑)

但這似乎並沒有保存的順序| |路徑。

特別地,我想有一個單調遞增id,跨越所有文件中的數據。

1接受解決方案

接受的解決方案

Jaswanth_Saniko
新的貢獻者三世
val鑽石= spark.read.format (csv) .option(“標題”、“true”) .option .load (“inferSchema”、“true”) (“csv / FileStore /表/ 11.”、“12. / FileStore /表/ csv”,“csv / FileStore /表/ 13.”)顯示(鑽石)

這是為我工作@Shridhar

在原帖子查看解決方案

2回答2

JayaKommuru
新的貢獻者二世

@shridhar你發現另一個實現。我也有同樣的問題。

Jaswanth_Saniko
新的貢獻者三世
val鑽石= spark.read.format (csv) .option(“標題”、“true”) .option .load (“inferSchema”、“true”) (“csv / FileStore /表/ 11.”、“12. / FileStore /表/ csv”,“csv / FileStore /表/ 13.”)顯示(鑽石)

這是為我工作@Shridhar

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map