取消
顯示的結果
而不是尋找
你的意思是:

三角洲住表&自動裝卸機添加一個不存在的列

YSF
新的貢獻者三世

我想設置自動裝卸機讀一些csv文件。我試著與DLT裝飾與自動裝卸機以及自動裝卸機本身。第一列的數據稱為“run_id”,當我做一個spark.read.csv()直接在文件上有很好。當我使用自動裝卸機然後似乎看到第一列作為一個花括號“{”找不到任何在線這是什麼或者它是來自哪裏。

這裏有一個自動裝卸機調用的示例:

df = (spark.readStream.format .option (“cloudFiles (“cloudFiles”)。形式at", "csv") .option("cloudFiles.includeExistingFiles","true") .option("cloudFiles.schemaLocation", "/dbfs/schema_registry/") .load("/dbfs/mnt/folder/data_20230519.csv"))

誰知道這是怎麼回事?

1回複1

Rishabh264
尊敬的貢獻者二世

你能附上確切的輸出,這樣我可以看一看。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map