我想設置自動裝卸機讀一些csv文件。我試著與DLT裝飾與自動裝卸機以及自動裝卸機本身。第一列的數據稱為“run_id”,當我做一個spark.read.csv()直接在文件上有很好。當我使用自動裝卸機然後似乎看到第一列作為一個花括號“{”找不到任何在線這是什麼或者它是來自哪裏。
這裏有一個自動裝卸機調用的示例:
df = (spark.readStream.format .option (“cloudFiles (“cloudFiles”)。形式at", "csv") .option("cloudFiles.includeExistingFiles","true") .option("cloudFiles.schemaLocation", "/dbfs/schema_registry/") .load("/dbfs/mnt/folder/data_20230519.csv"))
誰知道這是怎麼回事?
