取消
顯示的結果
而不是尋找
你的意思是:

日期字段從excel文件獲得改變了閱讀時在pyspark dataframe

Pradeep_Namani
新的貢獻者三世

日期字段同時發生變化的情況下,讀取數據從源dataframe xls文件。xl源文件中的所有列都是字符串,但我不知道為什麼日期列單獨表現不同

在源文件日期是1/24/1947。

在pyspark dataframe 1/24/47

代碼使用:

df = spark.read.format (com.crealytics.spark.excel) .option .load(“標題”、“true”) (“/ mnt / dBeplay体育安卓版本ataplatform / Tenant_PK / Results.xlsx”)

如果我使用選項(“inforscheme”,“真正的”)的數據正確,但我不希望使用inforschema,任何一個可以建議我任何的解決方案。

謝謝提前

5回複5

werners1
尊敬的貢獻者三世

如何使用inferschema單一時間創建一個正確的DF,然後從df-schema創建一個模式。

這樣的初版

從pyspark.sql。類型從原始DataFrame StructType #保存模式導入到json: schema_json = df.schema.json() #從json恢複模式:進口json new_schema = StructType.fromJson (json.loads (schema_json))

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map