之間的區別是什麼傳遞模式的選項或在pyspark . schema()函數使用一個csv文件嗎?

[irfanaziz]

我發現一個很奇怪的行為與我們的一些集成管道。本周的一個csv文件變得破碎時讀,讀下麵的函數。

def ReadCSV(文件、schema_struct標題分隔符,timestampformat,編碼=“utf8 ",多行= " true "): deltas_df =火花。讀\ .format (csv) \ .options(標題=標題分隔符=分隔符,timestampFormat = timestampFormat enoding =編碼,多行=多行). schema(模式= schema_struct) \ .load df(文件)回報

我做了改變和移動模式的選項。這個工作能夠讀取文件對象。但它開始為其他對象失敗。所以我想知道為什麼它會表現不同。

def ReadCSV2(文件、schema_struct標題分隔符,timestampformat,編碼=“use utf8”): deltas_df =火花。讀\ .format (csv) \ .options(標題=標題分隔符=分隔符,timestampFormat = timestampFormat enoding =編碼,多行= " true ",模式= schema_struct) \ .load df(文件)回報

我想保持一個函數和解決這個問題。現在我需要使用兩個函數。

[匿名]

你好@nafri——我的名字是風笛手,我是主持人磚。歡迎來到社區和謝謝你的問題。我很抱歉聽到你有麻煩。我們會給社區回應的機會在我們左右再循環。提前感謝你的耐心。

[Hubert_Dudek1 · Accepted solution]

如何失敗?

也許有不同的csv頭包括casesensivity enforceSchema = False也許可以幫助。

關於scala模式下罩它指向相同的功能。

[jose_gonzalez]

嗨@nafri,

你有什麼錯誤,你能分享它嗎?像@Hubert杜德克提到的,都將調用相同的api