分析表中所有數據顯示null火花

[chhavibansal]

var df2 =火花。讀.format (csv) .option (“9”, ", ") .option(“標題”、“true”) .option .load (“inferSchema”、“true”) (“src / main /資源/數據/ titanic.csv”) df2.createOrReplaceTempView spark.table(《泰坦尼克號》)(《泰坦尼克號》).cache()火花。sql(“所有列的泰坦尼克號計算統計分析表”)火花。sql (“desc擴展泰坦尼克的名字”)。(100年,假)

我已經創建了一個火花,進口數據集,然後試圖將它注冊作為一個臨時表,在使用分析命令我gett統計所有列的值為NULL。

+ - - - - - - - - - - - - - - - - - - - - - - - - - - - + | info_name | info_value | + - - - - - - - - - - - - - - - - - - - - - - - - - - - + | col_name名字| | | data_type字符串| | |評論|零| |分鍾零| | |馬克斯零| | | num_nulls零| | | distinct_count零| | | avg_col_len零| | | max_col_len零| | |直方圖零| | + - - - - - - - - - - - - - - - - - - - - - - - - - - - +

誰能建議我做錯了什麼。

我注意到的是,如果我做一個新表

火花。sql(“創建表newtitanic select * from泰坦尼克號”)火花。sql(“所有列newtitanic計算統計分析表”)火花。sql (“desc擴展newtitanic名稱”)。(130年,假)

這將取我所有列的統計數據。

[Aviral-Bhardwaj]

嘿,

我已經測試,但這對我工作正常,你能共享數據集的鏈接,我們可以測試並提供您更好的解決方案

這是我的快照,結果我得到了什麼

[chhavibansal]

嗨@Aviral Bhardwaj

謝謝你的回答。

我的問題更多的是使用分析表命令之後,臨時創建視圖描述擴展。你是使用正確的數據集作為共享的黨衛軍。我已經共享的所有命令的序列導致零的狀態數據。

[Aviral-Bhardwaj]

@Chhavi邦薩爾

它發生,因為您正在使用特別的名字列在描述

所以看到這

我希望你這裏有一些想法

謝謝

Aviral Bhardwaj

[chhavibansal]

你能分享* newtitanic *是什麼我認為你會做類似的事情

火花。sql(“創建表newtitanic select * from泰坦尼克號》)

這樣的工作對我來說,但問題是我第一次做一個臨時視圖再創建一個表將保存在內存中。