var df2 =火花。讀.format (csv) .option (“9”, ", ") .option(“標題”、“true”) .option .load (“inferSchema”、“true”) (“src / main /資源/數據/ titanic.csv”) df2.createOrReplaceTempView spark.table(《泰坦尼克號》)(《泰坦尼克號》).cache()火花。sql(“所有列的泰坦尼克號計算統計分析表”)火花。sql (“desc擴展泰坦尼克的名字”)。(100年,假)
我已經創建了一個火花,進口數據集,然後試圖將它注冊作為一個臨時表,在使用分析命令我gett統計所有列的值為NULL。
+ - - - - - - - - - - - - - - - - - - - - - - - - - - - + | info_name | info_value | + - - - - - - - - - - - - - - - - - - - - - - - - - - - + | col_name名字| | | data_type字符串| | |評論|零| |分鍾零| | |馬克斯零| | | num_nulls零| | | distinct_count零| | | avg_col_len零| | | max_col_len零| | |直方圖零| | + - - - - - - - - - - - - - - - - - - - - - - - - - - - +
誰能建議我做錯了什麼。
我注意到的是,如果我做一個新表
火花。sql(“創建表newtitanic select * from泰坦尼克號”)火花。sql(“所有列newtitanic計算統計分析表”)火花。sql (“desc擴展newtitanic名稱”)。(130年,假)
這將取我所有列的統計數據。