NameError:“上校”沒有定義名稱

[MudassarA]

我執行以下代碼和使用Pyhton筆記本,看來坳()函數是沒有得到公認。

我想知道如果坳()函數屬於任何特定Dataframe庫或Python庫,我不想使用pyspark api,願使用sql dataframes api來編寫代碼

試圖運行下麵的代碼和錯誤-NameError:“上校”沒有定義名稱

peopleDF = spark.read.parquet (“/ mnt /培訓/ dataframes / people-10m.parquet”) peopleDF.printSchema () peopleDF.show () peopleDF.select(坳(“firstName”)) .filter (col (“firstName”)) = =“”

根據火花醫生

https://spark.apache.org/docs/latest/api/scala/index.html org.apache.spark.sql.Column

df (columnName) / /在一個特定的“df”DataFrame。坳(columnName) / /通用列沒有與DataFrame相關聯。坳(columnName.field) / /提取結構體字段坳(“a.column.with.dots”) / /逃避”。在列名。$ " columnName " / / Scala短手指定列。

[MOHAN_KUMARL_N]

@(電子郵件保護)

作為文檔描述通用列沒有關聯。請參考以下代碼。

顯示器(peopleDF.select (“firstName”)。過濾器(“firstName =一個”))