我執行以下代碼和使用Pyhton筆記本,看來坳()函數是沒有得到公認。
我想知道如果坳()函數屬於任何特定Dataframe庫或Python庫,我不想使用pyspark api,願使用sql dataframes api來編寫代碼
試圖運行下麵的代碼和錯誤-NameError:“上校”沒有定義名稱
peopleDF = spark.read.parquet (“/ mnt /培訓/ dataframes / people-10m.parquet”) peopleDF.printSchema () peopleDF.show () peopleDF.select(坳(“firstName”)) .filter (col (“firstName”)) = =“”
根據火花醫生
https://spark.apache.org/docs/latest/api/scala/index.html org.apache.spark.sql.Column
df (columnName) / /在一個特定的“df”DataFrame。坳(columnName) / /通用列沒有與DataFrame相關聯。坳(columnName.field) / /提取結構體字段坳(“a.column.with.dots”) / /逃避”。在列名。$ " columnName " / / Scala短手指定列。