了解重命名磚
現在有很多方法可以重命名數據幀火花列或表達式。
我們可以重命名列或表達式使用別名作為選擇的一部分
我們可以添加或重命名列或表達式使用withColumn上麵的數據幀。
我們可以使用withColumnRenamed重命名一個列的數據幀。
我們通常使用withColumn執行行級轉換,然後結果提供一個名稱。如果我們給相同的名稱作為一個已有的列,然後列將被替換為一個新的。
如果我們想重命名列那最好使用withColumnRenamed。
如果我們想應用任何轉換,我們需要使用選擇或withColumn
我們可以使用toDF重命名列一堆。
首先,我們要明白什麼是withColumnRenamed withColumn
withColumn
幫助(MyFirstDataFrame.withColumn) #結果幫助pyspark.sql方法withColumn模塊。dataframe: withColumn (colName: str,坳:pyspark.sql.column.Column) - > dataframe pyspark.sql.dataframe法。DataFrame實例返回一個新的類:“DataFrame”通過添加一個列或替換現有的列有相同的名字。列表達式必須是一個表達式:類:“DataFrame”;從其他試圖添加一個列:類:“DataFrame”將拋出一個錯誤。。1.3.0 versionadded:版本參數- - - - - - - - - - - colName: str字符串,新列的名稱。上校::類:“列”答:類:“列”新列的表達式。筆記——這種方法內部引入了一個投影。因此,多次調用它,例如,通過循環以增加多個列可以產生大的計劃可能會導致性能問題,甚至“StackOverflowException”。為了避免這種情況,使用:func:“選擇”與多個列。 Examples -------- >>> df.withColumn('age2', df.age + 2).collect() [Row(age=2, name='Alice', age2=4), Row(age=5, name='Bob', age2=7)]
withColumnRenamed
幫助(MyFirstDataFrame.withColumnRenamed) #結果幫助pyspark.sql方法withColumnRenamed模塊。dataframe: withColumnRenamed(現有:str,新:str) - > dataframe pyspark.sql.dataframe法。DataFrame實例返回一個新的類:“DataFrame”重命名一個已有的列。這是一個操作模式不包含給定的列名稱。. .1.3.0 versionadded:版本參數- - - - - - - - - - -現有:str字符串,已有的列的名稱重命名。新:str字符串,新列的名稱。- - - - - - - - > > > df例子。withColumnRenamed('age', 'age2').collect() [Row(age2=2, name='Alice'), Row(age2=5, name='Bob')]
現在我們將Dataframe實用
withColumn——我們可以創建全新的列
如:withColumn (NewColumn OldColumn)
MyFirstDataFrame.select (“FirstName”,“姓”、“年齡”、“城市”、“工資”,“獎金”)\ .withColumn (NewColFirstName, MyFirstDataFrame.FirstName)結果,告訴()# + - - - - - - - - - - - - - - - - - - - - - - + - - - + + - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - + | FirstName | LastName城市年齡| | | | |工資獎金NewColFirstName | + - - - - - - - - - - - - - - - - - - - - - - + - - - + + - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - | + | Ram女子| 25 |班加羅爾| 2000 | 100 | Ram | | Shyam數控30 | | |欽奈| 3000 | 300 | Shyam | | Rohan | Jaki 45 | |安得拉邦| 1500 | 150 | Rohan | |: | sharma 35 | | Rameshwaram | 2500 | 250 |: | + - - - - - - - - - - - - - - - - - - - - - - + - - - + + - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - + #我添加斜杠visbility代碼你可以刪除#現在使用[]MyFirstDataFrame.select (“FirstName”,“姓”、“年齡”、“城市”、“工資”,“獎金”)。\ withColumn (NewColFirstName, MyFirstDataFrame [“FirstName”]),告訴()#結果+ - - - - - - - - - - - - - - - - - - - - - - + - - - + + - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - + | FirstName | LastName城市年齡| | | | |工資獎金NewColFirstName | + - - - - - - - - - - - - - - - - - - - - - - + - - - + + - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - | + | Ram女子| 25 |班加羅爾| 2000 | 100 | Ram | | Shyam數控30 | | |欽奈| 3000 | 300 | Shyam | | Rohan | Jaki 45 | |安得拉邦| 1500 | 150 | Rohan | |: | sharma 35 | | Rameshwaram | 2500 | 250 |: | + - - - - - - - - - - - - - - - - - - - - - - + - - - + + - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - + #現在我希望你明白我想說的
withColumnRenamed -我們可以創建全新的列如:withColumnRenamed (OldColumnName新名稱)
#我們的老結果MyFirstDataFrame.select(“*”),告訴()+ - - - - - - - - - - - - - - - - - - - - - - + - - - + - - - - - - - - - - - - + - - - +——+ | FirstName | LastName城市年齡| | | | |工資獎金+ - - - - - - - - - - - - - - - - - - - - - - + - - - + - - - - - - - - - - - - + - - - - - - - - - - - - | + | Ram女子| 25 |班加羅爾| 2000 | 100 | | Shyam數控30欽奈| | | 3000 | | 300 | | Rohan | Jaki 45 | |安得拉邦| 1500 | 150 | |:| sharma 35 | | Rameshwaram | 2500 | 250 | + - - - - - - - - - - - - - - - - - - - - - - + - - - + - - - - - - - - - - - - - - - - - - + +——+ MyFirstDataFrame.select (“FirstName”、“姓”、“年齡”、“城市”、“工資”,“獎金”)。/ withColumnRenamed (“FirstName”,“UsersFirstName”)。/ withColumnRenamed(“姓”,“userLastName”)。/ withColumnRenamed(“年齡”、“UserAge”),告訴()#結果+ - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - + +——+ | UsersFirstName | userLastName | UserAge城市| | | |工資獎金+ - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - | + | Ram女子| 25 |班加羅爾| 2000 | 100 | | Shyam數控| 30欽奈| | 3000 | | 300 | | Rohan | Jaki 45 | |安得拉邦| 1500 | 150 | |:| sharma 35 | | Rameshwaram | 2500 | 250 | + - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - +
最後,我們有一個別名函數改變列名下麵是代碼
#我們的老結果MyFirstDataFrame.select(“*”),告訴()+ - - - - - - - - - - - - - - - - - - - - - - + - - - + - - - - - - - - - - - - + - - - +——+ | FirstName | LastName城市年齡| | | | |工資獎金+ - - - - - - - - - - - - - - - - - - - - - - + - - - + - - - - - - - - - - - - + - - - - - - - - - - - - | + | Ram女子| 25 |班加羅爾| 2000 | 100 | | Shyam數控30欽奈| | | 3000 | | 300 | | Rohan | Jaki 45 | |安得拉邦| 1500 | 150 | |:| sharma 35 | | Rameshwaram | 2500 | 250 | + - - - - - - - - - - - - - - - - - - - - - - + - - - + - - - - - - - - - - - - - - - - - - + +——+ MyFirstDataFrame。\選擇(MyFirstDataFrame .alias (“FirstName”) (“UsersFirstName”), MyFirstDataFrame .alias(“姓”)(“UserLastName”), MyFirstDataFrame[‘年齡’].alias (UserAge))。\ withColumn (User_Full_Name, concat(坳(“UsersFirstName”),點燃(" "),坳(userLastName)))。\顯示結果()# + - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - + | UsersFirstName | UserLastName | UserAge | User_Full_Name | + - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - | + | Ram女子25 | | Ram,女子| | Shyam數控30 | | | Shyam,數控| | Rohan | Jaki 45 | |羅漢Jaki | |: | sharma 35 |: |, sharma | + - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - +
