SparkSession。
sql
DataFrame
arg遊戲
kwargs
SQL查詢字符串。
一個字典的命名參數的開始:標記和相應的SQL文本替換。閱讀的列表支持文字為選項。
:
用戶想要的其他變量,可以在查詢中引用。
添加可選參數kwargs查詢中指定變量的映射。這個特性實驗和不穩定。
例子
執行一個SQL查詢。
> > >火花。sql(“SELECT * FROM範圍(10)id > 7”)。顯示()+ - - - +| | id+ - - - +8 | |9 | |+ - - - +
執行一個SQL查詢和一個整數參數。
> > >火花。sql(“SELECT * FROM範圍(10)id >: param”,arg遊戲={“參數”:“7”})。顯示()+ - - - +| | id+ - - - +8 | |9 | |+ - - - +
執行一個SQL查詢字符串參數。
> > >火花。sql(“SELECT *從員工那裏的名字=:param”,arg遊戲={“參數”:“約翰”})。顯示()+ - - - + - - - +| | | id名稱+ - - - + - - - +約翰| 100 | |+ - - - + - - - +
執行一個SQL查詢以變量為Python格式化程序標準。
> > >火花。sql(…“SELECT * FROM範圍(10)id >{bound1}和id <{bound2}”,bound1=7,bound2=9…)。顯示()+ - - - +| | id+ - - - +8 | |+ - - - +
> > >mydf=火花。範圍(10)> > >火花。sql(…“選擇{坳}從{mydf}在id{x}”,…上校=mydf。id,mydf=mydf,x=元組(範圍(4)))。顯示()+ - - - +| | id+ - - - +| 0 || 1 || 2 || 3 |+ - - - +
> > >火花。sql(“‘…選擇m1。,m2.b…從{table1}m1內連接{表}平方米…m1。關鍵= m2.key…ORDER BY m1。,m2.b”,…表1=火花。createDataFrame(((1,“一個”),(2,“b”)),(“一個”,“關鍵”]),…表二=火花。createDataFrame(((3,“一個”),(4,“b”),(5,“b”)),(“b”,“關鍵”)))。顯示()+ - - - + - - - +| | | b+ - - - + - - - +| 1 | 3 || 2 | 4 || 2 | 5 |+ - - - + - - - +
同時,可以查詢使用類:列從DataFrame。
> > >mydf=火花。createDataFrame(((1,4),(2,4),(3,6)),(“一個”,“B”])> > >火花。sql(“選擇{df.A},{df [B]}從{df}”,df=mydf)。顯示()+ - - - + - - - +| | | B+ - - - + - - - +| 1 | 4 || 2 | 4 || 3 | 6 |+ - - - + - - - +
以前的
pyspark.sql.SparkSession.sparkContext
下一個
pyspark.sql.SparkSession.stop