不能引發上下文中運行在一個單元中運行python文件使用% sh

[deficiant_codge]

大家好！

我試圖讓火花上下文通過運行SparkSession builder . py文件命令,當我試著運行它直接工作,但是如果我有一個筆記本和一個細胞如果我使用% sh命令運行python“myfilename”它給了一個錯誤,我想創建一個新的會話。如何解決呢?

任何幫助將不勝感激。

謝謝

[赫曼特]

嗨@deficiant_codgesparksession和sparkcontext,磚已經提供變量。

使用火花sparksession和scsparkcontext。
我認為這將幫助你。

[deficiant_codge]

其實我有一些用例,我必須強製運行python文件使用% sh和我不能夠訪問這些變量。我知道這些變量,但問題是他們隻是不工作。
看到下麵的圖片:

[赫曼特]

@deficiant_codge你可以嚐試以下:

_spark_session = SparkSession \

。 構建器 ()\

。 瀏覽器名稱 ( “myapp” )\

。 getOrCreate ()

[deficiant_codge]

我試著它還附加,附加的圖片,但它不工作