取消
顯示的結果
而不是尋找
你的意思是:

python腳本在運行時數據磚引發錯誤

170017年
新的貢獻者二世

我有以下基本的腳本,使用在我的機器上pycharm沒問題。

從pyspark。sql進口SparkSession

打印(“開始”)

火花= SparkSession \

.Builder () \

.appName \ (“myapp”)

部分(當地(* 4))\

.getOrCreate ()

打印(火花)

data =[(詹姆斯,”,“史密斯”,“1991-04-01”,“M”, 3000),

(“邁克爾”,“玫瑰”,“‘2000-05-19’,‘米’,4000),

(“羅伯特”,”,“威廉姆斯,‘1978-09-05’,‘米’,4000),

(“瑪麗亞”,“安妮”,瓊斯,' 1967-12-01 ',' F ', 4000),

(“仁”,“瑪麗”,“布朗”,' 1980-02-17 ',' F ', 1)

]

列= [“firstname”、“middlename”,“姓”,“強加於人”,“性別”,“工資”)

df =火花。createDataFrame(=數據、模式=列)

打印(df)

然而當試圖在磚集群上運行,直接通過python腳本它給了一個錯誤。

最後開始回溯(最近調用):文件“/ usr / lib / python3.8 / runpy。py”, 194行,在_run_module_as_main返回_run_code(代碼、main_globals沒有,文件“/ usr / lib / python3.8 / runpy。py”, 87行,_run_code exec(代碼,run_globals)文件“/工作區/回購/ * * * * * * * * * * * / sdk_test /測試/ / spark_tests片段。py”, 13號線,在課堂上SparkTests:文件”/ Workspace /回購/ * * * * * * * / / spark_tests sdk_test /測試/片段。py”,行16日SparkTests sc = SparkContext.getOrCreate()文件”/磚/火花/ python / pyspark /上下文。py”, 400行,在getOrCreate SparkContext(參看= conf或SparkConf())文件”/磚/火花/ python / pyspark /上下文。py”, 147行初始化自我。_do_init(主瀏覽器名稱、sparkHome pyFiles,環境,batchSize,序列化器,文件“/磚/火花/ python / pyspark /上下文。py”, 192行,_do_init提高RuntimeError(“大師URL必須設置在您的配置”)RuntimeError:大師URL必須設置在你的配置CalledProcessError:命令" b 'cd . ./ \ n \ n /磚/ python3 / bin / python - m tests.snippets。spark_tests \ n # python - m tests.runner - env = qa - runtime_env =磚——上傳= True包= sdk \ n "返回非零退出狀態1。

我缺少什麼?

2回答2

Kaniz
社區經理
社區經理

嗨@Patricia Mayer,請指定您的DBR版本嗎?

Vidula
尊敬的貢獻者

嗨@Patricia梅爾

隻是想檢查如果你能解決你的問題或者你需要更多的幫助?我們很想聽到你的聲音。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map