區別運行pyspark代碼通過使用讚揚python3 pyspark

[twotwoiscute]

我困惑是什麼區別使用命令運行代碼

python3 CODENAME.py

通過讚揚和啟動它

pyspark

和開始工作代碼。

當我運行代碼:

火花= SparkSession.builder.config (“spark.driver。記憶”、“16”).appName (EDA) .getOrCreate ()

第一種方法

python3 CODENAME.py

提高了錯誤,即使我已經完成

出口JAVA_HOME = / usr / lib / jvm / java-8-openjdk-amd64出口SPARK_HOME = / home / twotwo / anaconda3 / env / yolov5 / lib / python3.8 /網站/ pyspark出口PYTHONPATH = $ SPARK_HOME / python: SPARK_HOME美元/ python / lib / py4j-0.10.9-src。郵政編碼:PYTHONPATH出口路徑= SPARK_HOME / python:美元美元的道路

錯誤mseeage看起來像:

例外:Java網關進程退出之前發送端口號

然而,第二種方式運行的代碼沒有任何問題,我想知道有什麼區別這兩個,謝謝

[Kaniz]

嗨@twotwoiscute !我的名字叫Kaniz,和我是一個技術主持人。很高興認識你,謝謝你的問題!看看你的同行在論壇上先回答你的問題。否則我們將很快跟進與回複。

[Kaniz]

使用spark-submit和pyspark命令您可以運行火花語句,這些命令都可用SPARK_HOME美元/ bin目錄,你會發現兩套這些命令為Linux / macOS . sh文件.cmd文件窗口。

如果您正在使用EMR,有三件事 1。使用pyspark(或spark-shell)2。使用不使用——主人和deploy-mode spark-submit3所示。使用spark-submit和使用——主人和deploy-mode 盡管使用上述三個將火花集群中運行應用程序,有一個不同的驅動程序是如何工作的。 在1號和2號司機將在客戶機模式而在3日,司機也將在集群中。

在1號和2號,你將不得不等到一個應用程序完成運行另一個,但在3日你可以並行運行多個應用程序。