@KARTHICK N:
是的,你可以使用相同的多個筆記本在磚SparkSession實例。如何做:
在第一個筆記本創建SparkSession實例,將其分配給一個變量:
火花= SparkSession.builder.appName (my_app) .getOrCreate ()
在第二個筆記本你想使用相同的SparkSession,您可以訪問該變量包含SparkSession實例通過使用%運行命令:
%運行“/道路/ /第一/筆記本”
這將執行第一個筆記本,使所有可用的變量定義在它在當前的筆記本。如果你定義一個變量火花在第一個筆記本,你可以訪問運行%運行命令後第二個筆記本。
注意,您需要提供的完整路徑中的第一個筆記本%運行命令,包括文件擴展名(例如ipynb)。一旦你進入火花變量在第二個筆記本,你可以使用它就像你會在第一個筆記本:
df = spark.read.csv(“/路徑/ / data.csv”)
這將創建一個使用相同的SparkSession DataFrame實例創建第一個筆記本。
請記住,當你使用%運行命令來訪問變量從另一個筆記本,你基本上是將這些變量導入到當前的筆記本。如果你修改一個變量在第二個筆記本,它不會影響原始變量在第一個筆記本。如果你需要筆記本電腦之間共享數據的方式,允許你修改它在一個筆記本和這些變化反映在另一個筆記本,你可能要考慮使用一個共享數據庫或文件係統。
