取消
顯示的結果
而不是尋找
你的意思是:

需要緊急幫助:Python函數部署在集群拋出錯誤

Rajaniesh
新的貢獻者三世

你好,

我已經創建了一個python輪子下麵的代碼。包的名字是rule_engine

”“”

Python的入口點

”“”

導入係統

從pyspark.sql。進口expr函數,上校

def get_rules(標簽):

”“”

加載數據質量規則從一個表

:param標簽:標簽

返回:字典的規則匹配的標記

”“”

規則= {}

df = spark.read.table(“規則”)

在df.filter行(坳(“標記”)= =標記).collect ():

規則[行['名字']]=行(“約束”)

返回規則

def get_quarantine_rules(標簽):

”“”

加載數據質量規則從一個表

:param標簽:標簽

返回:字典的規則匹配的標記

”“”

all_rules_in_tags = get_rules(標簽)

qurantine_rule =“不是({0})”。形式at(" AND ".join(all_rules_in_tags.values()))

返回qurantine_rule

現在在我安裝成磚集群,然後導入它所以我可以調用的函數定義。

進口rule_engine

rule_dict = rule_engine.get_quarantine_rules(維護)

拋出這個錯誤:

NameError回溯(最近調用最後)

<命令- 502204870200978 > <細胞係:2 > ()

1進口rule_engine

- - - - - > 2 rule_dict = rule_engine.get_quarantine_rules(維護)

/ local_disk0 / .ephemeral_nfs / cluster_libraries / python / lib / python3.9 /網站/ rule_engine /functions.py在get_quarantine_rules(標簽)

27:返回:字典的規則匹配的標記

28日”“”

推薦- - - - - - > 29 all_rules_in_tags = get_rules(標簽)

30 qurantine_rule =“不是({0})”。形式at(" AND ".join(all_rules_in_tags.values()))

31日返回qurantine_rule

/ local_disk0 / .ephemeral_nfs / cluster_libraries / python / lib / python3.9 /網站/ rule_engine /functions.py在get_rules(標簽)

15”“”

16規則= {}

推薦- - - - - - > 17 df = spark.read.table(“規則”)

18在df.filter行(坳(“標記”)= =標記).collect ():

19規則[行['名字']]=行(“約束”)

NameError:名字“火花”沒有定義

問候

Rajaniesh

1回複1

Vidula_Khanna
主持人
主持人

嗨@Rajaniesh Kaushikk

很高興認識你,謝謝你的問題!

看看你的同行在社區中有一個回答你的問題。謝謝。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map