創建一個Api通過url鏈接&保存df列表

[KayCon86]

我需要106000 + api的調用,而不是叫他們一個接一個,我想創建一個循環,我有位置Id的列表,從那裏我叫api位置列表,這些將坐在url的最後來獲得更多的信息在每個位置的位置列表是有限的。

e。克我想要帶回106000 api的鏈接“IdColumn”從我的列表加載

www.apilink / 24582

www.apilink / 24563....

請看下麵的代碼如果任何人都可以幫助它會有幫助的。

從pyspark.sql。類型進口StructField、StructType StringType,數據類型,行

Idlist = spark.read.load (“loadedfile.paquet”)

locid = Idlist.select (“IdColumn”)

LookUppy = str (“https://apilink/locations/”) + str (Idlist [' IdColumn '])

打印(LookUppy)

我把這個作為輸出=

https://apilink/locations/ <“ldColumn”>;

[daniel_sahal]

@Kay康諾利

請檢查下麵的例子:

data = [{" ID ": 1}, {" ID ": 2}, {" ID ": 3}, {" ID ": 4}] df = spark.createDataFrame(數據)的行df.rdd.collect():打印(" https://apilink/locations/ " + str(行(" ID ")))

[Vidula_Khanna]

嗨@Kay康諾利

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!

[匿名]

@Kay Connolly:

它看起來像你想連接字符串列對象,這是導致錯誤。你需要先列對象轉換為一個字符串連接URL。這是一個修改過的代碼片段應該工作:

從pyspark.sql。功能導入concat_ws Idlist = spark.read.load (“loadedfile.paquet”) locid = Idlist.select (IdColumn) # IdColumn轉換為字符串和連接URL lookup_urls = locid。withColumn (“url”, concat_ws (“、“https://apilink/locations/”locid.IdColumn.cast('字符串')))#顯示生成的url lookup_urls.show ()

這將創建一個名為url的新列,其中包含完整的API為每個位置鏈接dataframe ID。然後,您可以使用本專欄API調用在一個循環中。