@Tamoor閣下:
您可以使用to_json DataFrame的方法將每個塊轉換為一個JSON字符串,然後將這些列表JSON字符串。下麵是一個示例代碼片段分割DataFrame為1 mb的塊和創建一個JSON數組列表,每一行中每一塊是一個數組元素:
進口json #假設df是你DataFrame chunk_size = 1 _000_000 # 1 mb的塊大小json_arrays =[]開始的範圍(0 len (df) chunk_size):結束= min (+ chunk_size開始,len (df))塊= df。iloc[開始:結束]json_str = chunk.to_json(東方=“記錄”)json_array = json.loads (json_str) json_arrays.append (json_array) #所有JSON數組合並為一個數組merged_json_array = (json_arrays[]) #和合並後的JSON數組轉換為一個JSON字符串merged_json_str = json.dumps (merged_json_array)
在上麵的代碼中,我們首先定義塊大小為1 mb。然後循環DataFrame,切成塊使用iloc指定大小的方法。對於每個塊,我們使用to_json方法,將它轉換為一個JSON字符串與東方參數設置為“記錄”,產生一個JSON對象列表(為每一行一個)。然後,我們使用json。解析JSON字符串裝入一個字典列表。我們將每個列表的字典(對應於一個大塊DataFrame)
json_arrays列表。
我們處理所有的塊之後,我們所有的JSON數組合並為一個數組使用內置的求和函數。最後,我們將合並後的JSON數組轉換為一個JSON字符串使用json.dumps。
