用Databricks查詢亞馬遜紅移

驗證到S3和Redshift

數據源涉及多個網絡連接，如下圖所示:

┌───────┐┌───────────────────> S3││<─────────────────┐│我或鍵└───────┘我或鍵││^││││我或鍵v v┌──────v────┐┌────────────┐┌───────────┐│┌──────────┴┐│紅移││火花│││火花│││<──────────>司機││<────────> |執行人│└────────────┘└───────────┘└───────────┘JDBC與配置用戶名/密碼火花(默認啟用SSL)

數據源在Redshift和S3之間傳輸數據時，對S3進行讀寫操作。因此，它要求AWS憑證具有對S3桶的讀寫訪問權限(使用tempdir配置參數)。

以下部分描述了每個連接的身份驗證配置選項:

加密

• 確保JDBC:除非JDBC URL中存在任何與SSL相關的設置，否則數據源默認啟用SSL加密，並驗證Redshift服務器是否可信(即:sslmode = verify-full)．為此，在第一次需要服務器證書時，會自動從Amazon服務器下載服務器證書。如果失敗，則使用預綁定的證書文件作為備用。這對Redshift和PostgreSQL JDBC驅動程序都適用。中介紹了自動SSL配置＿；早期版本不會自動配置SSL，而是使用默認的JDBC驅動程序配置(禁用SSL)。

  如果這個特性有任何問題，或者您隻是想禁用SSL，您可以調用.option(“autoenablessl”,“假”)在你的DataFrameReaderorgydF4y2BaDataFrameWriter．

  如果你想指定自定義ssl相關的設置，你可以按照Redshift文檔中的說明:在Java中使用SSL和服務器證書而且JDBC驅動程序配置選項JDBC中出現的任何與ssl相關的選項url與數據源一起使用優先級(即自動配置不會觸發)。

• 加密存儲在S3中的UNLOAD數據(從Redshift讀取時存儲的數據):根據Redshift文檔卸載數據到S3，“UNLOAD使用Amazon S3服務器端加密(SSE-S3)自動加密數據文件。”

  Redshift還支持客戶端加密與自定義密鑰(見:卸載加密數據文件)，但數據源缺乏指定所需對稱密鑰的能力。

• 加密存儲在S3中的COPY數據(寫入Redshift時存儲的數據):根據Redshift文檔從Amazon S3加載加密數據文件：

您可以使用複製命令加載使用aws管理的加密密鑰(SSE-S3或SSE-KMS)的服務器端加密、客戶端加密或兩者都上傳到Amazon S3的數據文件。COPY不支持使用客戶提供的密鑰(SSE-C)進行Amazon S3服務器端加密。

參數

Spark SQL中提供的參數map或OPTIONS支持以下設置:

jdbc: subprotocol: / / <主機>:<端口> /數據庫?用戶= <用戶名>密碼= <密碼>

配置字符串列的最大大小

創建紅移表時，默認行為是創建文本字符串列的列。紅移的商店文本列如VARCHAR (256)，因此這些列的最大長度為256個字符(源)．

要支持更大的列，可以使用最大長度列元數據字段指定單個字符串列的最大長度。通過聲明最大長度小於默認值的列，這對於實現節省空間的性能優化也很有用。

df＝.．.#你要寫入紅移的數據幀#指定每個列的自定義寬度columnLengthMap＝｛“language_code”：2，“country_code”：2，“url”：2083，｝#應用每個列元數據定製為（colName，長度）在columnLengthMap．iteritems（）:元數據＝｛最大長度的：長度｝df＝df．withColumn（colName，df［colName］．別名（colName，元數據＝元數據）)df．寫＼．格式（“com.databricks.spark.redshift”）＼．選項（“url”，jdbcURL）＼．選項（“tempdir”，s3TempDirectory）＼．選項（“數據表”，sessionTable）＼．保存（）

進口org．apache．火花．sql．類型．MetadataBuilder//指定每個列的自定義寬度瓦爾columnLengthMap＝地圖（“language_code”->2，“country_code”->2，“url”->2083）vardf＝.．.//你要寫入的數據幀//應用每個列元數據定製columnLengthMap．foreach｛情況下（colName，長度）= >瓦爾元數據＝新MetadataBuilder（).putLong（“最大長度”，長度)．構建（）df＝df．withColumn（colName，df（colName)．作為（colName，元數據）)｝df．寫．格式（“com.databricks.spark.redshift”）．選項（“url”，jdbcURL）．選項（“tempdir”，s3TempDirectory）．選項（“數據表”，sessionTable）．保存（）

設置自定義列類型

如果需要手動設置列類型，可以使用redshift_type列元數據。屬性，例如，如果您希望重寫火花SQL模式->紅移SQL類型匹配器來分配用戶定義的列類型，您可以執行以下操作:

#指定每個列的自定義類型columnTypeMap＝｛“language_code”：“CHAR(2)”，“country_code”：“CHAR(2)”，“url”：“BPCHAR(111)”，｝df＝.．.#你要寫入紅移的數據幀#應用每個列元數據定製為（colName，colType）在columnTypeMap．iteritems（）:元數據＝｛“redshift_type”：colType｝df＝df．withColumn（colName，df［colName］．別名（colName，元數據＝元數據）)

進口org．apache．火花．sql．類型．MetadataBuilder//指定每個列的自定義類型瓦爾columnTypeMap＝地圖（“language_code”->“CHAR(2)”，“country_code”->“CHAR(2)”，“url”->“BPCHAR(111)”）vardf＝.．.//你要寫入的數據幀//應用每個列元數據定製columnTypeMap．foreach｛情況下（colName，colType）= >瓦爾元數據＝新MetadataBuilder（).putString（“redshift_type”，colType)．構建（）df＝df．withColumn（colName，df（colName)．作為（colName，元數據）)｝

配置列編碼

創建表時，使用編碼列元數據字段指定每個列的壓縮編碼(請參閱亞馬遜文檔對於可用的編碼)。

在列上設置描述

Redshift允許列附加應該在大多數查詢工具中顯示的描述(使用評論命令)。您可以設置描述列元數據字段，為各個列指定描述。

查詢下推到紅移

Spark優化器將以下操作符推入紅移:

• 過濾器

• 項目

• 排序

• 限製

• 聚合

• 加入

在項目而且過濾器，它支持以下表達式:

• 大多數布爾邏輯運算符

• 比較

• 基本算術運算

• 數字和字符串類型轉換

• 大多數字符串函數

• 標量子查詢，如果它們可以完全下推到紅移。

在聚合，支持以下聚合功能:

• AVG

• 數

• 馬克斯

• 最小值

• 總和

• STDDEV_SAMP

• STDDEV_POP

• VAR_SAMP

• VAR_POP

結合截然不同的條款，如適用。

在加入，它支持以下類型的連接:

• 內心的加入

• 左外加入

• 正確的外加入

• 左半加入

• 左反加入

• 被重寫的子查詢加入通過優化器。在哪裏存在，在哪裏不存在

下推在使用的查詢中可能最有用限製．查詢如下選擇＊從large_redshift_table限製10可能會花費很長時間，因為作為中間結果，整個表將首先被卸載到S3。通過下推，限製在紅移中執行。在使用聚合的查詢中，將聚合向下推到紅移也有助於減少需要傳輸的數據量。

查詢下推到紅移默認啟用。可以通過設置禁用spark.databricks.redshift.pushdown來假．即使在禁用時，Spark仍然下推過濾器並執行列消除到Redshift。

關於紅移和S3屬性的一般背景

有關紅移事務保證的一般信息，請參見並發寫操作管理Redshift文檔中的章節。簡而言之，紅移提供了可序列化的隔離根據紅移的文檔開始命令:

[盡管]您可以使用四個事務隔離級別中的任何一個，但Amazon Redshift將所有隔離級別處理為可序列化的。

根據紅移的文檔：

Amazon Redshift支持默認值自動提交每個單獨執行的SQL命令單獨提交的行為。

因此，單獨的命令像複製而且卸載是原子的和事務性的，而顯式的開始而且結束應該隻在強製多個命令或查詢的原子性時才有必要。

數據源在對Redshift進行讀寫時，對S3中的數據進行讀寫。Spark和Redshift都生成分區輸出，並將其存儲在S3中的多個文件中。根據Amazon S3數據一致性模型文檔，S3桶列表操作最終是一致的，所以文件必須有特殊的長度，以避免由於最終一致性的來源而丟失或不完整的數據。

Spark的紅移數據源保證

S3桶和Redshift集群位於不同的AWS區域

默認情況下，S3 <->當S3桶和紅移集群在不同的AWS區域時，紅移副本不生效。

如果你試圖讀取一個紅移表時，S3桶在不同的區域，你可能會看到一個錯誤，如:

ERROR: S3ServiceException:該查詢所尋址的S3桶與該集群不在同一區域。，狀態301，錯誤PermanentRedirect。

類似地，嚐試使用不同區域的S3桶寫入Redshift可能會導致以下錯誤:

—S3ServiceException:查詢所尋址的S3桶與此集群不在同一區域。，狀態301，錯誤PermanentRedirect

• 寫道:紅移複製命令支持顯式指定S3桶區域，因此您可以在這些情況下通過添加地區“the-region-name”到extracopyoptions設置。例如，對於美國東部(弗吉尼亞州)地區的桶和Scala API，使用:

  ．選項（“extracopyoptions”，“地區us-east-1”）

  您也可以選擇使用awsregion設置:

  ．選項（“awsregion”，“us-east-1”）

• 寫著:紅移卸載命令還支持顯式指定S3桶區域。屬性中添加區域，可以使讀取工作正常進行awsregion設置:

  ．選項（“awsregion”，“us-east-1”）

使用實例概要文件對S3進行身份驗證時出現意外的S3ServiceException憑據錯誤

如果你正在使用實例配置文件驗證到S3並接收一個意外的消息S3ServiceException錯誤時，檢查AWS訪問密鑰是否在tempdir方法檢查的任何源中DefaultAWSCredentialsProviderChain:這些源優先於實例概要憑證。

下麵是一個示例錯誤消息，可能是密鑰意外優先於實例配置文件的症狀:

com.amazonaws.services.s3.model。一個mazonS3Exception: The AWS Access Key Id you provided does not exist in our records. (Service: Amazon S3; Status Code: 403; Error Code: InvalidAccessKeyId;

在JDBC url中使用帶有特殊字符的密碼時出現身份驗證錯誤

如果您將用戶名和密碼作為JDBC url的一部分提供，並且密碼包含特殊字符，例如；，?,或＆，您可能會看到以下異常:

java.sql.SQLException: [Amazon](500310)無效操作:用戶'xyz'密碼驗證失敗

這是由於JDBC驅動程序沒有正確轉義用戶名或密碼中的特殊字符造成的。確保使用相應的DataFrame選項指定用戶名和密碼用戶而且密碼．有關更多信息，請參見參數．

即使完成了相應的紅移操作，長時間運行的Spark查詢也會無限期掛起

如果您正在對Redshift讀寫大量數據，您的Spark查詢可能無限期掛起，即使AWS紅移監控頁麵顯示相應的負載orgydF4y2Ba卸載操作已完成，且集群處於空閑狀態。這是由於紅移和火花超時之間的連接造成的。為了避免這種情況，請確保tcpKeepAliveJDBC標誌已啟用，並且TCPKeepAliveMinutes設置為一個較低的值(例如，1)。

有關其他信息，請參見Amazon Redshift JDBC驅動程序配置．

帶有時區語義的時間戳

讀取數據時，均紅移時間戳而且TIMESTAMPTZ數據類型映射到SparkTimestampType，值轉換為UTC (Coordinated Universal Time)時間戳，存儲為UTC時間戳。對於紅移時間戳，則假設該值不包含任何時區信息，即為本地時區。當向Redshift表寫入數據時，SparkTimestampType映射到紅移上時間戳數據類型。