概觀
最具影響力的資料驅動型洞察來自於對您的業務和客戶的全面了解。只有在跨多個部門、服務、內部部署工具和第三方應用程式連接資料來源的資料時,才能實現這一點。
透過 AWS 整合資料,無論資料位於何處,都能輕鬆連接並對所有資料採用行動。透過 AWS 資料整合功能,您可以將來自多個來源的資料整合在一起;您可以轉換、操作並管理資料,跨資料湖和資料倉儲交付高品質的資料。
使用 AWS 進行資料整合的優勢
使用 AWS 解決資料整合挑戰
AWS 可協助您從儲存資料的任何地方存取和整合資料,讓資料整合團隊專注於高價值活動,以儘可能發揮資料的最大價值。
AWS Glue 能讓您輕鬆探索、準備和整合任何規模的所有資料。AWS Database Migration Service 可協助將資料庫和分析工作負載快速、安全地遷移至 AWS,並且將停機時間降至最低,達到零資料遺失率。Amazon Managed Workflows for Apache Airflow (MWAA) 為 Apache Airflow 提供安全、高度可用的受管工作流程協同運作。AWS Data Exchange 與來自 300 多家資料供應商和 3,500 多個資料產品的第三方資料連線。
針對需要轉換資料、標準化資料、在從原始資料存放區擷取資料前檢查資料品質,或縮小資料表欄、列或資料大小的複雜使用案例,AWS Glue 能讓您更輕鬆地準備和整合資料。
針對定期重複 ETL 的常見使用案例,您可以使用 AWS 零 ETL 功能,如此一來就無需建置和管理 ETL 管道。透過 AWS 零 ETL 功能,您可以直接從 Amazon Managed Streaming for Apache Kafka 擷取串流資料至 Amazon Redshift,並透過 Amazon Redshift 近乎即時地分析 Amazon Aurora 資料,還能進一步執行更多功能。
企業中的不同使用者與資料互動的技術能力各不相同,如果沒有合適工具,他們就可能無法與資料互動。
AWS 為所有使用者類型 (從開發人員到業務使用者) 提供特定技能的介面和任務編寫工具。AWS Glue Studio 會自動產生 ETL 程式碼,讓 ETL 開發人員和業務分析師透過無程式碼介面來轉換資料。AWS Glue 還能讓開發人員和工程師使用自己偏好的整合式開發環境 (IDE)、筆記型電腦和處理引擎。Amazon Managed Workflows for Apache Airflow 能讓科學家和工程師協調端對端資料管道。
AWS 能夠為各種工作負載提供支援,而無需鎖定。
您無需成為 Apache Spark 專家,AWS Glue Studio 可協助您撰寫高度可擴展的 ETL 任務,並將結構化和非結構化資料載入資料倉儲和資料湖。Amazon Managed Streaming for Apache Kafka (MSK) 和 Amazon Kinesis 能讓您輕鬆即時擷取和處理串流資料。其他常見工作負載包括批次資料轉換、資料庫複寫、從 SaaS 擷取資料、團隊間共享資料,以及訂閱第三方資料。
相關 AWS 服務和功能
AWS Glue — 探索、準備和整合任何規模的所有資料
AWS Q 資料整合-生成式採用 AI 支援的 AWS Glue 功能,可讓您使用自然語言建立資料整合作業。
適用於 Apache Airflow 的亞馬遜託管工作流程 — 針對 Apache Airflow 安全且高可用性的受管理工作流程協調
亞馬遜 AppFlow — 自動執行軟體即服務 (SaaS) 與 AWS 服務之間的資料流程
亞馬遜極光零 ETL 與亞馬遜 Redshift 整合 — 針對 Aurora 中的 PB 交易資料執行近乎即時分析和 ML
Amazon Aurora 與 Amazon Redshift 的零 ETL 整合
Amazon DynamoDB 與 Amazon Redshift 的零 ETL 整合
Amazon RDS for MySQL 與 Amazon Redshift 的零 ETL 整合
Amazon DynamoDB 與 Amazon OpenSearch Service 的零 ETL 整合
AWS 資料庫移轉服務 — 快速、安全地將您的資料庫和分析工作流程移至 AWS,且停機時間最短,且資料遺失零
Amazon Athena — 輕鬆靈活地分析 PB 規模資料
亞馬遜 Redshift — 雲端資料倉儲的最佳價格效能
AWS Lake Formation — 在數天內建、管理和保護資料湖
AWS 資料交換 — 輕鬆尋找、訂閱和使用雲端中的第三方資料
AWS Glue 目錄 — 在 AWS 雲端中儲存、註解和共用中繼資料
亞馬遜 DataZone — 透過內建的治理解鎖跨組織界限的資料