Data Lake

Avatar of 王慶文.
Avatar of 王慶文.

Data Lake

技術副理 @ adGeek / Cyntelli / Atelli
New Taipei, Banqiao District, New Taipei City, Taiwan

運用 AWS S3 + AWS Glue + AWS Athena 建構低成本的海量數據的查詢服務。


Highline


  • 使用 AWS Glue 管理 Database 和 Table 欄位,並且可動態闊展
  • 使用 AWS Glue Crawler 監測 S3 數據新增狀況,並更新 Table Partition 後續可在 Athena 進行查找
  • 根據業務使用情境,規劃與定義資料結構內容,讓每次查詢效益最大化


Technology


  • AWS S3
  • AWS Glue
  • AWS Athena


Role


  • Develop
建構 Data Lake 查詢媒體數據內容
Avatar of the user.
Please login to comment.

Published: Apr 24th 2022
75
7
0

Share