rule-based big data ETL system
1.利用 Kafka 進行 Streaming ETL,解決 message 重複問題,分析事件內容,找出潛在的系統風險。
2.提供 http api,利用 Redis 提昇讀取效能, 同時防止 cache 資料不一致的情況發生。
3.撰寫 Elasticsearch Aggregations 以進行複雜查詢,並進行冷資料的刪除週期規劃。
4.主動支援運維團隊,開發指令列(Command Line)工具,實施自動化解決方案,手動任務減少了50%。
Golang、MySQL、Elasticsearch、Redis、Kafka、Docker、Kubernetes