Mar 2015 - Present
1.以apache kafka作為大量資料任務分散處理核心,設計資料流程,承載每日近百萬筆資料供應與十萬 級資料處理
2.採用redis降低資料庫系統降低讀寫負載,進而提升服務效能,將服務回應時間由10sec降低至1~2sec
3.採用Elastic Stack(ELK)集中化日誌管理系統,監控系統中每個流程步驟,增進系統維運效能
4.導入docker容器化與微服務架構,佐以Kubernetes達成服務快速橫向擴展與佈署
5.使用aws s3作為雲端資料供應儲存區,降低本低資料維護成本的同時,增加可靠度
6.以django3實作RESTful API,提供前端網頁串接取得資訊。同時提供外部使用者取得資料meta與下載資料。
7.結合wsgi server將現行django API服務擴展為muti-process與muti-thread之架構,增加服務數量
8.設計架設服務叢集系統,包含apache kafka, mysq(PXC),ELK避免發生系統單點失效,造成服務停擺問題
9.透過inotify偵測資料系統行為,採取不同對應處理動作。當發生建立事件時,視為資料到位處理,發生搬移事件則發出資料告警訊息等作法。