Apr 2020 - Present
基地台 大數據分析系統 開發以維護 以 Django + Django DRF + celery + redis 做為基底 加上 restful api
增加 擴充性
細項在針對 各子系統做開發
系統從mysql > GREENPLUM
優化 sql 一小時縮短至10分內 原先多表 join 善用了 臨時表 寫入壓縮 多執行寫入等
善用 index 複合index query 前 analyze
原先上版需要半小時 透過腳本 縮短至2分內
導入 celery 任務平行 redis 快取常用資料
Celery 不同任務 不同的quen 不同的worker 處理 以及定時 延時任務
績效分析子技統 將原本需要半小時的 query 持續優化至五分鐘 提升性能500%
善用了 臨時表 寫入壓縮 多執行寫入等
查詢前 analysis table 等
設定比對子系統 大量比對 導入多執行緒 演算法 加速
導入 git hook
更新 dockerfile 減少堆疊層數
更新 celery broke redis > rabbitmq 增加效能
更新 celery_config 強化效能 並 減低故障發機率
增加 壓縮功能 有效減少 資料傳輸量 最佳狀態 可減少至十分之一 傳輸量
LINUX 系統 UBUNTU and centos
使用 Docker
導入 shell腳本 作為部屬工具 提升部屬效率 原部屬方式需要花費一天 導入後縮短至數分鐘
Django 使用 Gunicon 啟動
DB 使用 MYSQL greenplum
確認需求 分配工作 制定工作目標及達成時間 使用Notion SWAGGER Jira 等工具協助
分配 實習生作業 並給於指導