python
celery Mysql PostgreSQL Flask |
四月 2020 - Present
Taipei, Taiwan
基地台 大數據分析系統 開發以維護 以 Django + Django DRF + celery + redis 做為基底 加上 restful api
增加 擴充性
細項在針對 各子系統做開發
系統從mysql > GREENPLUM
優化 sql 一小時縮短至10分內 原先多表 join 善用了 臨時表 寫入壓縮 多執行寫入等
善用 index 複合index query 前 analyze
原先上版需要半小時 透過腳本 縮短至2分內
導入 celery 任務平行 redis 快取常用資料
Celery 不同任務 不同的quen 不同的worker 處理 以及定時 延時任務
績效分析子技統 將原本需要半小時的 query 持續優化至五分鐘 提升性能500%
善用了 臨時表 寫入壓縮 多執行寫入等
查詢前 analysis table 等
設定比對子系統 大量比對 導入多執行緒 演算法 加速
導入 git hook
更新 dockerfile 減少堆疊層數
更新 celery broke redis > rabbitmq 增加效能
更新 celery_config 強化效能 並 減低故障發機率
增加 壓縮功能 有效減少 資料傳輸量 最佳狀態 可減少至十分之一 傳輸量
LINUX 系統 UBUNTU and centos
使用 Docker
導入 shell腳本 作為部屬工具 提升部屬效率 原部屬方式需要花費一天 導入後縮短至數分鐘
Django 使用 Gunicon 啟動
DB 使用 MYSQL greenplum
七月 2019 - 三月 2020
Taipei, Taiwan
爬蟲系統維護及開發(主要使用 python+celery+scrapy +bs4 )以及維護
內部主機群管理維運(使用Fabric)
十二月 2017 - 七月 2019
Taipei, Taiwan
協助開發維護 字媒體計畫 相關系統
主要使用 python 目前使用 Gunicorn+flask 開發後端api (restful) 兼任客服支援工程師
部分使用php用於開發客製化 wordpress 外掛
爬蟲使用 scrapy (爬取台灣新聞網站 蘋果 公視 中央社等) 供資料分析組 語意分析
(併發系統)Task Queue use celery + redis or rabbitMQ
facebook api 使用經驗 (挖掘粉絲團數據)
同時有開發 wp 外掛 facebook 發文可同步回 部落格 或是反向同步
主要使用 flask 有部分 Django 使用經驗用於POC
部屬部分使用 docker + GCP
DB 使用過
mysql
postgresql (主要使用)
mongo
sqlorm use sqlalchemy
版本控制 bitbucket and git 都有使用經驗
七月 2016 - 四月 2017
Taipei, Taiwan
維護網站 開發公司所需工具
從事網路程式設計、架站,網路安全維護等工作。
維護知名酒商網站 iwine 網站
LARAVEL 框架網站維護
CMS網站建置及維護 客製化修改(以WORDPRESS為主)
SLACK API開發機器人(WEBHOOK)
FBGRAPH API 開發FB數據分析工具
FB MESSAGE 開發MESSAGE機器人(粉絲團專用)
AWS EC2(雲端主機)使用經驗(主要使用UBUNTU16.04 )
PS 亦有CENTOS7 使用經驗
GA工具使用及分析
2012 - 2016
python
celery Mysql PostgreSQL Flask |
四月 2020 - Present
Taipei, Taiwan
基地台 大數據分析系統 開發以維護 以 Django + Django DRF + celery + redis 做為基底 加上 restful api
增加 擴充性
細項在針對 各子系統做開發
系統從mysql > GREENPLUM
優化 sql 一小時縮短至10分內 原先多表 join 善用了 臨時表 寫入壓縮 多執行寫入等
善用 index 複合index query 前 analyze
原先上版需要半小時 透過腳本 縮短至2分內
導入 celery 任務平行 redis 快取常用資料
Celery 不同任務 不同的quen 不同的worker 處理 以及定時 延時任務
績效分析子技統 將原本需要半小時的 query 持續優化至五分鐘 提升性能500%
善用了 臨時表 寫入壓縮 多執行寫入等
查詢前 analysis table 等
設定比對子系統 大量比對 導入多執行緒 演算法 加速
導入 git hook
更新 dockerfile 減少堆疊層數
更新 celery broke redis > rabbitmq 增加效能
更新 celery_config 強化效能 並 減低故障發機率
增加 壓縮功能 有效減少 資料傳輸量 最佳狀態 可減少至十分之一 傳輸量
LINUX 系統 UBUNTU and centos
使用 Docker
導入 shell腳本 作為部屬工具 提升部屬效率 原部屬方式需要花費一天 導入後縮短至數分鐘
Django 使用 Gunicon 啟動
DB 使用 MYSQL greenplum
七月 2019 - 三月 2020
Taipei, Taiwan
爬蟲系統維護及開發(主要使用 python+celery+scrapy +bs4 )以及維護
內部主機群管理維運(使用Fabric)
十二月 2017 - 七月 2019
Taipei, Taiwan
協助開發維護 字媒體計畫 相關系統
主要使用 python 目前使用 Gunicorn+flask 開發後端api (restful) 兼任客服支援工程師
部分使用php用於開發客製化 wordpress 外掛
爬蟲使用 scrapy (爬取台灣新聞網站 蘋果 公視 中央社等) 供資料分析組 語意分析
(併發系統)Task Queue use celery + redis or rabbitMQ
facebook api 使用經驗 (挖掘粉絲團數據)
同時有開發 wp 外掛 facebook 發文可同步回 部落格 或是反向同步
主要使用 flask 有部分 Django 使用經驗用於POC
部屬部分使用 docker + GCP
DB 使用過
mysql
postgresql (主要使用)
mongo
sqlorm use sqlalchemy
版本控制 bitbucket and git 都有使用經驗
七月 2016 - 四月 2017
Taipei, Taiwan
維護網站 開發公司所需工具
從事網路程式設計、架站,網路安全維護等工作。
維護知名酒商網站 iwine 網站
LARAVEL 框架網站維護
CMS網站建置及維護 客製化修改(以WORDPRESS為主)
SLACK API開發機器人(WEBHOOK)
FBGRAPH API 開發FB數據分析工具
FB MESSAGE 開發MESSAGE機器人(粉絲團專用)
AWS EC2(雲端主機)使用經驗(主要使用UBUNTU16.04 )
PS 亦有CENTOS7 使用經驗
GA工具使用及分析
2012 - 2016