過去 8 年多的工作經驗中
早期 4 年多的專案軟體經歷,訓練我理解開發需求,以及時程規劃的重要性。
轉職資料工程後的工作讓我理解用戶資料的巨大潛力以及資料兌現的可行性。
明白雲端服務帶來的便利,也理解地端服務存在的必要,大多數商業性質的資訊服務,更可能需要兩者並存,以貼合用戶的需求。
Email: [email protected]
MsSQL / MySQL Google Cloud Platform (GCP) Kubernetes Redis Docker ClickHouse Argocd Argoworkflows DBT Terragrunt Python Programming Go Programming
麻布數據科技股份有限公司 • 四月 2023 - Present
1. Backend 開發經驗
‧ 在 microservice 中建立 RESTful API 和 gRPC 端點服務 ,建構發票同步、載具同步服務,和提升 eventbus publisher 效率。
2. GCP 節費經驗:
‧ 搬遷後端服務到 Kubernetes ,調適 Pods 資源以達到最佳資源利用率,每個月節省 30% GCP 帳單費用。
3. CI/CD 自動化經驗:
‧ 使用 Github Actions build docker image 並上傳到 GCP artifact registry;利用 ArgoCD applicationset 監控與管理 GKE cluster ,自動上版 docker image 更新服務。
4. infrastructure as code 經驗:
‧ 使用 Terragrunt 和 Hashicorp 發布的 GitHub projects 管理 GCP infrastructure。
‧若 Hashicorp 沒有相關的 resources 時,則參考 Terraform Google Cloud provider 文件,自行刻撰 module 並在 Terragrunt 中使用 。
5. Data Engineer 經驗:
‧架設 ClickHouse cluster multi-shards ,處理 1B+ 量級資料。
‧dbt 開發 , 遵循 best practice 建立 ELT pipeline ,將 data mart 提供給 BI 工具串接,改善 BI 報表查詢體驗。
CloudMile 萬里雲 • 五月 2021 - 十月 2022
- 因業務增長,使用 GCP 部署產品導致費用急遽增加。通過分析帳單明細,發現 Airflow task 呼叫 Cloud Functions 啟
動爬蟲程式的費用高昂。我與另一位資料工程師討論後,改變架構並將爬蟲管道重新整合到 Airflow task 中,同時將
爬蟲改為 K8s application。這成功降低了 GCP 的月費用,每月節省了 1,000 美元,同時也提高了效率。
- MSP 團隊需要數據支持以爭取新的 head count。我利用過去的工單、服務時數和客戶類型等資料進行分析,找出造
成超負荷的原因。在與 MSP 團隊主管進一步討論後,我製作了簡報,向老闆報告了結果。建議採取教育訓練、套餐
升級以及建立標準化流程等措施,以有效提高客戶滿意度。
技術領域:資料庫設計與管理、Docker容器化、資料管道建置,以及雲端服務應用與部署。
中佑集團 凡谷興業 • 一月 2020 - 三月 2021
為了擴充客源和增加收益,我負責 RPA 系統架構和優化現有的 CDP 系統的 data pipeline,並帶領一個由 6 位技術人
員組成的團隊,包括 1 位前端工程師、2 位後端工程師、2 位資料工程師和 1 位 AI 工程師。
在獲得可用預算的討論中,我規劃了使用 RabbitMQ 作為訊息傳遞管道、GCE VMs 作為處理程序的站台、BigQuery 作
為資料倉儲、MySQL 和 Redis 作為前端進行資料查詢和快取資料庫,建立 RPA 系統的後端框架並帶領技術團隊共同
作業。
我和行銷團隊討論了廣告方式和推廣渠道,獨立設計和實施了優惠券服務,選擇應用在 Telegram chatbot 和
Facebook Messenger chatbot 上,帶來了百位以上的新客戶,並顯著增加了現有客戶的消費金額。
CDP 系統現有的 data pipeline 經常出現資料錯誤和批次處理時間過長的問題。在與負責該功能的同事討論後,我們找
出了問題的原因:1. SQL 查詢語法和資料表索引不匹配,2. 資料轉置流程中未設置資料緩衝區,以及 3. 未設置 audit
logs 導致在批次處理執行後的資料未能被捕捉。為此,我們進行了以下措施:1. 梳理並調整現有的資料表設置和 SQL
查詢語句,2. 分享資料緩衝區和 audit logs 的概念和實作方式,並請同事們執行和定期討論,以實際執行和導入。
技術領域 : 資料庫設計與管理、Docker容器化、資料管道建置、雲端服務應用與部署
SolventoSOFT Tech. Corp • 一月 2018 - 十一月 2019
技術領域 : .Net Framework程式設計、資料庫設計與管理、大數據處理、資料管道建置
英特內軟體股份有限公司 • 三月 2016 - 五月 2017
技術領域: ERP系統設計與規劃、Java程式設計、系統整合與優化
Delta Electronics, Inc. • 七月 2014 - 十月 2015
技術領域 : Web平台開發、語音辨識與分析、行動裝置程式開發
九月 2016 - 六月 2019
九月 2007 - 六月 2011
我在職場累積了多年的經驗,並展現了良好的工作抗壓能力。由於之前接觸的工作需要組織性思考和創新的技能,因此我具有很好的學習能力和快速適應新技術的能力,以增加自己的技能和知識儲備。
我的背景主修通訊工程領域,長期專注於資料處理和應用軟體開發。之前的工作經驗也主要集中在雲端應用開發和資料處理相關的領域。另外,我對一般的資工領域技術和程式開發工具也非常熟悉。
在跨領域的工作經驗中,我更加確信自己喜歡 RD 的工作,喜歡技術挑戰和克服困難之後的成就感。因此,我非常渴望在軟體系統開發工程師職位上找到一個長期的發展機會。
過去 8 年多的工作經驗中
早期 4 年多的專案軟體經歷,訓練我理解開發需求,以及時程規劃的重要性。
轉職資料工程後的工作讓我理解用戶資料的巨大潛力以及資料兌現的可行性。
明白雲端服務帶來的便利,也理解地端服務存在的必要,大多數商業性質的資訊服務,更可能需要兩者並存,以貼合用戶的需求。
Email: [email protected]
MsSQL / MySQL Google Cloud Platform (GCP) Kubernetes Redis Docker ClickHouse Argocd Argoworkflows DBT Terragrunt Python Programming Go Programming
麻布數據科技股份有限公司 • 四月 2023 - Present
1. Backend 開發經驗
‧ 在 microservice 中建立 RESTful API 和 gRPC 端點服務 ,建構發票同步、載具同步服務,和提升 eventbus publisher 效率。
2. GCP 節費經驗:
‧ 搬遷後端服務到 Kubernetes ,調適 Pods 資源以達到最佳資源利用率,每個月節省 30% GCP 帳單費用。
3. CI/CD 自動化經驗:
‧ 使用 Github Actions build docker image 並上傳到 GCP artifact registry;利用 ArgoCD applicationset 監控與管理 GKE cluster ,自動上版 docker image 更新服務。
4. infrastructure as code 經驗:
‧ 使用 Terragrunt 和 Hashicorp 發布的 GitHub projects 管理 GCP infrastructure。
‧若 Hashicorp 沒有相關的 resources 時,則參考 Terraform Google Cloud provider 文件,自行刻撰 module 並在 Terragrunt 中使用 。
5. Data Engineer 經驗:
‧架設 ClickHouse cluster multi-shards ,處理 1B+ 量級資料。
‧dbt 開發 , 遵循 best practice 建立 ELT pipeline ,將 data mart 提供給 BI 工具串接,改善 BI 報表查詢體驗。
CloudMile 萬里雲 • 五月 2021 - 十月 2022
- 因業務增長,使用 GCP 部署產品導致費用急遽增加。通過分析帳單明細,發現 Airflow task 呼叫 Cloud Functions 啟
動爬蟲程式的費用高昂。我與另一位資料工程師討論後,改變架構並將爬蟲管道重新整合到 Airflow task 中,同時將
爬蟲改為 K8s application。這成功降低了 GCP 的月費用,每月節省了 1,000 美元,同時也提高了效率。
- MSP 團隊需要數據支持以爭取新的 head count。我利用過去的工單、服務時數和客戶類型等資料進行分析,找出造
成超負荷的原因。在與 MSP 團隊主管進一步討論後,我製作了簡報,向老闆報告了結果。建議採取教育訓練、套餐
升級以及建立標準化流程等措施,以有效提高客戶滿意度。
技術領域:資料庫設計與管理、Docker容器化、資料管道建置,以及雲端服務應用與部署。
中佑集團 凡谷興業 • 一月 2020 - 三月 2021
為了擴充客源和增加收益,我負責 RPA 系統架構和優化現有的 CDP 系統的 data pipeline,並帶領一個由 6 位技術人
員組成的團隊,包括 1 位前端工程師、2 位後端工程師、2 位資料工程師和 1 位 AI 工程師。
在獲得可用預算的討論中,我規劃了使用 RabbitMQ 作為訊息傳遞管道、GCE VMs 作為處理程序的站台、BigQuery 作
為資料倉儲、MySQL 和 Redis 作為前端進行資料查詢和快取資料庫,建立 RPA 系統的後端框架並帶領技術團隊共同
作業。
我和行銷團隊討論了廣告方式和推廣渠道,獨立設計和實施了優惠券服務,選擇應用在 Telegram chatbot 和
Facebook Messenger chatbot 上,帶來了百位以上的新客戶,並顯著增加了現有客戶的消費金額。
CDP 系統現有的 data pipeline 經常出現資料錯誤和批次處理時間過長的問題。在與負責該功能的同事討論後,我們找
出了問題的原因:1. SQL 查詢語法和資料表索引不匹配,2. 資料轉置流程中未設置資料緩衝區,以及 3. 未設置 audit
logs 導致在批次處理執行後的資料未能被捕捉。為此,我們進行了以下措施:1. 梳理並調整現有的資料表設置和 SQL
查詢語句,2. 分享資料緩衝區和 audit logs 的概念和實作方式,並請同事們執行和定期討論,以實際執行和導入。
技術領域 : 資料庫設計與管理、Docker容器化、資料管道建置、雲端服務應用與部署
SolventoSOFT Tech. Corp • 一月 2018 - 十一月 2019
技術領域 : .Net Framework程式設計、資料庫設計與管理、大數據處理、資料管道建置
英特內軟體股份有限公司 • 三月 2016 - 五月 2017
技術領域: ERP系統設計與規劃、Java程式設計、系統整合與優化
Delta Electronics, Inc. • 七月 2014 - 十月 2015
技術領域 : Web平台開發、語音辨識與分析、行動裝置程式開發
九月 2016 - 六月 2019
九月 2007 - 六月 2011
我在職場累積了多年的經驗,並展現了良好的工作抗壓能力。由於之前接觸的工作需要組織性思考和創新的技能,因此我具有很好的學習能力和快速適應新技術的能力,以增加自己的技能和知識儲備。
我的背景主修通訊工程領域,長期專注於資料處理和應用軟體開發。之前的工作經驗也主要集中在雲端應用開發和資料處理相關的領域。另外,我對一般的資工領域技術和程式開發工具也非常熟悉。
在跨領域的工作經驗中,我更加確信自己喜歡 RD 的工作,喜歡技術挑戰和克服困難之後的成就感。因此,我非常渴望在軟體系統開發工程師職位上找到一個長期的發展機會。