我畢業於台北商業技術學院(現已升格為台北商業大學),主修國際貿易,畢業後進入職場工作。
一開始嘗試了三年業務的工作,後來在閒暇時間自學期貨程式交易,漸漸認識到自己的興趣及專長應該往程式及分析發展,於2018年初報名資策會受訓。
很慶幸報名的是大數據班,學習的範圍從最底層的Linux Shell Script介紹到最高階的Deep Learning,讓我們對於程式及專案的開發有更全面的認識,不會僅侷限於某一領域。
在資策會的期間我被選為組長,並在班導的要求下同時進行了兩個專案(專案簡報連結在上方學歷介紹中)。
其中信用評比是結構化資料,讓我們對於資料的清洗、降維、特徵提取等流程有更深刻的了解,並且過程中我們這組曾排進Kaggle競賽中470名。
另一個影片分類是非結構化資料,我們使用分散式爬蟲爬取共500部影片,使用opencv壓縮影片內容,試過RESNET模型、VGG模型、DE NSENET模型,最終準確率達到80%。
結訓後我進入聯合通商任職,在第⼀個專案就開發並調效了上億筆的資料庫批次程式,讓我對於資料庫調校有深刻的理解。 後續在中信的資料庫升級案則是整合不同資料庫、重新翻寫查詢語法、並產出測試⽂件,這完整的流程使我⽇後對於協作與開發有很⾼的完整度與配合度。 總結成為⼯程師的第⼀份⼯作讓我對於資料庫的理解及熟悉程度有了很⼤的提升,也讓我在後來每⼀個專案都更注重正確性和效能的檢查。
第二間公司我主要使用python進行爬蟲程式的開發, 期間提案幫助公司提⾼了爬蟲軟件與後端同仁API資料傳輸的資安加密。 並開發出整合多個系統的新版本爬蟲軟件,此版本爬蟲程式提升資安的同時,實作了⾃動更新、非同步爬蟲等機制。 相較過去⼤幅降低維護成本的同時也提⾼了運⾏效率。 此程式在離職時已經取代公司舊版約九成的爬蟲程式。
目前任職的公司中則是擔任數據工程師; 主要開發兩套系統:
- 外部資料集成系統:
主要用來串接外部API、統一管理外部平台權限驗證、串接,確保數據的一致性和準確性。 同時針對未提供API或是未提供API未提供所需欄位的平台,開發爬蟲功能進行串接。 統一將取得的資料進行解構,統一轉換成結構化資料(json)回傳。- 資料流排程系統:
數據處理與清洗,開發數據處理流程,使用ETL工具對數據進行預處理。 統合公司排程系統、重構舊有資料流程式,保證效能的時候增加維護性。
我畢業於台北商業技術學院(現已升格為台北商業大學),主修國際貿易,畢業後進入職場工作。
一開始嘗試了三年業務的工作,後來在閒暇時間自學期貨程式交易,漸漸認識到自己的興趣及專長應該往程式及分析發展,於2018年初報名資策會受訓。
很慶幸報名的是大數據班,學習的範圍從最底層的Linux Shell Script介紹到最高階的Deep Learning,讓我們對於程式及專案的開發有更全面的認識,不會僅侷限於某一領域。
在資策會的期間我被選為組長,並在班導的要求下同時進行了兩個專案(專案簡報連結在上方學歷介紹中)。
其中信用評比是結構化資料,讓我們對於資料的清洗、降維、特徵提取等流程有更深刻的了解,並且過程中我們這組曾排進Kaggle競賽中470名。
另一個影片分類是非結構化資料,我們使用分散式爬蟲爬取共500部影片,使用opencv壓縮影片內容,試過RESNET模型、VGG模型、DE NSENET模型,最終準確率達到80%。
結訓後我進入聯合通商任職,在第⼀個專案就開發並調效了上億筆的資料庫批次程式,讓我對於資料庫調校有深刻的理解。 後續在中信的資料庫升級案則是整合不同資料庫、重新翻寫查詢語法、並產出測試⽂件,這完整的流程使我⽇後對於協作與開發有很⾼的完整度與配合度。 總結成為⼯程師的第⼀份⼯作讓我對於資料庫的理解及熟悉程度有了很⼤的提升,也讓我在後來每⼀個專案都更注重正確性和效能的檢查。
第二間公司我主要使用python進行爬蟲程式的開發, 期間提案幫助公司提⾼了爬蟲軟件與後端同仁API資料傳輸的資安加密。 並開發出整合多個系統的新版本爬蟲軟件,此版本爬蟲程式提升資安的同時,實作了⾃動更新、非同步爬蟲等機制。 相較過去⼤幅降低維護成本的同時也提⾼了運⾏效率。 此程式在離職時已經取代公司舊版約九成的爬蟲程式。
目前任職的公司中則是擔任數據工程師; 主要開發兩套系統:
- 外部資料集成系統:
主要用來串接外部API、統一管理外部平台權限驗證、串接,確保數據的一致性和準確性。 同時針對未提供API或是未提供API未提供所需欄位的平台,開發爬蟲功能進行串接。 統一將取得的資料進行解構,統一轉換成結構化資料(json)回傳。- 資料流排程系統:
數據處理與清洗,開發數據處理流程,使用ETL工具對數據進行預處理。 統合公司排程系統、重構舊有資料流程式,保證效能的時候增加維護性。