Ewpaqrrdfnqgetcdoug8

劉定威 William Liu  

[email protected]

學歷

東吳大學, 經濟系研究所, 2020.09. - 2022.06

資策會(臺北),巨量資料分析就業養成班,2018.01 - 2018.07

  • 期末小組專題:信用偵探社
    • 小組人數:5人
    • 資料來源:Kaggle (Home Credit)競賽資料集
    • 專題目標:使用機器學習方法,透過過去客戶交易紀錄,預測新客戶是否有違約風險
    • 個人主要負責工作:使用Pandas對資料進行清洗及降維
  • 期末小組專題:影片分類帽
    • 小組人數:5人
    • 資料來源:從Youtube8M找出不同分類,並自行撰寫爬蟲程式從Youtube爬取影片
    • 專題目標:使用深度學習方法將影片正確分類,讓模型可以自動為影片上分類標籤
    • 個人主要負責工作:使用Keras進行分類模型的建模作業

台北商業大學, 國際貿易系, 2008.09 - 2013.06

相關工作經歷

雨林新零售股份有限公司, 2022.09 ~ 至今

  • 外部資料集成系統
    • 物件導向程式設計(OOP)
    • API 服務建置(Restful API Development、Flask) 
    • 容器化(Dockerize)
    • 雲端化專案建置(AWS)
    • 自動部屬(CICD)
  • 資料流排程系統
    • 建構公司數據ETL平台、ETL程式開發(AirFlow)
    • 雲端化專案建置(AWS)

台盈資訊科技有限公司, Python組程式設計師組長, 2019.11 ~ 2022.08

  • 活動監控機器人開發
    • 專案人數:1人
    • 專案目標:公司主要營運項目為開發活動網站,每個活動網站會有對應的Python機器人進行活動,
      此專案是因應公司活動網站新架構開發,本來每個活動網站要單獨開發一支Python機器人,改成開發一個機器人框架。
      提供其他同事開發時只需要依照活動網站需求新增對應功能,減少開發時間並減少開發整個程式的錯誤發生率。
    • 個人主要負責工作:直接與主管討論確定架構。並實作整個機器人框架。 
  • 異地備份機器人開發
    • 專案人數:2人
    • 專案目標:一個簡易排程工具,使用Python開發一個桌面應用程式。
      使用者能夠設定多個網址及每個網址能夠設定一個頻率,該程式會在時間到時逐一到網址抓取網頁內容。
      搭配該網頁工程師撰寫網站完整備份的壓縮檔,實現每天(或每周固定幾天)對所有網站進行備份。 
    • 個人主要負責工作:Python桌面應用程式開發 

聯合通商電子商務股份有限公司, 程式設計師, 2018.09 ~ 2019.11

  • 中華郵政反洗黑錢系統
    • 專案人數:3人 
    • 專案目標:共計開發及調校43支Store Procedure,過程經手上億筆的每日交易資料。 
    • 個人主要負責工作:Store Procedure開發、測試及效能調整。
  • 中國信託系統升級案
    • 專案人數:8人 
    • 專案目標:資料庫由Oracle R10 升級為R14,並使用informatica整合各個系統
                         各系統資料來源整合,使用中間層DataMartket。 
    • 個人主要負責工作:各系統Store Procedure翻寫、測試、效能調整。
其他專案
  • 寵物飼料篩選網站
    • 專案人數:1。
    • 開發爬蟲:開發爬蟲批次程式,每日爬取寵物飼料商品資訊。
    • 開發網頁後台:開發後台功能,包含用戶驗證、文章編輯、商品編輯。
    • 開發網頁前端:利用SCSS開發RWD網頁前端畫面。
    • 使用技術:Flask、Vue.js、GCP、SCSS、requests。
  • 個人程式筆記網站
    • 專案人數:1人
    • 專案目標:利用Django建構一個網站,並部屬在雲端隨時可以查看程式開發筆記。
    • 使用技術:Django、Vue.js、Herou、SCSS。

技能


Python

  • Flask、Django
  • SQLAlchemy ORM
  • OOP


Cloud

  • AWS
  • GCP


ETL

  • Database Schema Design
  • Stored Procedure
  • DynamoDB
  • Airflow
  • DBT


Web Crawler

  • Requests
  • Selenium






 

自傳

  • 過去經驗

我畢業於台北商業技術學院(現已升格為台北商業大學),主修國際貿易,畢業後進入職場工作。

一開始嘗試了三年業務的工作,後來在閒暇時間自學期貨程式交易,漸漸認識到自己的興趣及專長應該往程式及分析發展,於2018年初報名資策會受訓。

  • 資策會進修
很慶幸報名的是大數據班,學習的範圍從最底層的Linux Shell Script介紹到最高階的Deep Learning,讓我們對於程式及專案的開發有更全面的認識,不會僅侷限於某一領域。
在資策會的期間我被選為組長,並在班導的要求下同時進行了兩個專案(專案簡報連結在上方學歷介紹中)。
其中信用評比是結構化資料,讓我們對於資料的清洗、降維、特徵提取等流程有更深刻的了解,並且過程中我們這組曾排進Kaggle競賽中470名。
另一個影片分類是非結構化資料,我們使用分散式爬蟲爬取共500部影片,使用opencv壓縮影片內容,試過RESNET模型、VGG模型、DE NSENET模型,最終準確率達到80%。
  • 在職表現
結訓後我進入聯合通商任職,在第⼀個專案就開發並調效了上億筆的資料庫批次程式,讓我對於資料庫調校有深刻的理解。 後續在中信的資料庫升級案則是整合不同資料庫、重新翻寫查詢語法、並產出測試⽂件,這完整的流程使我⽇後對於協作與開發有很⾼的完整度與配合度。 總結成為⼯程師的第⼀份⼯作讓我對於資料庫的理解及熟悉程度有了很⼤的提升,也讓我在後來每⼀個專案都更注重正確性和效能的檢查。

第二間公司我主要使用python進行爬蟲程式的開發, 期間提案幫助公司提⾼了爬蟲軟件與後端同仁API資料傳輸的資安加密。 並開發出整合多個系統的新版本爬蟲軟件,此版本爬蟲程式提升資安的同時,實作了⾃動更新、非同步爬蟲等機制。 相較過去⼤幅降低維護成本的同時也提⾼了運⾏效率。 此程式在離職時已經取代公司舊版約九成的爬蟲程式

目前任職的公司中則是擔任數據工程師; 主要開發兩套系統:
  1. 外部資料集成系統:
     主要用來串接外部API、統一管理外部平台權限驗證、串接,確保數據的一致性和準確性。 同時針對未提供API或是未提供API未提供所需欄位的平台,開發爬蟲功能進行串接。 統一將取得的資料進行解構,統一轉換成結構化資料(json)回傳。
  2. 資料流排程系統:
     數據處理與清洗,開發數據處理流程,使用ETL工具對數據進行預處理。 統合公司排程系統、重構舊有資料流程式,保證效能的時候增加維護性。