1. 依照需求者要求, 需要建置定期更新報表或是數據清理,透過SQL操作資料庫,並使用Python (Pandas, regex)進行數據處理,完成相對應的報表。累積建立超過50個定期報表,並讓執行錯誤率<1%。
2. 改善報表和數據處理流程,從0開始建置Airflow (ETL),並透過AWS EC2架設Server,架設後應用到produciotn,降低50%的報表維運處理時間和建立可以錯誤追蹤的流程。
3. 依照需求者要求,進行國內外不同網站的商品資料爬蟲,使用Python (Requests, Selenium, BS4)進行網頁爬蟲,累積完成超過30個網頁以及爬取超過千萬筆資料,並最後上架超過百萬筆商品,同時維護超過兩百萬筆商品資訊。
4. 依照需求者提出商業分析專案了解數據意義,需要建立可視覺化的商業儀表板,透過SQL, 爬蟲, Google Analytic等方式獲得資料,並使用Tableau或Google sheet建立儀表板,累積完成5個數據專案。
5. 為了減少維運人員需要繁瑣判別商品分類所需的時間,透過NLP框架(Hunggingface, Transformers, GPT, Bert),並建模應用於商品分類,成功降低同事每天1個小時的工作量。