陳世偉

後端工程師  •  怪點子有限公司

十一月 2021 - 十月 2023

運動服飾市場情報系統(SMIS)爬蟲程式

接手SMIS之爬蟲工作，採用Python + Scrapy + MongoDB，爬取諸如Adidas、Lululemon、Nike等國際服飾品牌之商品資料，如價格、材質、特色等。除維護原有爬蟲外，因應需求開發不同品牌爬蟲程式，於過程中進行ETL、克服網站反爬手段(如JS渲染、機器人驗證等)。此外提倡將爬蟲know-how(如特定網站需定時手動更新cookie、遇到403需手動驗證等)以文件形式留存，增加系統可靠性、易維護性。

在過程中提議導入Proxy API代理平台，以極小成本使爬蟲開發時程與維護成本降低50%以上。此外當時由於人手不足，以至無人發現有兩套爬蟲系統做著極為相似之工作(一爬取特定品牌所有產品，另一僅爬取新品)，提議將其合併整合並實施，為日後爬蟲人天工時降低50%以上。開發Scrapy pipeline，使資料流最後匯入至資料庫時標準化。

最終於交接該爬蟲系統時達成半自動化，十幾隻品牌除特定幾隻品牌因成本考量採用手動驗證，其餘皆以腳本自動化完成任務，僅需檢查結果log確認該週爬取目標無誤。

保健食品資訊暨推薦後端系統

與另一位資深工程師協作搭建後端系統，並負責後續的需求追加開發、維護與資料更新。技術採用Python + Django REST framework + PostgresSQL，服務部署於AWS service，使用了EC2、VPC、ELB、Route 53等相關服務。甲方為一傳統藥局，具有數個資訊系統，其皆未整合形成數據孤島。該系統整合客戶個人資料、量測資料、領藥紀錄、藥局所販售之保健食品等資訊。

過程中負責撰寫與維護以下功能：

• 執行藥局相關資料的ETL，包括但不限：藥局客戶的會員生理數值、健康狀況、領藥紀錄、消費紀錄、保健食品更新等匯入程式撰寫。為每月一次的更新頻率而著重可維護性、可擴展性。
• 症狀對應保健食品的推薦程式：系統會根據藥局客戶的生理量測資料、欲改善的個人健康狀況和症狀、購買紀錄等提供保健食品建議，輔助藥局藥師進行推薦與銷售工作。
• 保健食品Google Trends整合：實施了Google Trends的整合，以追蹤和分析保健食品相關的趨勢。
• 安全性和HTTPS：建立了安全群組(防火牆)、測試安全群組、Security Groups，並設定AWS Certificate Manager的SSL憑證和白名單，以確保系統的安全性。同時實現了域名(domain) + HTTPS，提供安全的網站連接。
• 資料庫自動備份腳本：開發了資料庫自動備份腳本，以確保資料的可靠性和安全性。
• 單元測試：使用pytest來進行單元測試，特別針對多角色權限的測試程式，確保了不同角色的權限和功能都經過了全面的測試，以確保系統的完整性和安全性。以確保程式碼的穩定性和正確性。