Job Vacancies Analysis

從各大求職平台自動化蒐集職缺資料，進行數據分析、橫向對比，根據需求手動執行爬取網站、輸入關鍵字、多面向篩選資料庫數據。

Project Leader | Data Engineer

DASHBOARD

DASHBOARD

自選目標網站

根據需求輸入關鍵字

輪巡確認各程序執行狀態

負責項目 :

• 開發爬蟲程式、資料蒐集與清理、資料庫架構
• 使用技術 : Python Selenium, Beautiful Soup, Azure Database for MySQL flexible server

• 部屬 Async HTTP APIs，重新導向輪巡狀態端點，解決超時響應問題，優化使用者體驗
• 使用技術 : Azure Durable Functions

• 開發多面向查詢篩選功能，提高數據使用效率
• 使用技術 : Flask, SQL, Swagger UI

• 設定排程觸發爬蟲程序，每週自動更新資源
• 使用技術 : Azure Functions Timer trigger

• 建置雲端伺服器
• 使用技術 : Azure App Service

• 資料視覺化並分析數據
• 使用技術 : Azure Active Directory, Power BI

GITHUB.COM/MEETJEFF/AZURE-DURABLE-FUNCTIONS