林奎勝
Senior
Data Engineer
年資料工程師經驗，專長於 Data pipelines、ETL、Machine learning，可自主處理資料從 ETL 至產品模型及分析，樂於與團隊進行溝通後統整最佳解法，並持續學新最新技術。
New Taipei City, Taiwan
0910-006-008
Skill
Data Engineering
- Workflow: Airflow
Crawler: Pyspider
Relation database
Object Storage
BackEnd
- Java Springboot
- NodeJS Loopback4
Pyhton Flask, FastAPI
Cloud
- Azure APIM, Power BI
- GCP Storage, Data studio, BigQuery
- AWS S3, RDS
Others
- Git
- GitLab CICD
- Linux shell script
- Grafana
- Rancher
Work Experience
資深資料工程師
緯創資通股份有限公司 • August 2022 - Present
• 資料交換系統增進: 調整Airflow資料交換流程使系統可支援更大規模的資料交換，並設計交換異常資料重補功能，確保資料的完整性和正確性
• 資料交換維運: 維運公司內部資料交換系統，以實現不同資料庫之間的順暢資訊流動，同時新增與雲端服務 Blob Storage 及 Amazon S3 的整合，確保數據在不同環境中的有效傳輸
• 制定資料交換SLA與監控: 確立資料交換系統的 SLA 目標，包括延遲性、可靠度等；並即時追蹤系統狀態，透過Teams、Opsgenie通知，快速通報SLA違規和異常，提升系統穩健度
• 數據中台開發: 使用Java Spring Boot進行開發，實現數據中台、公司API系統及 Azure API Management(APIM)之間的整合與串接，擴大資料來源
• MLOPs 平台開發: 使用NodeJS Loopback4 開發行事曆功能後端，支援公司電腦資源的預約和機器學習模型訓練時間的管理
• 公司課程講師: 教授資料交換、Airflow 應用、資料演化等實際應用方式，透過與學員的互動、解釋複雜的技術概念，使我進一步提升了溝通能力與加深對技術的理解
資料科學家
威聯通科技股份有限公司 (QNAP Systems, Inc.) • December 2019 - February 2022
• Airflow 資料流: 取代原始crontab排程，可視化資料流降低程式管理成本，並加上警戒系統即時反應錯誤
• 惡意攻擊阻擋: 及時處理網站 log 並使用 Heuristic algo.阻擋惡意攻擊配合AWS WAF，成功阻止DOOS及目錄遍歷攻擊
• 產品推薦: 使用 Apriori base algo. 搭配 hierarchical 方法結合行銷策略於官網推薦產品，吸引約5% 點擊率
• 產品選擇器: 分析顧客購買習慣與機器類型提供分類選項供行銷團隊參考，並協助串接及處理產品對應資料
• 產品自動標籤: 使用 TF-IDF base algo. 為產品以及解決方案建立關聯性，提供行銷團隊產品標籤以利後續銷售策略使用
• 產品導購: 蒐集與處理各大電商產品資訊，於官網產品頁面進行導購，獲得約40%點擊率，並成功引流10~20%至自營電商
• 價格監控系統: 爬取全球約130間電商，建立每日更新之價格報表以及警戒系統通知業務價格異常狀態
• BI 報表建置: 統合公司資料製作具權限之自動更新報表與警戒系統，協助同事縮短每日例行工作時間並提供參考給主管制定商業策略與探勘任務
實習生
資策會數位轉型研究所 • March 2018 - May 2018
參與資策會商家用電預測計畫，處理由商家電表取得之每秒用電量資料，以Python 進行資料前處理、資料清理以及資料視覺化，並藉由Cross Validation 比較及驗證DNN、RNN、LSTM、Random Forest、Decision Tree以及回歸演算法等機器學習演算法之穩健性。
學歷
台灣科技大學
資訊工程 • 2017 - 2019
研究所進入戴碧如老師的「知識探索暨資料探勘實驗室」，主修資料探勘、社群媒體分析、深度學習等機器學習相關領域
期間撰寫之論文「BIOG: an Effective and Efficient Algorithm for Influence Blocking Maximization in Social Networks」參與國際研討會「The Fourth International Conference of Data Mining and Big Data」於泰國清邁口頭發表，並獲得最佳論文獎
雲林科技大學
資訊工程 • 2013 - 2017
大學四年課業平均成績80分以上，在課業與自我學習中提升程式實力，其中以C#及Python最有興趣。由於得當的時間管理讓我在課業學習以及社團活動皆有不錯的表現
同時擔任專題組長，以Unity 製作手機遊戲「Ant World」模擬螞蟻生態，以遊戲帶入教育使兒童更加快速了解螞蟻生態，榮獲專題競賽第三名
