余思萱

Data Engineer

台灣, 新北

我是Yvette，擅長ETL、規劃data pipeline、和data infrastructure，主要以Python、Java做為開發語言，並有MongoDB Cluster、PostgreSQL, Tableau 維運經驗。

就職期間，我常與金融從業人員、專利專家協作，具有良好的跨職能溝通能力。與團隊成員互動良好，經常討論、互相支援以解決問題，透過讀書會互相學習，也會協助新人訓練。身為資料工程師，我的決策與建議以數據為依據，且有良好的時程管理能力。閒暇時，除鑽研技術，我也喜歡健身、打籃球，我相信保持良好的體能，能讓我發揮出更好的專注力與思考能力。

如果您想找一位有開發經驗，且有良好溝通、團隊協作能力，並且對產品有熱情的人，歡迎與我聯繫！期待能加入快節奏、積極自學和有開放溝通環境的團隊。

| [email protected]

經歷

數據工程師 • 美好金融，2022/07-2023/08

ETL 和 Data Pipeline的優化與開發
- Python開發ETL流程、顧客行為特徵，熟悉pyspark
- 優化現有資料管線，提升4倍效率，並增加監控、警示、盤點、備份機制節點
- 透過 amplitude API, google analytics API, couchbase 交換資料，並建立新資料管線
重建Data Warehouse和優化資料庫設計
- 重建data warehouse資料庫，補齊20年歷史資料，重新規劃table schema，搭配合適的partition type建立分割表，優化檢索，達到效率提升5倍
- 建立14年交易資料之data catalog (資料流量3-5G/日, 總量 1T)
提供分析資料以提升公司內部決策品質
- 分析客戶購買金融產品資料，計算 customer journey dashboard 所需指標
Data Infrastructure開發與維運
- 維護data lake (Mongo GridFS), data warehouse (PostgreSQL, Tableau)，並建立 data warehouse 測試、開發環境
- 參與 data platform 架構規劃與設計

數據工程師 • InQuartik Co. (孚創雲端)，2016/07-2021/07

ETL 和 Data Pipeline的開發
- Java開發自動化ETL流程，包括監控, 錯誤處理, retry, 發送通知環節
- 熟悉Hibernate, myBatis, JDBC shading, mongoDB Driver API framework
- Data pipelines導入AWS服務 (EC2, S3, RDS)
- 每週處理數據總量超過50G、多種格式的檔案，包括xml, JSON, html, text
- 提高程式模組化，善用設計模式有效整合多個來源的數據
- 使用Jenkins並編寫自定義的shell腳本，部署data pipeline
- 熟悉mongo shell，使用Javascript編寫腳本，對MongoDB進行複雜filter, aggregation操作，在開發新的ETL流程前可快速先了解data profiling.
專案成果
- 迭代優化ETL Workflow，縮短50% data product完成時間
- 使用JDBC Sharding將兩億筆資料分散在多台資料庫，降低 response time，減少4800 USD/月支出
- 使用PostgreSQL串流方式，每周更新兩億筆數據至雲端，運用策略讓資料庫幾秒內完成藍綠部署
Data Infrastructure開發與維運
- Docker建置、維運多座MongoDB 分散式系統，根據不同情境制定sharding策略，讓三個團隊、超過10位開發者同時大量讀取和寫入

大數據分析師養成班學員 • 中壢資策會，2015/12 - 2016/06

共同帶領六人團隊完成產品 Job Sweeper。
設計產品架構，為歷任大數據分析班第一個有完整架構的產品，包含App（chrome extension）、API（GCP）和Database（MongoDB）。
在毫無App開發經驗下，自學JavaScript，短時間內完成chrome extension開發。
用自然語言處理(NLP)將公司資訊連結到薪資資訊。
曾以此題參與 g0v hackathon 19th 8分鐘短講。

學歷

國立中央大學

碩士 • 物理 • 2011 - 2015

Thesis : Dynamics of monomers and dimers in melting transition in an air table system.
Physical Annual Meeting - Melting transition and positional/orientational order of dimer particles on 2D air bed.
- Poster 2014年2月1日
Complex System Symposium - Melting transition and positional/orientational order of dimer particles on 2D air bed.
- Oral 2013年6月1日
Physical Annual Meeting - Grand Boundary in 2-D System Physical Annual Meeting
- Poster 2012年1月1日