Avatar of Yiru Chen.
Yiru Chen
資料工程師,資料平台開發及資料 ETL 處理
ProfileResume
Posts
0Connections
Print
Avatar of the user.

Yiru Chen

資料工程師,資料平台開發及資料 ETL 處理
我有超過6年的資料科學及系統開發經驗。擅長數據前處理、原始資料解析、視覺化呈現分析結果、資料庫設計、以及後端 API 規劃與開發。在資料工程領域,負責維護原有系統的 ETL 模組,並參與資料平台的 API 開發與測試。目前致力於訊息傳遞平台的開發、故障排除及維護工作。 專業:資料科學、Python/R、Restful API、SQL、NoSQL、Git、Linux。
Logo of the organization.
鴻海(富士康)
Logo of the organization.
國立成功大學
竹北市, 新竹縣, 台灣

Professional Background

  • Current status
    Employed
    Ready to interview
  • Profession
    Data Scientist
    Software Engineer
    Data Engineer
  • Fields
    Software
  • Work experience
    6-10 years (4-6 years relevant)
  • Management
    None
  • Skills
    Python
    SQL
    Git
    Nginx
    FastAPI
    API Testing
    R
    Linux
    Data Analysis
    NoSQL
    Docker
  • Languages
    English
    Intermediate
  • Highest level of education
    Master

Job search preferences

  • Desired job type
    Full-time
    Interested in working remotely
  • Desired positions
    資料工程師/網路爬蟲、後端工程師、軟體工程師、網管
  • Desired work locations
    Hsinchu County, Taiwan
  • Freelance
    Non-freelancer

Work Experience

Logo of the organization.

資料工程師

May 2021 - Present
Kaohsiung City, Taiwan
Zhubei City, Hsinchu County, Taiwan
資料/軟體工程師 | Cloud Platform (2021.05 - Present) 訊息傳遞平台開發: - 系統採用 Postgres DB、Redis、FastAPI、Supervisor 等技術,搭配 Mattermost 作為訊息傳遞工具與使用者介面,同時另有管理網頁,其所使用之 API 為 FastAPI 框架、Uvicorn、Gunicorn 開發的 RESTful API,並使用 docker-compose 進行開發與部署。另外,為了保證用戶於內外網均能順利訪問訊息平台,將系統架設於 DMZ,並透過 Nginx 架設 Https 服務,建置自訂登入頁面實作 Captcha 驗證功能。 - 開發三種服務類型:(已有超過 400 個服務上線使用中) 1. Direct Forward:直接轉發訊息,無需進行其他處理。 2. Delay Forward:延遲轉發訊息,可以指定延遲時間轉發。 3. Dead Notice:監控程式是否 alive 若無則推播訊息。 - 透過 Mattermost 元件的應用,實現對用戶發送的訊息進行客製化流程定義,使訊息能夠包含按鈕,並可針對按鈕定義執行的效果。滿足運維團隊能夠在手機上查看告警並即時接單的需求,凸顯系統的高度可定制性和應用彈性。 - 依據官方文件,對開源腳本進行修改,升級 Mattermost 以提升系統安全性 (v5 to v8)。同時也對 Mattermost 使用的 Postgres DB 進行版本升級 (v9 to v12)。 - 優化系統的用戶管理功能,新增租戶管理功能並引入跨組織部門管理功能。方便 9 組不同的客戶能夠在兩個正式(DMZ)環境中同時使用,克服了 DMZ 環境申請不易的問題。 資料平台開發: - 搭建於 Apache Nifi 之上,通過 FastAPI 框架開發 RESTful API 並設計 MongoDB schema,並使用 Docker-compose 進行開發與部署。 - 負責開發資料庫 Connector 操作頁面,支援 Impala, Kudu, PostgreSQL, MySQL, MS SQL, Oracle 等多種資料庫,同時實現平台 Pipeline 中檢視資料的視覺化功能。 - 協助用戶建置及改善 ETL Pipeline 效能,提高資料處理效率。
Logo of the organization.

資料分析師

Sep 2017 - Apr 2021
3 yrs 8 mos
Kaohsiung City, Taiwan
SMT領域: - 使用 R串接 Oracle 資料庫中吸嘴清洗紀錄以及吸料、拋料數據,透過loglinear model 預測吸嘴的使用次數,開發吸嘴壽命估計系統,及早清洗吸嘴,驗證期間減少 5% 吸嘴損壞 - 串接 PostgreSQL 資料庫,使用R進行前處理,建立類神經網路模型,結合線性模型,開發印刷機參數智能調整系統,實時監控產品品質,於品質異常時,反饋印刷參數的調整建議,驗證期間 SPI 直通率由 93% 上升至 97%,產線顧線人員由 3 位減少為 1 位 - 量測機台管制上下限調整系統開發,由後段檢測結果,使用R進行K-means分群,區分出不同等級的資料,定時計算統計量,反饋上下限調整的建議值,SPI 直通率由 97% 上升至 98%。 - 人力估計預測分析模組開發,使用R進行資料前處理,並以線性模型估計各類別元件所需掃描外之處理時間。並且準確預測每月正常工時及加班所需員工數 面板領域: - 利用PostgreSQL 串接玻璃的生產履歷資料與瑕疵資料,使用R/Python 開發演算法,計算瑕疵的集中度指標,列出製程中可能造成瑕疵的站點、機台。協助工廠工程師找出問題機台,節省篩選過濾資料的時間,每個案件可減少 60% 問題查找時間 - 鎖定可疑的站點、機台後,利用PostgreSQL 串接機台因子資料與瑕疵資料,使用R/Python做統計檢定,區別資料類型,匹配符合資料的檢定方法,找出機台問題因子。 數據分析套件: - 整理來自 python 不同套件中,常見的各種模型的使用方法,並且執行 pytest 測試 - 開發整合型的模組,包含超參數調整的模組挑選出最佳的超參數,以及模型比較的模組,比較各個模型的表現。 - 使用 setuptools 打包

Education

Logo of the organization.
Master’s Degree
統計研究所
2015 - 2017
3.9/4 GPA
Bachelor of Science (BS)
數學系
2012 - 2015