資料工程師
鴻海(富士康)
・
Full-time資料平台開發:
- 搭建於 Apache Nifi 之上,透過 FastAPI 框架, Uvicorn, Gunicorn 開發RESTful API 及設計 MongoDB schema並使用 Docker-compose 進行開發與部署- 負責開發資料庫 Connector 操作頁面(支援 Impala, Kudu, PostgreSQL, MySQL, MS SQL, Oracle)、 Record Controller 功能、平台 Pipeline 中檢視資料的視覺化功能,以及熟悉 Nifi 各種Processor 功能加入系統中
- 協助用戶建置及改善 ETL Pipeline 效能
Line Notify 服務系統:
- 設計系統的架構流程及資料庫,以符合使用情境,如監控程式是否 alive 若無則推播訊息,或當程式 fail 時推播訊息
- PostgreSQL function,python backend 程式開發與 line notify api 應用,並使用 Docker 開發與部署
維護系統 ETL 模組:
- 增加 Impala 作為來源資料庫,調整資料串接 SQL 以及部署 ETL 模組容器