12646942_1120718217972840_7838107467391846349_n.jpg

陳柄宏

       持有AWS 與 Azure 雙平台證照,持續深耕雲端平台,擅於使用Python程式語言執行資料科學相關工作及自動化作業,參與過專案類型有智慧交通、房地產預測等大數據專案,對於未來發展除希望能發揮現有技能外,也期望是鼓勵學習及進步的團隊。

[email protected]
(886) 0958175322
Taipei, Taiwan

Education

BigData大數據分析師(AB106期), coding bootcamp(Institute for Information Industry)

輔仁大學圖書資訊學系, 2003 - 2007

Skills


Python 

程式寫作、實作爬蟲及資料清理作業。

MongoDB

有能力建置、維護分散式儲存系統,具體完成Replica及Sharding架構實作,熟悉Mongo shell使用,撰寫server-side javascript。

MySQL

熟悉MySQL資料庫使用,模型建立及SQL優化

PostgreSQL

熟悉PostgreSQL資料庫使用,模型建立及SQL優化。

Pandas

熟悉Pandas ETL 作業及資料視覺化

Git

熟悉使用Git管理程式碼版本控制。


Spark

熟悉Pyspark ETL 作業

Azure

持有Azure Administrator Associate 及 Data enginner 證照

AWS

持有 AWS Certified Solutions Architect – Associate 證照


Experience

信義房屋股份有限公司, 雲端資料工程師, Apr 2022 ~ 現在

負責Azure雲端架構服務及數據資料ETL流程開發及管理


 Backend Engineer 安富財經科技, 28 Dec 2019 - 18 Apr 2022

負責AWS雲端環境管理及架構,ETL資料清理,Python API開發。 
專案經驗:
  1. 好時價網站(自有產品): 
    • 資料清理流程管理,於AWS雲端環境使用Elastic Beanstalk,建立資料清理流程管道 
    • 模型訓練流程管理,於AWS雲端環境使用Elastic Beanstalk,建立模型訓練流程管道 
    • 網路爬蟲撰寫,撰寫網路爬蟲,收集網路公開資訊,作為模型訓練補充資料 
  1. AWS雲端環境管理及架構: 
    • 架構及優化AWS雲端環境,重構VPC,降低使用成本,提高安全性 
    • 協助公司取得ISO 27001資安國際認證 
    •  運用工作經驗及自學考取AWS SAA架構師認證 
    •  受邀擔任2021年 AWS Taipei Summit 峰會企業講者 
  1. 政府專案: 
    • 台北市路段率網站開發案,負責整體網站重構及優化 
    • 新北市自動化估價網站開發案,負責整體網站開發及維運 
    • 內政部定期房價指數案,負責資料ETL作業 
    • 台北市地籍資料研究案,負責資料ETL作業 
    •  台南市地籍資料研究案,負責資料ETL作業 
    •  新北市地籍資料研究案,負責資料ETL作業

Data Engineer 無限方舟科技, 06 Aug 2018 - 28 Dec 2019

負責MongoDB巨量資料儲存架構及建設,AWS及Azure雲端平台管理操作,後端API撰寫(Python Flask),並負責專案系統整體規劃及架構。 
專案經驗:
  1. 台北市府交通運輸示範案,以各交通輸具即時資料為主,配合政府公開資料進行資料分析及預測: 
    • 負責預測系統資料儲存系統搭建,以MongoDB(Sharding)配合MySQL(AWS)方式建立快速回應及穩定系統 
  2. 行車導航系統優化案,配合導航廠商,針對該公司現有產品,利用歷史資料,負責設計並架構系統從資料儲存,資料清洗,資料分析及資料取用等環節:
    • 資料ETL作業(平均每月30憶筆),合計一年約3Tib資料量,將資料清理完成後放入MongoDB叢集中,以Sharding方式實作7個資料分區,確保資料取用反應時間可以在0.03-0.05秒之間完成。
    • 車速即時資料預測及時資料介接,設計並完成車速及時資料介接後產出預測整體流程(使用前2小時資料預測後15分鐘,反應時間1分鐘)
    • 負責Azure及AWS雲端所有相關服務搭建,本專案架設於Azure服務之中。
    • 設計架構車速即時資料預測系統,從使用工具至平台架構、使用雲端服務機器規格、整體資料成長預估、預測流程及資源評估均參與主導。
  1. 醫療疾病預測案:
    • 疾病預測API寫作,使用者可透過此API輸入健檢資料,線上即時查詢疾病罹患機率。 
    • 使用Nginx + Uwsgi搭建API Server。

Data Engineer 藍科數位科技 , 26 June 2017 - 31 Oct 2017

負責MongoDB資料庫叢集架設,Data Modeling。 
負責Spark分散式運算系統架設,應用程式開發。
專案經驗:
1. MongoDB與Spark大數據分析平台架構概念性驗證
  • 使用MongoDB取代HDFS成為Spark分析框架資料來源,配合MongoDB的快速檢索能力,加速Spark運算框架的處理速度。
  • 概念驗證使用單一NoteBook(8G)完成三點叢集搭建,三節點MongoDB叢集+三節點HDFS+三節點Spark叢集

 Institute for Information Industry , 12 Dec 2016 - 09 June 2017

學習資料科學相關技術,並與專案同仁合力完成聽聽(金融商業支援)專案製作,於專案中負責分散式儲存及運算系統的平台架設,並包含即時串流資料處理,Kafka叢集實作及相關程式寫作工作。

 CGA , 16 Jul 2007 - 12 Dec 2016

於行政院海巡署擔任司法警察,負責岸、海巡防查緝救難工作,曾擔任職位有巡防士,小組長,安檢所正、副所長,書記等職缺。

Side Project

Paragraph image 01 00@2x 1a3881c875a7a1fb1e859435ef9363b5ddf36f4e73d1ad63a1a0af69f2a9f745

實時監測信息平台

資策會結業專案作品,使用MongoDB及Kafka串接Twitter API即時訊息,使用LINE BOT方式,讓使用者可以隨時收到所關注信息。

簡報連結

Paragraph image 01 00@2x 1a3881c875a7a1fb1e859435ef9363b5ddf36f4e73d1ad63a1a0af69f2a9f745

MongoDB與Spark大數據分析平台

使用MongoDB取代HDFS成為Spark分析框架資料來源,配合MongoDB的快速檢索能力,加速Spark運算框架的處理速度。

簡報連結

Certification


Powered By CakeResume