12646942_1120718217972840_7838107467391846349_n.jpg

陳柄宏

       對程式寫作充滿想像與熱情,程式所帶來的無限可能令我著迷,對於資料科學⼤量、快速、充滿異質性的資料型態感到深具挑戰,期許⾃⼰能有⾜夠的能⼒去處理並從中發現他⼈所未⾒的寶藏。 熟悉分散式儲存系統(Hadoop ecosystem、MongoDB Clouster etc.),能熟練使⽤Python語⾔進⾏程式寫作,具備實際生產環境MongoDB叢集架構經驗(Replica、Sharding)及Spark on YARN與MongoDB複合數據平台搭建專案實作。目前正在學習AWS 及 Data Science相關課程,未來持續學習⽬標,包含雲端服務,資料工程相關,期望未來能加入⿎勵學習的團隊。

[email protected]
(886) 0958175322
Taipei, Taiwan

Education

BigData大數據分析師(AB106期), coding bootcamp(Institute for Information Industry)

輔仁大學圖書資訊學系, 2003 - 2007

Skills


Python 

程式寫作、實作爬蟲及資料清理作業。

MongoDB

有能力建置、維護分散式儲存系統,具體完成Replica及Sharding架構實作,熟悉Mongo shell使用,撰寫server-side javascript。

MySQL

熟悉MySQL資料庫使用

PostgreSQL

熟悉PostgreSQL資料庫使用。

Django

熟悉Django API撰寫

Flask

熟練使用Flask撰寫RESTful API。


Pandas

熟悉Pandas ETLㄗ

Git

熟悉使用Git管理程式碼版本控制。

AWS

持有 AWS Certified Solutions Architect – Associate 證照


Experience


CGA , 16 Jul 2007 - 12 Dec 2016 

於行政院海巡署擔任司法警察,負責岸、海巡防查緝工作。

Institute for Information Industry , 12 Dec 2016 - 09 June 2017

學習資料科學相關技術,並與專案同仁合力完成聽聽(金融商業支援)專案製作,於專案中負責分散式儲存及運算系統的平台架設,並包含即時串流資料處理,Kafka叢集實作及相關程式寫作工作。

Data Engineer 藍科數位科技 , 26 June 2017 - 31 Oct 2017

負責MongoDB資料庫叢集架設,Data Modeling。 
負責Spark分散式運算系統架設,應用程式開發。
專案經驗:
1. MongoDB與Spark大數據分析平台架構概念性驗證
  • 使用MongoDB取代HDFS成為Spark分析框架資料來源,配合MongoDB的快速檢索能力,加速Spark運算框架的處理速度。
  • 概念驗證使用單一NoteBook(8G)完成三點叢集搭建,三節點MongoDB叢集+三節點HDFS+三節點Spark叢集

 Data Engineer 無限方舟科技, 06 Aug 2018 - 28 Dec 2019

負責MongoDB巨量資料儲存架構及建設,AWS及Azure雲端平台管理操作,後端API撰寫(Python Flask),並負責專案系統整體規劃及架構。
專案經驗: 
  1. 台北市府交通運輸示範案,以各交通輸具即時資料為主,配合政府公開資料進行資料分析及預測:
    • 負責預測系統資料儲存系統搭建,以MongoDB(Sharding)配合MySQL(AWS)方式建立快速回應及穩定系統
  2. 行車導航系統優化案,配合導航廠商,針對該公司現有產品,利用歷史資料,負責設計並架構系統從資料儲存,資料清洗,資料分析及資料取用等環節:
    • 資料ETL作業(平均每月30憶筆),合計一年約3Tib資料量,將資料清理完成後放入MongoDB叢集中,以Sharding方式實作7個資料分區,確保資料取用反應時間可以在0.03-0.05秒之間完成。
    • 車速即時資料預測及時資料介接,設計並完成車速及時資料介接後產出預測整體流程(使用前2小時資料預測後15分鐘,反應時間1分鐘)
    • 負責Azure及AWS雲端所有相關服務搭建,本專案架設於Azure服務之中。
    • 設計架構車速即時資料預測系統,從使用工具至平台架構、使用雲端服務機器規格、整體資料成長預估、預測流程及資源評估均參與主導。
  3. 醫療疾病預測案:
    • 疾病預測API寫作,使用者可透過此API輸入健檢資料,線上即時查詢疾病罹患機率。
    • 使用Nginx + Uwsgi搭建API Server。

 Backend Engineer 安富財經科技, 28 Dec 2019 - Now

負責AWS雲端環境管理及架構,ETL資料清理,Python API開發。
專案經驗: 
  1. 好時價網站:
    • AWS雲端環境管理及架構
    • 資料清理
  2. 政府專案:
    • AWS雲端環境管理及架構
    • 資料ETL作業
    • Python API開發

Side Project

Paragraph image 01 00@2x 1a3881c875a7a1fb1e859435ef9363b5ddf36f4e73d1ad63a1a0af69f2a9f745

實時監測信息平台

資策會結業專案作品,使用MongoDB及Kafka串接Twitter API即時訊息,使用LINE BOT方式,讓使用者可以隨時收到所關注信息。

簡報連結

Paragraph image 01 00@2x 1a3881c875a7a1fb1e859435ef9363b5ddf36f4e73d1ad63a1a0af69f2a9f745

MongoDB與Spark大數據分析平台

使用MongoDB取代HDFS成為Spark分析框架資料來源,配合MongoDB的快速檢索能力,加速Spark運算框架的處理速度。

簡報連結

Powered by CakeResumePowered by CakeResume