Hank Yang

 Python 數據工程師

  Taipei City, Taiwan

數據工程師 ( 3 年 ) / Python 全端工程師 (3年) / ERP 工程師 (3 年) , 目前於 信義房屋擔任數據工程師

    

工作經歷

數據工程師  •  信義房屋股份有限公司

九月 2019 - 二月 2022

主要負責公司各個來源數據的介接.以及數據應用系統的架構規劃及開發.

在公司兩年多內主要負責的專案如下:

1.  初期在數據組內負責針對房屋物件平台的使用者線上行為數據.

透過 Python 將在 GCP 來源數據作介接.整理及清洗使用者的線上行為資料,並將數據導入資料庫內.後續再建立分析程式.透過 Python 清洗數據,包含建立線上使用者與公司內部用戶的關聯.讓業務人員能夠了解用戶在線上的看屋喜好,以及是否有積極看屋的趨勢等等指標.

在這專案中主要負責 雲平台各個服務的介接,以及實際功能開發及架構建立.由於初期團隊缺乏數據開發規範,也整理及規劃相關開發規範,讓另一位資料工程師在協作上沒有問題,另外也在工作上與應用開發的團隊溝通,理解對方開發的需求以及數據如何介接.確保應用端能夠將分析後的數據正確取得.並在後續過程中,建立數據流程監控機制.確保流程及數據正確以及數據問題的排除.並針對Log數據建立了相關品質監控機制.以及Error 通知機制等等,此外也會根據應用端的需求,整理需求數據給應用端,讓應用端可以正確產出報表需求.

2. 數位轉型專案,初期數據中台建立與數據導入.

當時公司進行數位轉型專案,主要協助數據中台的初期架構建置.包含初始Data Warehouse 規劃, Data Lake 介接的規劃.也協助將各個雲平台數據資源做整理,並建立一連串的數據資料流,將數據正確導入 Data Warehouse 內,供後續數據應用模型建立使用.

後續中台專案決議將數據中台,利用Azure Cloud Platform做為雲端架構,並將數據上雲,這部份協助了整體架構的規劃及建議,並實際將包含個資的數據透過數據加密方式協助導入轉上雲端Data Lake.讓後續模型團隊能夠透過數據建立模型並提供數位轉型專案應用.

整體在這個專案負責的方向蠻廣的,包含初期原始數據流程文件建立及數據架構文件的建立,後續數據流的開發與Data Warehouse的規劃及Schema的規劃,實際也負責了 3 ~ 4 個不同來源的數據流程的架構規劃及實際開發.並協助專案PM建立Data Quality 的監控,包含監控Log 程式的建立,以及對應每日流程監控報表的產出.確保數據流的正確性及可用性.最後針對上雲Azure的部分也針對Azure平台實際測試數據上雲的導入,以及Data Factory ETL平台的操作以及POC驗證.

3. 人工智慧學校技術領袖班,房地產物件專案

在 2020/12 - 2021 /4  參加人工智慧學校技術領袖班,在過程中學習機器學習的基礎知識,並實際透過學校的數據建立模型實作.另外也在過程中學習深度學習演算法及技術.透過學校提供的平台建立圖像辨識模型等等的練習.

在期末的使用公司內部的房地產物件資料,建立模型預測房地產物件的流通天數,並透過特徵篩選的演算法實際建立特徵篩選機制,找出對於模型有利的特徵.實際演練了數個機器學習演算法.後續也在公司內部分享我們實際建立出來的模型以及產生出來的有效特徵.

在此專案中主要擔任組長,規劃及統籌組員的分工,並且整合組員的開發成果,以及後續實際上台的成果發表的部分,雖然並非最優秀的組,但過程中也讓我受益良多,學習到許多以前不熟悉的新知識.

   

工作上常用到的工具為 : Python (Pandas,等等各種套件), MySQL , MSSQL, MongoDB, GCP ,Azure, Linux, Docker ,Slack, Jira, confluence, Git等等

Python 全端工程師  •  銳耳創作股份有限公司

十二月 2016 - 七月 2019

這份工作主要是緣於公司內部預計重新建立一個電子商務平台,滿足內部對於行銷以及折扣計算的需求.主要是透過 Python Django Framework 建立網站,並根據設計給予的網站設計,對HTML切版,以及前端使用者互動的開發.

在此專案主要負責如下:

1.  訂單及購物車模組的規劃,包含 Schema 設計,後端及前端流程的設計.

2. 訂單 & 購物車後台流程規劃,包含使用者下單付款後,後續後台需要建立的流程,包含出貨,以及與物流金流平台的Api介接等工作

3. 使用者金流及物流平台的介接與測試,主要使用綠界金流平台.而綠界是有包含超商付款的模組,這部分也有做對應的串接.

4. 訂單與購物車模組的單元測試開發,主要包含個子功能的單元測試開發,符合CI & CD的流程架構.



主要使用到的技能如下:
Python (django) , AWS, Docker Compose, Git , Jenkins CI CD, HTML, CSS , 綠界金流, JavaScript, Maria DB, Slack

 

ERP 軟體工程師  •  鼎新電腦股份有限公司

五月 2013 - 五月 2016

主要根據各個不同客戶的需求,針對鼎新的 TIPTOP系統做客製化開發,主要包含根據客戶需求做欄位的增刪改,或是不同客戶可能需要做到報表的更新或是客製化報表的產出,以及一些有關於外系統介接的開發.

另外也根據內部行業別專案協助醫藥相關的行業模組開發.

主要實際上工作如下

1.  模組程式開發,操作相關程式開發,設計畫面 & 實際流程邏輯

2. 報表程式開發,透過SQL取得ERP資料庫內資料,根據條件更新顯示報表

3. 批次程式開發,根據批次做法去更新資料處理機制,不論是更新資料庫資料,或是根據舊數據產出新數據的邏輯.

4. App or Web Service開發,介接外系統或是PDA相對應操作程式的開發.

5. 程式開發課程講師,後續新人進來的時候介紹如何開發客製程式.

學歷

2021 - 2021

台灣人工智慧學校 Taiwan AI Academy

人工智慧技術領袖班

2006 - 2010

國立中央大學 National Central University

資訊管理

技能

Python


  • ETL Development
  • Web Development (django)
  • API Development (Flask)
  • Machine Learning Package(scikit-leran)
  • Deep Learning Packahe (TensorFlow)

Azure


  • Data Factory
  • Azure Blob Storage
  • SQL MI
  • Azure Data Brick
  • Azure Synapse

Language


  • Chinese
  • English

Google Cloud Platform


  • Google Compute Engine
  • Google Big Query
  • Google Cloud SQL
  • Google Cloud Run
  • Google Cloud Storage

Javascript


  • 網站互動流程開發
  • JQuery
  • d3.js

Machine Learning


  • 演算法基本原理
  • 透過Python Scikit learn 開發應用建立模型

Docker


  • Container Development
  • Docker Compose

MySQL/ MsSQL/ PostgreSQL


  • 資料庫管理
  • 數據表規劃
  • 效能優化
  • 透過Python做數據串連

Mongo DB


  • 數據庫管理
  • Python 連接程式開發

Git


  • gitlab flow
  • 基本程式版本控制指令

Linux


  • 系統管理
  • bash 程式撰寫
  • cronjob

SQL


  • 語法優化
  • 效能議題檢視

Data Analysis


  • 數據 EDA
  • 數據資料視覺化顯示
  • 特徵工程

綠界金流


  • Python 金流Api 介接
  • Python 物流(超取)Api介接

HTML/ CSS/ SCSS


  • 網站頁面切版,框架規劃
  • CSS / SCSS頁面樣式規劃
Powered By CakeResume