簡介
[資料工程]
- 透過kettle 建立data pipeline,存讀取MySQL數據庫,進而建置資料倉儲內的資料表,並透過crontab、airflow 等自動化工具管理data pipeline的 job。
- SQL 處理資料
- BI 工具呈現資料倉儲資料(tableau / google data studio)
[資料建模與預測]
- 從0設計與實作銀行業財管活化模型prototype,並提供給業務單位做精準客戶名單產出。
- 從0設計與實作零售業消費者支付方式預測模型prototype,提供給行銷同仁做精準名單產出。
[大數據處理]
- 透過Hadoop及Spark叢集處理推薦系統模型的巨量數據,並透過 Flask 做資料視覺化。
[資料服務]
- 協助設計旅遊行程網站的數據服務(包含:文字搜尋服務、熱門行程景點排名)。
技能:Python, R, SQL, MySQL, Machine Learning, BI reporting
欲應徵職缺:數據工程師、大數據工程師、資料建模工程師。
數據分析工程師
城市,TW
[email protected]
- python , PySpark
- R
- SQL
- Linux
- MySQL, Mongo
- 分群演算法
- 預測演算法
- 關聯分析
- 深度學習網路
- 文字探勘(潛在語意分析/潛在迪利克雷主題模型)
- 精準客戶名單(財管客戶活化模型、信用卡使用預測模型)
- 報表自動化(客戶導流成效分析、社群網站數據報表)
- 業績報表產出
網頁框架技術:
- 學習 Python語言網頁框架開發(Flask, Django),自我練習透過Flask在網頁呈現數據報表,透過Sqlalchemy, Pymysql 與資料庫做存取。
- 學習網頁前端基礎語言(HTML,CSS,JavaScript),搭配Flask, Django技術建構網頁。
作業系統技術:
- 學習Linux技術(Ubuntu),包含基礎指令、檔案結構、在Linux環境下架構Hadoop叢集。在學期間管理兩台server的電腦,並在ubuntu環境下進行數據分析。
- 學習docker虛擬化技術,並自行實作透過docker建立Mysql資料庫服務。
資料庫技術:
- 學習SQL DQL、DML、DDL、DCL指令,並透過Python連接MySQL資料庫進行CRUD操作。
- 學習NOSQL資料庫技術,並練習透過Python連接MongoDB資料庫進行CRUD操作。
數據分析與建模技術:
- 透過Python Numpy, Pandas, Matplotlib, Scikit-Learn 實作數據分析、分類、預測模型。
- 處理生理訊號資料的資料整理、特徵工程及情緒分類模型的建立。
版本控制:
- 透過 Git, Github 管理專案過程中的程式碼,與團隊協作。
- 資料工程
1. 透過 FB API 及 Python 套件定期抓取每日 FB 廣告活動數據與GA廣告活動串接,產製Google data studio 報表,供社群行銷同仁於廣告活動營運決策的參考。
2. 使用 Pentaho kettle, Cannerflow, windows 排程器 進行 ETL,自動化串接資料。
- 數據報表
1. 與社群行銷同仁討論每日監控網路流量成效追蹤的報表規格,透過Google Data Studio 彙整GA數據,節省透過手動查找GA介面的時間。
2. 提供行銷與會員同仁定期與不定期的數據報表,包含產品業績、行銷活動成效、會員經營成效等,使用工具包含 SQL, Python, Tableau, Excel。
- 數據分析與模型
1. 線上通路及實體通路外文書客戶樣貌分析,包含會員基本樣貌、購買行為,供社群行銷同仁做外文書活動的會員名單經營。
2. 透過 Python 建置隨機森林模型經由歷史會員信用卡支付行為預測未來是否高機率使用信用卡支付,並處理類別不平衡問題,有效提升模型準確度,結果提供給會員經營同仁做信用卡支付活動名單經營。
3. 透過關聯法則產出訂單內相關聯的產品類別組合給行銷同仁做活動經營。
使用工具:
Python, Postgres, Google Data Studio, Excel
財管流失客戶再購專案
1.專案目標:找出財管流失客中有潛力的客戶,以提升客戶的回購機率。
2.專案分析方法:運用Python套件pandas, sklearn等,藉由分群及分類模型找出有潛力之財管流失客戶。
3.專案結果:藉由模型產出的名單的客戶實際再購率比隨機選擇再購率高兩倍。
薪轉戶財管預測深度學習模型
1.專案目標:找出有潛力購買財管商品的薪轉客戶。
2.專案分析方法:運用Python的套件( Keras , Tensorflow等),並找出薪轉戶的大量特徵
維度找出有潛力購買財管商品的薪轉客戶。
3.專案結果:根據最後預測出各薪轉戶財管商品購買機率來進行後續的精準行銷名單。
客戶樣貌分析-家庭客戶、薪轉客戶
1.專案目標:找出有潛力購買財管商品的子客戶群。
2.專案分析方法:探索式分析方法
3.專案結果:發現家庭客戶年齡明顯比整體商銀客戶年紀較高,且以女性比例較高。薪轉客戶較無開發潛力,因薪轉戶較少。
行銷活動報表設計與資料處理
1.目標:設計主管及產品PM想了解成效指標報表(EX:客戶是否因行銷活動提升
產品的交叉購買、客戶的現金是否增加於銀行的資產)
2.方法:根據行銷活動條件以及分析條件撈取資料並設計標籤,透過原始資料設計樞紐分析表,並以PPT呈現。
3.結果:讓主管及產品PM透過數據了解活動成效,以產出更進一步的決策洞見。
使用工具:
Python, SQL, Excel, VBA
市場分析專案:
1.顧客精準推薦:
專案目標:瞭解雄獅顧客購買行為及偏好以進行精準的顧客行銷策略
分析方法:透過程式語法運算數據產出重要的產品及顧客指標。
分析結果:找出顧客偏好產品、通路以及顧客偏好。
對公司產生成效:找出偏好購買高價產品的一群顧客、偏好購買快銷產品的一群顧客,提升郵件精準行銷10%的開信率。
2.顧客體驗回饋分析:
專案目標:瞭解顧客對產品體驗後的評論。
分析方法:透過數值型指標及文字型指標定義顧客滿意度的報表。
分析結果:找出顧客不滿意的產品以進行產品優化建議方向。
對公司產生成效:設計合適的數值與文字指標、運算出相關報表、提升產品單位同仁的決策效率。
3.外部競業旅行社網站數據監控與應用:
專案目標:即時掌握競業網站銷售狀況。
分析方法:透過網路爬蟲以及自動化流程搜集資料,並設計指標以及圖表展示競業銷售狀況。
分析結果:找出競業銷售狀況佳的產品
對公司產生成效:設計適合爬取的競業網頁欄位、規劃競業數據報表、提升產品單位同仁的市場訊息敏感度。
商業決策分析:
1.通路成效分析:
專案目標:評估各通路的經營績效。
分析方法:透過數據整合定義重要維度進行描述性統計分析。
分析結果:比較直接通路以及批售通路哪個能使得成團率更高。
對公司產生成效:分析批售通路歷史成交狀況、發現批售通路有助於提升成團率。
2.歷史熱門行程分析:
專案目標:找出公司重要的營收行程提供給產品單位做參考決策。
分析方法:透過分析產品的歷史出團人數以及出團量找出熱門行程。
分析結果:找出各國家熱門行程前幾名。
對公司產生成效:分析各旅遊區歷史參團人數,找出熱門行程提供給產品同仁參考。
使用工具:R, SQL, Excel