It's not complicated, it's just a lot for it.
【數據治理平台】:原公司產品與應用服務數據四散,將數據做整合、標準化,建立跨部門數據共識標準,建立數據平台,使人員具有對應權限在平台上對數據做操作。
【用戶畫像】:使用Airflow排程串接GA、會員數據,將網頁行為與會員關聯,透過Nebula以及plotly圖表可視化,呈現使用者畫像,有別於一般關聯式資料庫的複雜,能夠更直觀的挖掘會員標籤與屬性。
【日誌事件搜集pipeline】:將原先地端數據架構轉換上雲,並使用雲服務設計數據管道,透過Kinesis、S3、Glue、Step Functions以及Athena,將原先多個事件的資料流做整合,訂定事件format,改善原先數據不統一、難以整合應用的狀況。
【聊天機器人中台API串接與維運】:串接平台使用者功能API以及維運中台。
【其他應用服務API串接】:公司內部產品、外部提案應用服務API串接。
1. 數據撈取
2. 後台製作
3. 網路爬蟲
5. 事件串接
6. 機器學習、深度學習
7. 資料視覺化
專案經歷
【預測會員流失】:採用XGBoost集成模型預測會員是否流失,模型準確率達90% 。
【用戶流失天數定義】:改善原有人工定義,提供營運單位統計依據、有效提升模型準確率10%-20%。
【數據儀表板建置】:利用Tableau製作圖表以儀錶板呈現,減少30%營運單位對DBA的數據需求。
【遊戲數據平台爬蟲】:爬取平台遊戲排名資訊,數據清洗後寫入資料庫。
Language
1. Python : 資料清洗、網路爬蟲、、機器學習、基礎深度學習、資料視覺化。
-- Pandas / Numpy / Sklearn / Keras / Matplotlib / Selenium / flask
2. HTML & JavaScript :自學基礎網頁標記語言,以及框架基礎實作。
-- jQuery / React
Server
1. AWS
-- S3
-- Glue ETL
-- Kinesis Data Stream
-- Athena
2. Google Cloud Platform
-- Datastore
-- Dataflow
-- BigQuery
DataBase
1. SQL
-- MS SQL
-- MySQL
2. NoSQL
-- Mongo DB
3. GraphDB
-- Nebula
-- Neo4j
Software
1. Tableau
2. PowerBI
Others
1. Airflow
2. jenkins
3. Google Analytics
It's not complicated, it's just a lot for it.
【數據治理平台】:原公司產品與應用服務數據四散,將數據做整合、標準化,建立跨部門數據共識標準,建立數據平台,使人員具有對應權限在平台上對數據做操作。
【用戶畫像】:使用Airflow排程串接GA、會員數據,將網頁行為與會員關聯,透過Nebula以及plotly圖表可視化,呈現使用者畫像,有別於一般關聯式資料庫的複雜,能夠更直觀的挖掘會員標籤與屬性。
【日誌事件搜集pipeline】:將原先地端數據架構轉換上雲,並使用雲服務設計數據管道,透過Kinesis、S3、Glue、Step Functions以及Athena,將原先多個事件的資料流做整合,訂定事件format,改善原先數據不統一、難以整合應用的狀況。
【聊天機器人中台API串接與維運】:串接平台使用者功能API以及維運中台。
【其他應用服務API串接】:公司內部產品、外部提案應用服務API串接。
1. 數據撈取
2. 後台製作
3. 網路爬蟲
5. 事件串接
6. 機器學習、深度學習
7. 資料視覺化
專案經歷
【預測會員流失】:採用XGBoost集成模型預測會員是否流失,模型準確率達90% 。
【用戶流失天數定義】:改善原有人工定義,提供營運單位統計依據、有效提升模型準確率10%-20%。
【數據儀表板建置】:利用Tableau製作圖表以儀錶板呈現,減少30%營運單位對DBA的數據需求。
【遊戲數據平台爬蟲】:爬取平台遊戲排名資訊,數據清洗後寫入資料庫。
Language
1. Python : 資料清洗、網路爬蟲、、機器學習、基礎深度學習、資料視覺化。
-- Pandas / Numpy / Sklearn / Keras / Matplotlib / Selenium / flask
2. HTML & JavaScript :自學基礎網頁標記語言,以及框架基礎實作。
-- jQuery / React
Server
1. AWS
-- S3
-- Glue ETL
-- Kinesis Data Stream
-- Athena
2. Google Cloud Platform
-- Datastore
-- Dataflow
-- BigQuery
DataBase
1. SQL
-- MS SQL
-- MySQL
2. NoSQL
-- Mongo DB
3. GraphDB
-- Nebula
-- Neo4j
Software
1. Tableau
2. PowerBI
Others
1. Airflow
2. jenkins
3. Google Analytics