3 年 資料/分析工程師經驗 實作經驗 : 網路爬蟲(Web Crawling), 視覺化圖表分析, 基礎統計方法(Anova, T-Test, Paired T-test, Chi-Squared, k-means, Survival Analysis ...etc), ETL 資料流程架構, 資料轉移/自動化服務部署.
在工作上擅長且喜歡與人溝通和釐清需求,也喜歡跨部門合作,透過與不同背景的人接觸,藉由思考每個人提出的不同的問題和見解,反覆雙向溝通,讓我有機會從不一樣的方向開始思考然後收斂, 歸納,享受在步調較快而且有效溝通的環境下工作,讓我更有生產力和動力。
資料工程師, 資料分析相關
臺北, 臺灣
[email protected]
1. 導入/建置 Tableau 互動式報表系統,使用者更靈活快速進行資料分析需求
✓ 系統維護管理 (環境 : Linux CentOS 7)
✓ 整合資料源 (Trino, TiDB, MySQL)
✓ 互動式分析報表頁面設計
✓ 協助使用者進行教育訓練
2. ELT 自動化架構,歷史資料統計計算以及整合
✓ 核心運算 : Spark Cluster (Pyspark)
✓ 資料湖 : Apache Hudi 檔案格式管理 + GCS 存儲 + Hive MetaStore
✓ 搜尋引擎 : Trino / Presto
3. 維運內部自動化環境建置 / 服務部署 / 監控管理
✓ 維護內部平台 (GOlang)
✓ 維護 Ansible's Code
4. [測試] 資料庫資料轉移 (ElasticSearch to MongoDB)
5. [測試] GCP 雲端資料/倉儲架構串接,解析 MySQL Binlog CDC 同步資料至 Bigquery
1. Tableau 系統維護管理 / 視覺化報表開發
2. 串接 Tableau web API, 開發 Tableau 報表匯出以及定期備份排程管理
3. 協助 KPI 管理,互動式報表開發
4. 資料 ETL
5. 主要 Data Mart : SAP HANA
6. 網頁爬蟲 : 原物料相關資料搜集
*** 併購前公司 (新加坡商 AFT_飛迅設計有限公司)
✓ 撰寫網頁爬蟲以及自動化資料比對程式,協助財務部門月結帳務事宜,加快流程行進,縮減約 70% 工作天數
✓ 提供自動化工具,協助營運部門進行玩家作弊行為檢查,縮減約 70% 人工確認時間
✓自動化產出且寄出產品營運表現視覺化報表
✓ 提供 Business Team, PM 臨時資料分析需求,提供決策方向依據
✓ 依據遊戲設計和規則,利用排列組合計算 RTP 理論值,加速產品改善流程
✓ 撰寫網頁爬蟲以及自動化資料比對程式,協助財務部門月結帳務事宜,加快流程行進,縮減約 70% 工作天數
✓ 提供自動化工具,協助營運部門進行玩家作弊行為檢查,縮減約 70% 人工確認時間
✓自動化產出且寄出產品營運表現視覺化報表
✓ 提供 Business Team, PM 臨時資料分析需求,提供決策方向依據
✓ 主要客戶端營運窗口,查看系統 API Error Log, 系統後台設定和 API 整合規格文件,協助客戶技術問題排除和修改建議。
✓ 密切與內部部門合作,像是 PM 部門, 開發部門, 商業市場部門,當有任何產品新功能即將上線或產品市場策略變動,將協助與客戶通知說明, 溝通並確認客戶端產品設定是否一切正確。
✓ 產品營運表現監控和記錄,確保營運順暢,客戶端作業穩定。
✓ 遊戲測試