3711 大數據資深資料工程師

【邀您共創大人物—大數據、人工智慧、物聯網】

工作環境及氛圍偏美式風格、舒適明亮的開放空間、鼓勵技術交流與團隊合作、產品與專案發展並重。在這裡你將參與軟體與服務之分析、設計、開發及測試，我們有完整的系統架構與開發流程、友善的開發環境、及部門內與跨部門的學習與教育訓練，期待您的加入與團隊和公司共同成長。

工作內容:

• 負責建置和強化數據管道架構(data pipeline architecture)，提供跨部門團隊的數據收集與流程設計，並持續優化數據系統。
• 數據/Machine Learning平台開發建置: 評估、設計和建置高度可擴展的數據運用平台，用於數據提取，存儲，處理和可視化。透過使用SQL、Python、Spark等或雲端技術從各種數據源中提取、轉換所需的數據集。透過自動化或手動流程，提供數據應用與服務，或優化架構以實現可擴展性
• 數據流程開發設計: 設計開發處理業務邏輯的ETL，提供資料集以滿足業務需求。協助處理與數據相關的技術問題並支援數據相關分析需求。開發和實作數據庫，並建置必要之監控及效能調教等作業程式。追溯源頭，清洗數據，去除不完整、重複或數值缺陷的紀錄，運用數據工程技術進行資料彙整、聚合、轉換等作業。
• 數據庫管理維運: 負責日常資料處理作業流程，監控大規模數據平台快速增長的數據。處理異常資料，確保資料品質與回應相關資料問題的詢問。定期演練災難恢復、備份、自動化測試，自動架構遷移和持續部署的系統管理作業。管理一至多個數據平台和雲端資料，保持分離性和安全性。數據平台帳號存取權限之控管與維護。
• 數據分析支援協作: 與數據科學家、分析師團隊合作數據分析，協助構建和優化公司產品。

• 擁有大型專案管理或資料分析專案管理經驗
• 具雲端數據平台(GCP、AWS& Azure)SaaS、PaaS架構規劃、開發經驗
• 熟悉Docker、K8S 、 Hadoop、Spark、Python
• 機器學習相關開發框架(如：TensorFlow、Torch)與統計基礎知識(相關統計檢定使用時機等) 經驗佳
• 瞭解Machine learning/ Deep learning 常用演算法並有實際應用經驗佳(Decision tree, Random Forests, SVM, KNN, K-means,…)