資料流程工程師

▋工作內容

1. 於雲端平台或本地端開發高速分散式爬蟲系統

2. 解析並收集多種網頁或平台的資料，包含但不限於：社群媒體、影音、新聞、論壇、部落格及內容網站等

3. 維持爬蟲系統運作，排除相關障礙，包括反爬蟲機制的研究及突破

4. 持續優化爬蟲系統之效能、效率及穩定度

5. 與其他夥伴協作，完成 API 開發、撰寫技術文件等工作

註：雲端平台主要運用 Google Cloud Platform (GCP)產品及服務，部分為 Amazon Web Service (AWS)

▋必要能力：
1. 熟悉 SQL 資料庫系統語法
2. 有任一建置資料處理串流經驗（建置處理串流經驗曾運用 Spark、BigQuery、Google Dataflow 或 Google Dataproc...）等ETL Data Pipeline。
3. 具備基本用 python 程式能力上述資料處理串流能力與 File IO
4. 具備基本數據分析經驗（得用 python 對資料做基本統計），確保資料串流過程中，系統狀態正常，並回報資料來源不正常運作可能性。
5. 熟悉使用 Git 使用經驗
6. 熟悉 NoSQL、RDB 關聯式資料庫運用場景
7. 熟悉資料結構與演算法

▋加分條件：
1. 具備轉寫與執行 Test 經驗
2. 具備資料串流 logging 經驗者佳
3. 具備資料權限管理經驗者佳
4. 具備雲端服務 AWS/GCP/Azure 使用經驗
5. 具備分散式系統使用經驗

招募流程

1. 請將您的履歷和讓人眼睛為之一亮的作品寄至 [email protected]，主旨說明欲應徵的職務 
   
2. 初步篩選後將於 2-3 個工作天進行電話約訪
3. 線上筆試或小型 Project 考試
4. 個別約訪或視訊
5. 結果通知

總共需時約 2-4 週。