Updated 3 Months agoIT » Data Engineer

Job Description

  1. 負責網際網路網站、網頁、連結及 API 爬取資料
  2. 負責設計和開發分散式的網路爬蟲應用,包括調度、抓取、入庫資料庫等內容,進行網際網路資訊的抓取和分析
  3. 實現大規模文字、圖像、資料的抓取、抽取,去重、分類,垃圾過濾,品質識別、解析入庫等工作
  4. 提供分散式爬蟲和資料獲取系統的技術實現方案
  5. 分析靜態網頁結構,解析網頁數據,對資料進行過濾,去重,結構化處理。

Requirements

  1. 正職(工作時間),本科以上,電腦相關專業具備1年及以上開發項目經驗
  2. 扎實的Java/Python基礎,熟悉多執行緒程式設計環境,熟悉常見開源框架
  3. 熟悉前端技術,HTML,JavaScript,Ajax
  4. 熟悉抓取原理及技術,熟悉Scrapy、Pyspider、nutch等主流爬蟲框架使用,有獲取電商數據經驗者優先
  5. 熟練使用Mysql 、mongodb、 Redis等資料庫
  6. 具有構建分散式爬蟲系統的經驗,具有海量高並發網頁爬取項目經驗優先
  7. 具備較好的資料分析能力和解決問題的能力、具有機器學習、資料採擷等經驗者優先。
View all jobs

華奧科技有限公司

台北市南港區經貿二路195號7樓

About us

華奧科技成立於2020年,由一群曾在知名軟體、網路公司及遊戲開發公司的核心人才和技術菁英,帶著對夢想的追求組成。集軟體遊戲研發及產業整合於一體的網路遊戲公司,透過豐富的開發整合能力、專案管理知識,在軟體開發產業獨創一格,為我們的客戶創造最好的產品。

我們是一個年輕及具有活力的團隊,領導人採用開放授權的管理風格,並具備良好的發展空間和完善的組織制度,身處快速變動的軟體產業,我們使每位擅於自我管理的同仁,得以自由發揮潛力,能快速、靈活地應對客戶和市場需求的變化。在台灣已集結眾多頂尖的軟體技術開發人才,擁有完整的技術、設計、產品、運維、測試及後勤團隊,並結合海外成熟的技術支援團隊,服務世界各地的客戶。

Team

Other Popular Jobs at 華奧科技有限公司

DevOps 運維工程師

Full-timeMid-Senior level50K+ TWD/monthUpdated 7 months ago

SRE 工程師

Full-timeEntry level55K+ TWD/monthUpdated 7 months ago

UI設計師

Full-timeMid-Senior level50K+ TWD/monthUpdated 7 months ago

產品經理

Full-timeMid-Senior level60K+ TWD/monthUpdated 7 months ago