#工作內容

1.負責設計和開發分佈式網路爬蟲系統，進行多平臺信息的抓取和分析工作
2.負責網頁搜索的頁面內容提取，搜索領域下的濾重（simhash/minhash）、聚類、反垃圾、頁面分析、標簽、分類器（貝葉斯/Bayes/LR/SVM）、數據挖掘等工作，提升平臺的抓取效率
3.參與爬蟲核心演算法和策略優化，熟悉採集系統的調度策略
4.實時監控爬蟲的進度和警報反饋

#工作條件

1.熟悉Linux系統，掌握Python等語言
2.掌握網頁抓取原理及技術，瞭解基於Cookie的登錄原理，熟悉基於正則表達式、XPath、CSS等網頁信息抽取技術
3.熟悉整個爬蟲的設計及實現流程，有大規模網頁信息抽取開發經驗，熟悉各種反爬蟲技術，有分佈式爬蟲架構經驗
4.有鏈接分析（pagerank、trustrank）、特徵提取（頁面質量、權威度、topic、線性/非線性回歸、LDA）等能力優先