Mar 2018 - Present
後端工程師:
1. 開發具備網頁爬蟲及同步功能的 RESTful api system (on production)。
2. 將系統部屬於 GCP 的 GCE 及 GKE(K8S)。
3. 用 Kafka 串接 data flow,實作 producer (Redis>Kafka) & consumer (Kafka>Hbase)。
資料分析:
1. 從蒐集來並存入 Elasticsearch 或 Hbase (Hadoop) 的瀏覽者行為數據及繁中文章內容資料,分析出含有特定關鍵字的文章的瀏覽細節,例如:帶有可口可樂相關字的前十高瀏覽量的網頁,其瀏覽者年齡及性別分布,其於每日不同時段之瀏覽量分布。
2. 對特定的網頁,分析瀏覽者造訪該網頁之前及之後造訪的網頁的瀏覽量分布。
使用 DB: Elasticsearch, Redis, MongoDB, MySQL, PostgreSQL, HBase
使用 Language: Python3.6
使用框架: Flask, Celery
使用工具: docker, docker-compose, pipenv, supervisord, git