email : [email protected]
github : https://github.com/tobias8069
專題簡報: https://goo.gl/otfaiW
專題影片: https://goo.gl/H4LyhT
我畢業於營養系,在醫院營養師實習過程中,接觸到大量各種病人的資料和飲食習慣,對於要如何運用這些大數據產生了興趣,可是在當時我並不會任何分析能力。為了讓我擁有處理大數據的能力,我前往資策會資料分析師班學習大數據技術。
資策會學習及應用Data Enginner能力
資策會專題題目為狗狗智慧搜尋,透過狗狗論壇為資料來源,分析文章輿論,建置關於狗狗資訊的平台,並提供消費者三大功能,1.遺失狗照片辨識2.以關鍵字找文章3.主動推薦文章。 我負責的部分為遺失狗照片辨識及AWS及Spark環境搭建,主要負責內容為:
使用Python、Beautifulsoup、selenium技術從Imagenet及Instagram爬取狗種圖片約5萬多張作為狗種辨識資料來源。
從全國推廣動物認領養平台,用Celery技術每天自動爬取遺失狗資料及照片,總共約5500筆資料,並把資料放進MongoDB。
ETL
從MongoDB取出rawData,用Python、Numpy、Pandas把大量遺失狗資料做清理、貼標,放進Mysql。
建立Mysql及MongoDB作為raw data 的存取資料庫。
建立Elasticsearch,把分析過的資料放進去建立Index當作全文搜尋引擎。
申請AWS帳號,搭建EC2、VPC,把在local端建立好的程式包裝成Docker,並部屬到AWS上建一個完整的網頁伺服器。
跨文化溝通及團隊合作能⼒:
除了在資策會學習專業技術外,我在求學過程中,還有三件事情分別培養我具備團隊精神與互助合作能⼒外, 及學習到與⼈良性溝通以及分⼯明確的重要性。
1. 學⽣時期: 我在2013年寒假時20位來⾃各⼤學的志⼯前往泰國北部作國際志⼯,與戒毒弟兄相處,並在晚上時前往當地⼩學陪伴⼩學⽣及教中文。
2. 醫院實習: 在營養室實習,不僅跟營養師學習專業知識,還跟醫院各職業合作,如護⼠、醫⽣,業務等,並學到如何與病⼈良性溝通,得到病⼈的⽣理狀況。
3. 資策會時期: 跟來⾃各不同領域的專業⼈⼠,共同進⾏專題,了解如何跟不同專業背景的⼈討論合作,並統整意⾒。