怪點子有限公司 資深軟體工程師,2018 年 10 月 - 2021 年 11 月
公司大部分服務大多都是利用網路爬蟲蒐集資料,資料前處理,最後根據客戶的需求做成報表或做成網站提供給客戶
前期獨立完成專案並維護公司既有服務,中期開發並優化既有服務,後期開發線上布料協作平台並導入測試, Gitflow
使用技術
- 後端:express.js (node.js)、Flask, django (python)、Nginx
- 資料庫:MongoDB, PostgreSQL, Redis
- 爬蟲:scrapy, selenium (python)
- Cloud:AWS EC2, Load Balancer, Route 53
- 工具:mongo charts, Django Channels, flask_socketio
工作內容
負責專案
- 運動服飾市場情報系統(SMIS)
- 系統維護
- 新技術測試
- 架設 CVAT 用以提供建立服飾 pattern 標記
- 自動偵測服飾主色
- 功能開發
- 會員管理:增刪改查、功能瀏覽統計
- 增加新爬蟲
- 既有搜尋增加 filter
- 改善現有服務:
- 前後端分離
- 改善資料結構,優化 MongoDB 查詢速度
- 利用 i18n 實現多語言切換
- 自動化爬蟲工作
- 數個客製化市場情報系統:
- 專案說明:類似於前面的專案,功能類似但主題不同,其中包含保健食品、牛仔褲、單一運動服飾品牌、居家辦公室用品
- 開發規劃:
- 與主管確認客戶需求
- 確認需要爬取的資料範圍與頻率
- 與分析師討論圖表呈現
- 與前端溝通 API 串接
- 功能開發:
- 爬蟲撰寫
- 資料清洗
- 後端 api 開發
- 部署至 AWS、設定Domain
- 線上布料協作平台-POC階段:
- 專案說明:提供布商能與國外品牌線上協同開發布料,並額外提供布商品牌商資料以維繫和拓展業務關係
- 開發過程:
- 和主管前去客戶訪談確認痛點
- 內部討論需要完成哪些功能
- 與分析師討論需要的資料以及圖表如何呈現
- 規劃網站架構,分配任務並開發
- 功能開發:
- 前端使用 Flask with jinja
- 後端 api - Flask
- 會員管理
- 布料列表、布料呈現
- 布料錦集以及寄信功能
- 聊天室(flask_socketio)
- 尋找潛在新興品牌
- 新技術測試:
- 以圖搜圖:使用布料圖片來搜尋在資料庫裡相似的布料或商品
- 3D 建模:使用 three.js 呈現將布料貼合在衣服上的效果
- 布料換色:辨識主色數量、藉由平移色彩空間來達到換色的效果
- 線上布料協作平台 - 正式開發:
- 專案說明:進一步與客戶訪談需求,並與主管核定時程,逐步完成功能
- 功能開發:
- 完善會員權限
- 布料搜尋、布料的基本資料、歷史開發紀錄、布料3D服裝模擬
- 供應商建立布料錦集、自定義推銷
- 專案建立、專案回顧功能
- 聊天室、通知功能
- 部署至 AWS、設定Domain
- Nginx dynamic image resizing and cache