邱政亞
國立臺中科技大學  ˙  資訊管理系 


工作不是只是工作,而是實現「夢想」的一種手段,我的夢想是透過 大數據人工智慧 的力量 改變世界 我的第一步是 資料工程師 

 my blog

未提供相片說明。

工作經歷

全端工程師           崴浤科技  •  2015.11 ~ Now            -  經歷6年

  1. 股市大數據平台 Side Project  ( https://www.getmoney.tw/  ) 

    < pythonmysql、apache airflowlinuxubuntu、nginx  php laravel html5 css3 javascript >

    使用 Apache airflow 建置多條Data pipeline,主要用於股市數據的自動化 擷取,清洗,置入(ETL),包括: 集保戶股權分散、盤後資訊 三大法人買賣超 概念股... 等等資訊 每日蒐集這些資料儲存於Mysql內,目前已累積500萬筆以上的資料。

    將蒐集來的資訊進行分析之後以網頁的方式呈現,使用laravel framework(php)進行mysql的資料抓取與邏輯計算,最後將資料以網頁呈現至前端‧

    這整套系統自建於Linode的雲端主機,使用Ubuntu 18.04 LTS系統環境,安裝包括nginx, mysql, phpmyadmin, python, apache airflow 

    Apache airflow 曾經的踩雷:
    1. 每次跑task時都會讓Scheduler與Mysql Crash,查Mysql log之後發現好像是主機記憶體不足的問題,把linode的主機從RAM 1G升級為4G之後解決。

    2. 主機的cpu常常會飆到100%,經過研究之後,需要把airflow的設定參數進行調整,應該是預設的時間秒數太短,主機會太頻繁去解析排程的檔案,參考 https://github.com/apache/airflow/issues/13637#issuecomment-892768703


  2. 核心網站系統開發與維護

    < phplaravel、mysqlhtml5css3javascriptjquery、linux、ubuntu、nginx > 

    主力產品,上千個B2B網站維護,負責包括 「後端程式、資料庫、前端技術」。

  3. 核心網站系統 - 公版系統

    < phplaravel、mysqlhtml5css3javascriptjquery、linux、ubuntu、nginx >

    除了客製版的網站,亦開發了可以快速成型的公版系統,版型多種可選,僅需透過簡單的操作,不需要另外撰寫程式,即可快速產生網站,提供10%績效

  4. 階層級的會員分潤管理系統 (專案系統開發 )

    < javascript、vue.js、npm、html5、css3、firebase firestore、firebase hosting、firebase authentication >

    多層級的會員系統,每一個會員都可以建立下線會員,後台可以設定每一層級的會員分潤趴數,當某一會員獲得收益時,系統會自動把分潤獎金分給該會員的上線

    管理者可以透過後台設定每一位會員的收益金額與進行報表管理

    Vue.js的框架進行設計,後臺管理者認證使用firebase的authentication,資料庫使用firebase的firesotre(NoSql型的資料庫),並把整個專案部署於firebase的hosting,使用Firebase的服務打造出Serverless(無伺服器)的雲端服務系統


  5. 需求分析與溝通

    < 與跨部門 客戶溝通協調 需求分析 、可行性研究 需求文件撰寫 >

    多種產業的客戶端需求進行分析與溝通,執行可行性研究 與 跨部門的溝通與協調,提供客戶端較佳的解決方案。

    至今已累積超過500個以上的需求分析與溝通經驗,每日平均需求分析與溝通的客戶端數2間以上 

  6. 後端程式組 組長

    < 凝聚向心力 使組員發揮最大價值 知識分享 問題協調溝通 >

    管理約5人的後端程式小組,執行案件的製作規劃 與 案件時程的控管,固定於會議上讓組員分享工作上的成就 與 解決組員遇到的問題,使整個小組的工作可以順暢進行。

  7. 內部工作流程優化

    (javascript app script)

    使用Google的 app script 撰寫用 Google Workspace 各項產品的使用整合。

    使用場景: 
    指派工作的時候使用Google form填寫指派工作,指派之後程式會自動於 Google chat 產生一個聊天交談(後續的工作討論會在這個交談) 並發送電子郵件給相關的執行人員 也會有一個試算表紀錄工作。

    試算表每一筆資料會有一個欄位紀錄工作的狀態,當工作狀態變更時會自動通知指派工作的人員 ( app script triggers )。

  8. EIP資料數據化

    (mysql Google data studio)

    使用 Google data studio 連結EIP的Mysql,將個人的工作與公司業績狀態用圖表的方式呈現(資料視覺化),方便簡報使用與管理者瀏覽。


技能


  • PYTHON
  • MYSQL
  • APACHE AIRFLOW
  • WEB  CRAWLER

  • PHP
  • LARAVEL (PHP FRAMEWORK)
  • HTML5, CSS3
  • JAVASCRIPT, JQUERY, VUE.JS

  • LINUX
  • UBUNTU
  • NGINX

  • FIREBASE (firestore, hosting, functions, FCM)
  • GCP (cloud scheduler, cloud function, cloud storage)

語言


  • 中文
  • English