Yen-Ting Liu 我具有5年python資料分析，熟悉以Docker搭配nginx, redis部屬api及系統於GCP上。熟悉Airflow程式及報表自動化分析流程，並有Hadoop，Elasticsearch群集管理實務、pyspark數據ETL經驗。我喜歡學習新技術，並追求以更高效率進行資料處理流程。 Santa Clara, CA, USA [email protected] 工作經歷 Data Engineer

scraping running scripts.( Flask ) Write and maintain web scraping scripts on distributed system.( Python + Celery + RabbitMQ / Redis ) Largitdata, Web Scraping Intern Jan 2017 ~ Aug 2017 Write many web scraping scripts for various sorts of websites. Skills Languages - Python , Scala Big Data Framework - Apache Spark, Hadoop/HDFS, GCP BigQuery, GCP Dataflow Cloud Platform - Google Cloud Platform Version Control - Git Interest Basketball 3 yrs on NTUEE girls' basketball team. Captain of the NTUEE girls' basketball team for one year. Psychology Took many courses in psychology department and cognitive neuroscience. Language Interest in

插入、更新等。 教授MySQL的權限、高可用性(HA)和變更數據捕獲(CDC)。 工程師 • 迅達國際資訊 MarchMarch 2021 | Taipei, Taiwan 設計Pentaho ETL流程，從MSSQL、SAP、Oracle等導入Hadoop Hive。 使用Jenkins自動化ETL，並設置即時告警，以確保及時處理故障。 優化Hadoop的權限和系統參數，提高系統性能和安全性。 研發部研

影像辨識-化學槽車違規系統，其功能包含辨識、規則判斷、MSMQ、排程、UI介面，其中Phase 1應用在竹科偵測違規跨越閘門。 FDC：FDC UI從Hadoop抓取統計資料，進行單變量分析模擬，模擬不同機台來調整標準差，並繪製管制圖表。 其它 ： Cross FAB Compare(依不同資料來源，進行跨

促約率從10%提升至20%。 資源整合： 跨集團、跨部室 與業務管理單位、資訊單位、資料科學團隊合作。資料流橫跨3個資料庫，DB2、Teradata、Hadoop。業務別橫跨所有壽險業務。與金控數數發合作開發，支援集團數位轉型目標。 教育推廣： 製作教育訓練素材 ，包含課程教材

策會 Dec 2017 ~ Jun 2018 Taoyuan, Taiwan 受訓約6個月 學習項目眾多，各項技術僅入門 學習內容: MySQL Java JavaScript html linux ELK(Elasticsearch、Logstash、Kibana) Docker data mining AWS ETL NoSQL(mongodb、redis) SPSS IOT hadoop、saprk R Django 其他(補充) 平日有使用excel記帳，檔案同步至onedrive，並使用 power bi 呈現圖表資料(如下圖:可篩選時間軸 分類等等...) 之

for Human Activity Recognition Collect sensor data from smart phone Data preprocessing and classification Projects NitroSense Utility App NitroSense app allows user to monitor CPU and GPU temperatures, as well as adjust fan speed and power plan settings. User Experience Analysis Use SQL language to query user data on Hadoop system. Analyze user behavior on the computer. Vive 3DSP Unreal Plugin VIVE 3DSP Audio SDK is an audio solution for simulating realistic sounds in the virtual world. In-house image algorithm performance evaluation tool A test tool for check algorithm performance. Using Smart Phone Sensor