本論文參考人腦對他人情緒辨別的方法，期望透過分析語音中的口語音段與非口語音段的特徵，來建立一個端對端的情緒辨識機制。 本論文選用國立清華大學-國立台灣藝術大學中文情緒互動多模態語料庫(NTHU-NTUA Chinese Interactive Multimodal Emotion Corpus，NNIME)。此語料庫是一個指定情境而無語句腳本的自發性情緒語料庫，內部包含許多不同如笑聲、哭聲、氣音等自然情感對話所具有的非口語聲音片段。 本論文將NNIME資料庫進行重新分段，取得單一語者對話回應段的資料，將每個回應段透過支持向量機與韻律短語自動標記器，將音訊變為由非口語段、韻律短語、靜音段所組成的音段序列。各序列分別匯入訓練完成的卷積神經網路，抽取各音段的情緒特徵、聲音特徵。將各分段的特徵以向量表示，匯入具有注意力機制以長短期記憶模型為基底的序列對序列模型進行語音的情緒分段辨識。最後輸入的語者對話回應段會得到與分段數量相同長度的情緒標記表示序列。 相關研究發表於IEEE ICASSP 2019與IEEE transaction 2021。