Simple Linear Regression

簡單線性回歸模型設定

資料集為一份員工工作年資及月薪，將其拆成訓練集與測試集後再進行訓練。

先用窮舉法找出最佳參數，再用梯度下降法同時測試調整學習率、迭代次數對結果的影響。

Optimizer: Gradient Descent

Cost function: MSE 均方誤差

1. 用窮舉法找出最佳參數，以利後續驗證模型是否能成功找到最佳cost。
2. 用梯度下降法預設 學習率 = 0.001 , 迭代次數 = 20,000 有成功找到最佳w/b/cost
3. 記錄每次迭代的數據並印出，得知此例中迭代約100時即可找到最佳cost

找到最佳解後，嘗試調整學習率及迭代次數對模型的影響

1. 學習率調高至0.05 ，迭代2000次，短暫震盪後仍可找到最佳解
2. 學習率再調高至0.059， 迭代次數減少為1000次，因學習率過大，從頭到尾都大幅度震盪，但仍可找到最佳解
3. 學習率降為0,01 ，迭代700次，迭代過程中雖無大幅震盪，但因學習率低，更新速度過慢，導致迭代700次後仍未抵達最佳cost