從早期有 theano, caffe/caffe2, Torch 到現在變成主要有 Tensorflow, PyTorch, mxnet, PaddlePaddle 等模型框架 (大多背後對應有主要的支持或採用者: Google, Facebook, Amazon, 百度等). 各有特色與優缺點, 在台灣最常遇到採用 PyTorch 或者 Tensorflow+Keras 的深度學習專家.

如果目標設立在應用別人已經創造的模型, 採 Tensorflow+Keras 應該是門檻最低的, 同時很可能 99% 的深度模型相關問題都可以在Open Source 或是社群中找到可以參考或解惑的資源.

舉例要設計一個多層神經網路 (深度模型) 來進行預測房價, 假設我們打算從實價登錄, 在同一區域(例如: 台本市東區) 取得歷史紀錄中 [交易年月, 總面積, 主建物, 型態, 屋齡, 樓別/樓高, 建物格局, 管理組織] 等欄位 來預測 下一個月某房子的總價.

如上圖, 有些資料是數值型態, 直覺容易處理; 但是諸如[管理組織, 樓別/樓高, 建物格局] 就需要動點腦筋進行資料預處理. 先忽略此重大細節.

我們已經用 pandas 把資料預處理成一個取名為 trainDF 的 DataFrame (可想成一個 Excel 表格), 而對應的總價我們以 trainY 來記錄; 也切割出一些資料作為測試驗證用, 命名為 testDF, 對應的總價我們以 testY 來記錄 .

我們就可以輕易寫出一個深度模型:

要多少層與每層要多少神經元, 例如: Dense(64, ...) 代表該層有 64 神經元, 是所謂的超參數, 是要自己設定的, 通常這代表大量的嘗試錯誤方能找到, 所幸 keras 提供了 keras-tuner 這工具, 能幫助我們搜尋較優的超參數.

另外 activation='relu', 代表要用 ReLu 作為 激勵函數. 激勵函數常用的也有許多選擇, 如何選我們暫且不談. 是否感覺現在的工具大幅降低應用深度學習的門檻?

儘管比較實用的模型通常不是如此簡單(常有百層以上, 且連接相當複雜的模型), 通常也無須重複發明輪子, 大多數性能較佳的 SOTA模型, 都容易找到公開程式碼可以參考, 很多甚至只要調整一點超參數以符合數據集即可運作. 如果沒有找到可參考的模型程式碼可參考, 以 Tensorflow + Keras 亦可大幅降低門檻.

要開發 Deep Learning 相關應用, 如果要解決的問題是已經有論文研究過的, 其挑戰點我個人的看法是: 先試用已經公開發表的模型, 微量的調整模型以符合數據, 再把心力放在:

1. 收集與標示更多的數據, 例如上述的 trainDF, trainY; testDF, testY 很可能是真正決定專案成敗的關鍵, 我們在資料預處理討論.

2. 提升訓練模型的能力 (包含調整超參數)

很可能就可以取得相當優異的性能以滿足專案需求.