關於 NN 的 KFold cross validation

我有查看過 Keras libaray

那個dense(4...)應該就是 units 了 (comment 是我自己寫)，可是這個數字是怎樣選出來？有沒有 rules 的？另外下一行dense(1) 是不是因為 output 前的最後一層，所以一般就是1，但我高興2,3,4…也是可以，對吧？

What does determine the "uniits, dimensionality of t...

有人問過但沒有人回答，我正是想問這個

另外想問一個很蠢的問題…
那個 Dense(4, activation='relu')(input)
或是 dense(1)(dense)
這樣是相乘的意思嗎？即 dense(1) x (dense) 這樣嗎？我真不知該怎樣搜這關鍵字XDD

units 要多少是隨你高興或隨你需要

dense(n)(dense) 應該是指從哪一層連接過來的意思

這麼厲害，兩個黏 (?) 著就可以理解到接過來，教授也是寫 fed into，是看得懂，只是語法背後，像我理解以為是相乘的意思，反正 output 就是 dense(n)(上一層的結果)，這是可以，只是好奇

相乘也沒錯啦，Dense 就是在做矩陣相乘

另外我也試了換了 units 和 batch size

跑出來是這樣的，在換 unit and batch size 前，我有 clear session
backend.clear_session()
怎麼 plot 出來都是用同一個圖，不能分開嗎？我以後 clear session，clear up memory，圖也會重新 plot

這圖我就不清楚了XD

要看完整的程式

誰知道，在 NN 有 exponential issue，說不定是次方，不是相乘，我好奇啦

我沒聽過有這種 issue @@

那不是 vanishing and exploding gradient descent 嗎… 數學什麼的算了吧XDDD

只是看著那個圖，你無法得知哪裡是我實驗後的成果XDD 我是清一次，重新再來，沒關係，我記得教授講過 backend.clear_session()

喔喔這個喔，這是要扯上 activation 才會有的問題，選 relu 的話不用擔心

一直跑下去，就會把累積的結果跑了，剛才我換了 batch size and unit，clear session 後，再來比較的，不 clear 的話，就會把第一次結果，再用新的實驗的 batch size and unit 跑一次，那就不能比較了

我是天真的以為顯示的圖也會清，就是彈一個新的圖出來的樣子

幸好把理論算是搞清楚，現在我覺得 python 這學起來有比較好，感恩老師 (上一個問題是 confusion matrix 現在已一下子跳到 NN，下一個RNN就沒了，之後是 data visualisation，不是你的範圍，但那也不難)

YEAH!!!!