DaveC
@davecode
Thu, Apr 30, 2020 10:06 PM
Thu, Apr 30, 2020 10:06 PM
3
硬核NeruIPS 2018最佳论文，一个神经了的常微分方程
Ref
「前面提到過殘差網絡是神經常微分方程的特例，可以說殘差網絡是歐拉方法的離散化。兩三百年前解常微分方程的歐拉法非常直觀，即 h(t +Δt) = h(t) + Δt×f(h(t), t)。每當隱藏層沿 t 走一小步Δt，新的隱藏層狀態 h(t +Δt) 就應該近似在已有的方向上邁一小步。如果這樣一小步一小步從 t_0 走到 t_1，那麼就求出了 ODE 的數值解。」
+
@davecode - [log]
載入新的回覆
「前面提到過殘差網絡是神經常微分方程的特例，可以說殘差網絡是歐拉方法的離散化。兩三百年前解常微分方程的歐拉法非常直觀，即 h(t +Δt) = h(t) + Δt×f(h(t), t)。每當隱藏層沿 t 走一小步Δt，新的隱藏層狀態 h(t +Δt) 就應該近似在已有的方向上邁一小步。如果這樣一小步一小步從 t_0 走到 t_1，那麼就求出了 ODE 的數值解。」
+