การสรุปทั่วไปนอกการกระจาย
-
DeepMind เปิดตัวความก้าวหน้าทางนวัตกรรม: ใช้ AlphaEvolve ค้นพบฟังก์ชันกระตุ้นรุ่นใหม่ในพื้นที่ฟังก์ชันไม่จำกัด แซงหน้า ReLU และ GELU
一直以来，神经网络的激活函数如同AI引擎中的火花塞。从早期的Sigmoid、Tanh，到后来占据主导地位的ReLU，再到近年来的GELU与Swish，每一次激活函数的演进都推动了模型性能的进步。然而，寻找最优激活函数的过程，长期依赖于人类直觉或有限的搜索空间。 如今，谷歌DeepMind正在改写这一规则。 在一篇题为《Finding Generalizabl…
