¿Por qué no hay convoluciones generales ‘no lineales’ disponibles en el aprendizaje automático?

Answer 1

Absolutamente puede hacer eso, pero hay varias razones por las que generalmente no se hace:

1. Va a ser muy lento
1. Para las convoluciones, tenemos la Transformada rápida de Fourier (FFT) para acelerarlas. No tendrá nada de eso para operaciones más generales.
2. La linealidad es una propiedad realmente agradable.
1. Si está clasificando imágenes y tiene dos imágenes que son totalmente idénticas, excepto que la intensidad aumenta, una convolución lineal se escalará en consecuencia y verá las mismas características. Una función no lineal como la que sugirió se volverá absolutamente loca. Sin embargo, hay algunas funciones no lineales que lo manejarían bien.
3. Haría el entrenamiento realmente difícil.
1. Una función no lineal es mucho más probable que provoque un hessian (matriz de segundas derivadas parciales) fluctuante en la función objetivo con respecto a los pesos. Eso hace que cosas como elegir las tasas de aprendizaje sean una pesadilla (de nuevo, si se elige cuidadosamente, podría evitar esto)
2. Eso también significa más mínimos locales subóptimos, por lo que es más probable que te quedes atrapado en una zanja en algún lugar en el medio de un vecindario malo en tu múltiple.
4. Elegir esas funciones sería, en el mejor de los casos, muy complicado
1. Claro, podríamos parametrizar un gran espacio de funciones no lineales y esperar lo mejor, pero eso agrega una gran complejidad al modelo. Es difícil saber qué está pasando realmente dentro de una CNN profunda, por lo que será difícil saber qué espacio de funciones parametrizar. Si puede resolver eso, probablemente sea mejor usarlo como preprocesamiento. Lo hice recientemente con gran éxito.
5. Sobre todo, es innecesario.
1. Esto es exactamente por qué tenemos funciones de activación no lineal. Para evitar tener que calcular demasiadas operaciones no lineales
2. Elija cualquier función que desee y probablemente pueda aproximarla bastante de cerca con una red convolucional. En una red profunda, sus capas anteriores se combinan para crear funciones no lineales que las capas posteriores usan como entidades. No es necesario reemplazar las operaciones lineales por operaciones no lineales porque la red ya simula operaciones no lineales.

Answer 2

Solo me gustaría agregar algunas cosas:

1. Esto es muy lento Transformaciones como fft y winograd nos permiten calcular eficientemente la convolución lineal.
2. Agregar sesgos y / o normalización por lotes ya lo hace afín.
3. Poner una “red en neurona” ya se ha hecho con NiN y ResNeXt.