¿Son las ecuaciones diferenciales relevantes para el aprendizaje automático?

Answer 1

Las ecuaciones diferenciales son muy relevantes para varios métodos de aprendizaje automático, principalmente aquellos inspirados por analogía con algunos modelos matemáticos en física.

Las ecuaciones diferenciales son una de las herramientas más fundamentales en física para modelar la dinámica de un sistema. Con ecuaciones diferenciales, básicamente se vincula la tasa de cambio de una cantidad a otras propiedades del sistema (con muchas variaciones sobre este tema). Entonces, cuando desea modelar a su alumno como un modelo dinámico (por ejemplo, una red neuronal con pesos que cambian de acuerdo con alguna regla), básicamente está hablando de ecuaciones diferenciales.

Desafortunadamente, resolver ecuaciones diferenciales no es tan sencillo como resolver una ecuación (ordinaria). En cambio, necesita conocer un poco de teoría, que analiza cómo los diferentes tipos de ecuaciones diferenciales dan lugar a diferentes tipos de soluciones. También existe un inmenso cuerpo de literatura sobre resolución numérica de ecuaciones diferenciales, que puede ser un poco intimidante.

La mayoría de los ejemplos que conozco provienen de la visión por computadora, por ejemplo, cuando desea estimar el flujo óptico en una imagen a partir de secuencias de imágenes. Pero las ecuaciones diferenciales probablemente aparecerán cada vez que aparezca un algoritmo de aprendizaje derivado de alguna analogía con un sistema físico.

Answer 2

Durante mis estudios tuve un curso en Redes Neuronales Artificiales en el que utilizamos Redes Neuronales Recurrentes de tiempo continuo para la predicción de series de tiempo. En general, creo que eso no es parte de un plan de estudios para ANN, pero nuestro profesor estaba muy inclinado hacia los sistemas dinámicos y, por lo tanto, lo enseñó. Parece que también tienen algún uso en otras aplicaciones, pero aún no las he encontrado.

Hay una breve sección sobre los RNN de tiempo continuo en la página de Wikipedia de RNN:

Red neuronal recurrente – Wikipedia

Answer 3

Tengo una publicación de blog sobre esto, o, más bien, la relación entre las ecuaciones integrales no homogéneas y los núcleos en el aprendizaje automático

Granos, funciones de Green y operadores resolutivos

observe que en física matemática, generalmente vemos Ecuaciones integrales del segundo tipo , mientras que en el aprendizaje automático, con frecuencia tratamos con Ecuaciones integrales del primer tipo

para mí ese fue el problema

Answer 4

También puede encontrar este libro interesante que trata el tema ‘en reversa’ =)

Una introducción a los métodos de redes neuronales para ecuaciones diferenciales | Saltador

Este libro presenta una variedad de métodos de redes neuronales para resolver ecuaciones diferenciales que surgen en ciencia e ingeniería junto con desarrollos recientes en las técnicas y sus aplicaciones.