¿Qué métodos de aprendizaje automático utilizan ecuaciones diferenciales?

Answer 1

Para un ejemplo específico, para retroceder los errores de propagación en un perceptrón de avance, generalmente diferenciaría una de las tres funciones de activación: Paso, Tanh o Sigmoide. (Para aclarar para aquellos que no saben, una percepción es una red neuronal, generalmente con una iteración de retroalimentación de retroalimentación; lo que significa que la entrada y la información para derivar los resultados finales solo avanzan, mientras se calcula el error después de llegar a su resultado, luego retrocede a cada peso para determinar qué debe cambiar y cuánto reducir los errores futuros).

Ser función sigmoidea

y su ser derivado

suponiendo que beta no es uno. Puede encontrar las funciones y sus derivados en wikipedia.

Redes neuronales artificiales / funciones de activación

Básicamente, si desea utilizar sus propias funciones de activación, necesitará descubrir sus propios derivados. Estos 3 funcionan bien para perceptrones de una sola capa oculta (o sin capa oculta), pero para lo que la gente llama “aprendizaje profundo”, o más de una capa oculta, la propagación de errores puede volverse compleja.

Debe saber por qué está utilizando estas funciones de activación y, a veces, elegiría una función sobre otra únicamente por sus propiedades derivadas. La corrección de errores es la mitad de la IA (algunas personas argumentarán que es toda la IA), si no encuentra correctamente qué nodos / pesos son responsables del error, su IA nunca aprenderá (lo que realmente no es AI), por lo que elegir un una buena función / derivada funcional es muy importante, y aquí es donde las matemáticas son más importantes que la programación. En serio, puedes construir una IA en menos de 15,000 líneas de código (C ++).

Que te diviertas

Answer 2

Algoritmo de maximización de expectativas