Veamos…
Optimización no convexa.
Piénsalo. Una parábola es una función convexa porque es como un tazón. Solo hay un punto más profundo en el recipiente. Cuando dejas caer una pelota en él, rodará hacia abajo hasta ese punto en el tazón.
Matemáticamente, esto representa un único punto de inflexión, un máximo.
- ¿Cómo se puede dividir una secuencia de enteros ‘n’ en particiones ‘k’ de modo que la suma total de la suma al cuadrado de todas las particiones ‘k’ sea mínima?
- ¿Cuántas relaciones simétricas hay en un conjunto de n elementos?
- ¿Tienes alguna idea sobre el problema 3x + 1?
- En tu opinión, ¿cuál es más difícil, logaritmos o algoritmos?
- ¿Qué tan bien necesito entender las pruebas?
Ahora, si una función fuera un grupo de parábolas conectadas, soltar algo en ella solo la colocaría en una de ellas, al azar. Matemáticamente, este es un óptimo local, porque esa parábola particular sería su propio espacio local en la función completa, de lo contrario referido como el espacio “global”.
Por supuesto, no hay forma de saber si ese es el punto más profundo de la función. Podrías explorar todas las parábolas, pero eso es agotador e ineficiente.
Resolver este problema puede conducir a técnicas de aprendizaje basadas en matemáticas menos restrictivas. Si es convexo, hay un claro punto de inflexión. Si no es así, no hay una manera fácil de encontrar este punto de inflexión. Es como buscar la abolladura más profunda en un largo tramo del lecho marino.
Actualmente, las funciones no convexas están “optimizadas” al azar. Básicamente, sueltas varias bolas al azar a lo largo de la función y eliges el máximo. La idea es que si es lo suficientemente aleatorio, entonces es una aproximación lo suficientemente buena. Es un truco, no muy bueno, pero es lo mejor que hemos podido hacer.
Entonces, ¿estás preparado para la tarea?
EDITAR – Lamento no haber sido claro en el párrafo final. Gracias Magnus Anderson por señalarlo. Cuando dije que el óptimo global se elige al azar, no quise decir al azar de todos los óptimos locales. Figurativamente, a partir de la analogía utilizada, esto significaría encontrar las profundidades de algunos de los cuencos y elegir uno al azar para que sea el punto de inflexión. Esto no es lo que quise transmitir.
Quise decir que los puntos para verificar los óptimos locales se eligen al azar y luego el mejor óptimo local se establece como el óptimo global. En la analogía, los cuencos de los que verificamos la profundidad se eligen al azar. Una vez que conocemos la profundidad de todos estos cuencos elegidos al azar, el cuenco más profundo se establece como el punto de inflexión.