Un problema general de optimización es de la forma:
[matemática] \ min_ {x \ en \ matemática {X}} f (x) [/ matemática] st [matemática] x \ en C, C \ subseteq \ matemática {X} [/ matemática]
donde [math] \ mathcal {X} [/ math] es algún tipo de espacio estructurado y [math] f: \ mathcal {X} \ rightarrow \ mathbb {R} [/ math] es alguna función arbitraria. Un problema de optimización convexa es un caso especial de esto donde [math] \ mathcal {X} [/ math] es generalmente un espacio de Hilbert de dimensión finita, [math] f [/ math] es una función convexa y [math] C [/ / math] es un conjunto convexo.
En un curso de optimización convexa, generalmente se estudian los siguientes elementos:
- Conjuntos y funciones convexos, junto con sus propiedades.
- Dualidad
- Algunas formas de optimización convexa comúnmente conocidas y sus duales: programa lineal, programa cuadrático, programas de cono de segundo orden, programas semi-definidos, etc.
- Algunos algoritmos comúnmente conocidos para resolver estas formas conocidas
Aplicaciones:
Desde la perspectiva de ML, hay varios problemas que se consideran problemas de optimización convexa. Dos de los más populares son:
1] Clasificador: Máquina de vectores de soporte
2] Estimación de la razón de densidad: coincidencia media del núcleo
Si va a la lista de documentos aceptados de ICML 2012 [1] y busca la palabra “opción convexa”, se podrían ver al menos 5 o 6 documentos que trabajan con la optimización convexa y si busca “convexo”, hay varios más que tratan con diseño de funciones convexas con la intención de mejorar la optimización, ya sea en la complejidad del tiempo o en la simplificación del análisis.
- ¿Cómo una pequeña variación en la frecuencia resulta en un cambio considerable en el costo por unidad de electricidad?
- ¿Cómo se seleccionan los equipos de relevos de atletismo y natación de EE. UU. (Para los Juegos Olímpicos)?
- ¿Cuáles son algunas excelentes demostraciones introductorias de ingeniería eléctrica?
- ¿Cómo se puede explicar el circuito eléctrico debajo de las teclas de un teclado?
- Teoría del caos: ¿Cuáles son algunas aplicaciones recientes de sincronización caótica?
Esfuerzo requerido para comprender:
Dependiendo de la madurez matemática, podría ser desde “difícil pero manejable” hasta “se me pasó por la cabeza”.
Si un ingeniero estudia la optimización convexa:
Un ingeniero no necesita estudiar la optimización convexa. No es una parte necesaria para ser ingeniero. Sin embargo, a veces, es posible que te encuentres con un problema del mundo real que se puede plantear como un problema de optimización (bueno, si se cree a Stephen Boyd, cada problema del mundo real es un problema de optimización). En este caso, es útil conocer formas comunes de optimización convexa (punto 3 anterior), ya que permitirá reconocer si el problema de optimización que tienen es convexo o no. Si es convexo, pueden usar parte del software existente para resolverlos y obtener su solución.
[1] ICML 2012 – Documentos aceptados
ICML significa Conferencia Internacional sobre Aprendizaje Automático. Es una conferencia de renombre para la publicación de aprendizaje automático.