Creo que lo que estás buscando es geometría algebraica, que es mi área. La geometría algebraica es el estudio de las soluciones a los sistemas de ecuaciones polinómicas, un caso especial de las cuales son las ecuaciones cuadráticas. Los geómetras algebraicos están interesados en cosas como si un sistema tiene alguna solución, en cuántas piezas consta el conjunto de soluciones y si hay cruces y qué tan malos son esos cruces.
Sin embargo, hay un par de cosas que lo hacen un poco diferente del álgebra lineal. La primera es que los geómetras algebraicos generalmente estudian versiones proyectivas de ecuaciones, es decir, permiten soluciones que involucran el infinito. El segundo es que casi siempre consideran soluciones complejas en lugar de solo las soluciones que usan números reales. Esto da como resultado una teoría mucho más simétrica con menos casos especiales, pero hace que los resultados de la geometría algebraica sean menos aplicables inmediatamente.