¿Cómo es ser un científico de datos en una unidad de computación de alto rendimiento (HPC) en una universidad importante?

No nos llamamos científicos de datos.

En mi país (PH) y mi universidad (Ateneo), lo comenzamos. Fue solo una banda de usuarios de HPC de varios departamentos que agruparon sus fondos para construir un recurso de HPC compartido. Teníamos pocos fondos.

Tuvimos la gente de química con su herramienta de modelado molecular. La gente de ciencias ambientales y física con su herramienta de modelado climático. Tuvimos el partido amigos con sus Black Scholes y el trabajo de tejido de redes. Estaba con los matemáticos en ese momento.

Pasamos la mayor parte de nuestro tiempo obteniendo, trabajando y limpiando datos. Hubo mucha prueba y error inicialmente al intentar varios enfoques en la literatura para obtener el enfoque correcto.

Para nosotros fue simple. Podríamos permitirnos un grupo más grande si trabajáramos juntos. A medida que pasaba el tiempo, la supercomputación se hizo más barata y los problemas en los que estábamos trabajando no requerían el mismo crecimiento en potencia informática. También tienes los problemas de “es mi turno y deja de acaparar recursos”. Entonces menos incentivo para seguir compartiendo. Entonces cada uno tiene su propio nuevo. Algunos, como la gente de informática, ahora están ejecutando trabajos en AWS.

En un corto período de tiempo, he visto a HPC pasar de un arte arcano con algunos seguidores a una oferta de productos que cualquier persona con una tarjeta de crédito puede tener en sus manos.

La principal diferencia es que los casos de uso continúan siendo los principales impulsores del uso de HPC. La ingeniería de estos sistemas es secundaria.