Todo el concepto de big data, o datos totales, y cómo recopilarlo y llevarlo al lago de datos puede sonar aterrador, pero se vuelve menos si divide el problema de recopilación de datos en subconjuntos.
- Datos de fuentes tradicionales: sus sistemas de contabilidad transnacionales, sistemas de recursos humanos, etc., ya se están utilizando como fuentes de datos para análisis. Los procesos ETL ya están implementados para Big Data, Data Science – Clases de capacitación de cursos combinados en línea | Big Data, Data Science: los cursos combinados de cursos en línea recopilan estos datos. Básicamente terminas con dos opciones. Duplique estos procesos ETL, intercambie el objetivo del EDW al lago de datos, o replique su EDW en el lago de datos, copiando físicamente los datos o abrazando virtualmente la arquitectura del lago de datos virtual (una variación del almacén de datos virtual) .
- Datos estructurados de Internet de las cosas: la principal complejidad con el sensor y otros datos de la máquina es el volumen y el rendimiento requerido para una ingestión adecuada y oportuna. Pero estos datos suelen estar muy estandarizados y los requisitos de transformación de datos anteriores no son inmensos.
- Datos no estructurados: la recopilación de archivos multimedia, los datos textuales es una cosa que facilitan las plataformas de big data como Hadoop. Debido a que su almacenamiento no tiene esquemas, todo lo que se necesita es realmente “volcar” estos datos en el lago de datos y resolverlos más tarde.
Dadas las herramientas ETL adecuadas y las API / conectores, así como el rendimiento correcto, la recopilación de grandes datos no es la parte más difícil de la ecuación de grandes datos.
Almacenamiento de datos
Las plataformas de Big Data son polimorfos: pueden almacenar todo tipo de datos, y estos datos se pueden representar y acceder a ellos a través de diferentes prismas. Desde el simple almacenamiento de archivos hasta las bases de datos No-SQL de consistencia relajada hasta las bases de datos relacionales de tercera forma normal e incluso de quinta norma, desde la lectura directa hasta el acceso de estilo columnar al SQL transnacional, hay una respuesta para cada almacenamiento y acceso a datos necesitar.
- ¿Es común que la CIA envíe personas para obtener más títulos de maestría?
- ¿Caltech está a la par con universidades como MIT, Harvard y Stanford? Estoy pensando principalmente en las oportunidades de carrera para estudiantes de pregrado en carreras STEM, pero las respuestas más amplias son bienvenidas.
- ¿Qué se siente ser un estudiante de UC Berkeley?
- ¿Cómo se puede encontrar la educación de nivel superior a bajo precio?
- ¿Existe una correlación entre el nivel de educación y el uso de BCE / CE sobre BC / AD?