Estoy en el último año (BE) haciendo Ingeniería en Computación trabajando en un grupo de 4 personas (incluyéndome a mí). ¿Alguna sugerencia para hacer mi proyecto de último año en Big Data y Hadoop?

Intente implementar un algoritmo de aprendizaje automático de Apache Mahout. Hay muchos datos, como los datos del banco mundial, disponibles de forma gratuita en línea. Elija un algoritmo de Mahout e intente implementarlo en un enorme conjunto de datos disponible. Puede usar Amazon Elastic Map Reduce o cualquier otro servicio de clúster en línea en caso de que no tenga una configuración de clúster.

Edit1: Entonces Mahout puede ser un poco complicado para algunas personas, así que lo desglosaré:

Paso 1: intente aprender a configurar una VM desde Cloudera of Hortonworks.

Paso 2: aprenda a configurar Pig, Hive, Flume y cualquier otro si tiene un requisito muy específico. Pig and Hive es un deber.

Paso 3: aprenda los conceptos básicos de HDFS, intente mover archivos de sistemas de archivos locales a HDFS, y simplemente obtenga la mano del sistema de archivos y navegue por él.

Paso 3: Intenta leer un archivo de prueba usando PIG y volcarlo en la consola de la pantalla. Juguete alrededor. Luego intente escribir en un sistema de archivos y, finalmente, en una tabla externa de Hive.

Paso 4: Ahora escriba un UDF de Java y llámelo a través de PIG. HAGA alguna transformación básica en sus datos como Substring o Concat o Sum. Esto sabrá cómo leer una tupla en Java y hacer algunas operaciones básicas en él. Nota: esto sería un UDF y no un MAP REDUCE algo.

Paso 5: Ahora que conoce los conceptos básicos de HDFS, PIG, HIVE y JAVA UDF, puede transferir un problema a Hadoop y hacer un proyecto 🙂

Paso 6: REGRESE e intente hacer esto.

Paso 7: UP vota la respuesta 🙂

Related Content

He visto a mucha gente temer la termodinámica durante su curso de ingeniería. Existen algunas personas que amaban la termodinámica en el nivel +2. ¿También comienzan a odiarlo mientras hacen ingeniería?

Soy un estudiante de último año de ingeniería informática y estoy interesado en tomar el IAS. ¿Cómo me preparo para el IAS sin entrenamiento?

Obtuve 319 en GRE (V: 152, Q: 167). Tengo el dilema de unirme a TCS a finales de este año o ir al extranjero para obtener un doctorado en Ingeniería Eléctrica, considerando asuntos financieros. ¿Para qué debo optar?

Soy un estudiante de segundo año que estudia en NIT Raipur en la rama de TI. ¿En qué tema debería centrarme más para obtener una buena posición en una empresa de TI?

Me uniré a un programa de posgrado de ingeniería química en el otoño. ¿Qué debo hacer durante el descanso que tengo?

A continuación se presentan sugerencias interesantes para comenzar.

  • Ejemplos de proyectos de Big Data
  • Recomendaciones de películas y más a través de MapReduce y Scalding
  • Pruebe los proyectos del Tutorial de Big Data de Hortonworks – Tutorial de Hadoop: Cómo analizar datos de máquinas y sensores
  • Aprenda a configurar el clúster de Hadoop con PC usadas e implemente proyectos de Big Data
  • Tome clases relacionadas con la ciencia de datos: guía del ingeniero de software para comenzar con la ciencia de datos, http://www.quora.com/How-do-I-become-a-data-scientist/answer/Ye-Zhao/quote/926537
Sameer Gupta

More Interesting

Si quiero tener algo colocado con precisión en uno u otro extremo de un riel largo o tornillo de avance, ¿cuál es la forma más sencilla y económica de hacerlo?

Soy un estudiante de ingeniería mecánica de segundo año pero amo los automóviles. ¿Cómo podría ser colocado en una buena compañía de automóviles?

Estoy obteniendo ingeniería informática en GNDU, Amritsar y biotecnología en NIT, Jalandhar. ¿Cuál debería preferir?

Me asignaron ingeniería de diseño automotriz en UPES DEHRADUN, ¿vale la pena tomarlo?

Me estoy volviendo para perder mi interés en la ingeniería. ¿Qué debo hacer para mantenerme ocupado?

Mi pistola de riel no funcionó. ¿Qué salió mal?

Estoy haciendo un B.Tech en el departamento de ingeniería de construcción de la Universidad de Jadavpur. Estaba muy contento con este departamento, pero una persona de alto perfil me dijo que cometí un gran error al elegir este departamento, ya que no habrá alcance después de 4 años. Ahora, me siento mal por esto. ¿Que puedo hacer?

Soy un estudiante universitario y mi mentor de proyecto tiene especialización en Vibración y Acústica. ¿Cuáles son los proyectos que puedo emprender bajo él?

He tomado ingeniería informática, ¿cuáles deberían ser mis pasos para convertirme en algo digno en lugar de ser un ratón de biblioteca?

Soy un estudiante de ingeniería de tercer año en la rama de informática. Actualmente soy un puntero 6. Incluso después de 2 años, no sé lo que realmente quiero hacer en el futuro. ¿Cómo puedo salvar la situación?