Cloudera se convirtió rápidamente en un líder en el gran mercado de datos después de su lanzamiento en 2008. Así es como convirtió a Hadoop en un centro de datos empresarial.
En la década de 2000, los grandes datos rápidamente se convirtieron en la moneda de las empresas tecnológicas de Silicon Valley. Las empresas estaban produciendo datos de nuevas maneras y la ley de Moore hizo que el almacenamiento fuera lo suficientemente barato como para conservar esos datos. Aún así, había un problema. La recolección de datos por el bien de los datos, sin ninguna forma de procesarlos o analizarlos, hizo que esos datos fueran esencialmente inútiles.
Mientras que el proyecto de código abierto Hadoop comenzaba a ganar fuerza, Cloudera se lanzó en 2008 y comenzó a dirigirse a clientes empresariales para implementaciones especializadas del software. Cloudera rápidamente se convirtió en uno de los principales proveedores de Hadoop y sigue creciendo.
Mike Olson, el director de estrategia y cofundador de Cloudera, dijo que el valor no siempre estaba claro en los primeros días y que el equipo a menudo tenía que evangelizar a Hadoop y a los grandes datos.
«Cuando empezamos éramos una voz en el desierto», dijo Olson. «Nadie había oído hablar de la plataforma. Nadie entendía por qué importaban los grandes datos».
Ahora el ecosistema de socios de Cloudera es enorme. Olson dijo que la compañía tiene más de 1.000 socios que proporcionan herramientas y servicios. Según Olson, gran parte de lo que estamos viendo ahora es un «cambio generacional» en la forma en que las empresas están pensando en los datos, y Cloudera es uno de los terremotos que está impulsando ese cambio.
La empresa
Olson pasó 25 años trabajando en la industria de bases de datos, trabajando para compañías como Informix y Oracle. Su primer encuentro con Hadoop no fue el momento que uno esperaría de un fundador.
«A principios de la década de 2000, Google inventó esta tecnología que se convirtió en Hadoop de código abierto, para procesar básicamente toda la información en Internet», dijo Olson. «Era una ambición audaz para Google en ese momento. Todos nosotros, los de la base de datos, sabíamos que era físicamente imposible construir ese tipo de cosas. Google no se dio cuenta de eso y siguió adelante y lo hizo».
A lo que Olson se refiere son dos tecnologías fundamentales en las que Google estaba trabajando en ese momento. En 2003, Google publicó un artículo sobre su Sistema de Archivo de Google (GFS) y, en 2004, Google publicó un artículo sobre MapReduce. GFS es un sistema de archivos distribuido y el documento describe MapReduce como: «un modelo de programación e implementación asociada para procesar y generar grandes conjuntos de datos.»
Luego, Doug Cutting y Mike Cafarella crearon Hadoop, llamado así por el elefante de juguete del hijo de Cutting, y basado en la investigación publicada por Google. Hadoop fue rápidamente adoptado por compañías como Facebook, Yahoo y Amazon para el análisis de datos a gran escala.
Esto despertó el interés de Olson por los grandes datos, por lo que comenzó a trabajar en una empresa que haría uso de la plataforma Hadoop. Christophe Bisciglia de Google, Amr Awadallah de Yahoo y Jeff Hammerbacher de Facebook estaban trabajando individualmente en proyectos similares hasta que los cuatro fundadores se reunieron y decidieron unir sus fuerzas.
«Nos unimos durante el verano, nos convencimos de que podíamos comenzar una compañía juntos, en lugar de cuatro compañías por separado, escribimos un documento de estrategia y una cubierta de recaudación de fondos a principios del otoño y cerramos una ronda de la Serie A con inversores de capital de riesgo en el Valle, Accel Partners, en octubre de 2008», dijo Olson.
Poco después de recaudar 5 millones de euros de Accel, la crisis económica golpeó con todo su poder en Silicon Valley y la financiación de nuevas empresas se ralentizó. Esto le dio a Cloudera una ventaja estratégica en el gran espacio de datos.
«Básicamente, teníamos dinero y no teníamos competencia para encontrar la forma de ir al mercado con este producto. De ahí es de donde realmente vino el negocio», dijo Olson.
Olson sostiene que el objetivo de Cloudera sigue siendo el mismo: tomar la magia del procesamiento de datos de Hadoop y ponerla a disposición de las empresas más tradicionales. Todo el mundo es capaz de conseguir grandes cantidades de datos y ahora procesar y analizar esos datos es un verdadero problema para la mayoría de las organizaciones.
Ping Li, socio de Accel, dijo que la clave del éxito de Cloudera fue darse cuenta de que el gran procesamiento de datos no era sólo un problema para las empresas de Internet, sino que era algo a lo que se enfrentarían todas las empresas. Al principio, Hadoop era una forma escalable y rentable de almacenar y procesar grandes cantidades de datos que no encajan en columnas y filas, y Cloudera fue capaz de hacer que funcionara para los clientes empresariales.
«Lo que Cloudera ha hecho es tomar Hadoop y convertirlo en el centro de datos empresarial (EDH)», dijo Li. Señaló que Hadoop es un componente importante del mismo, pero las empresas necesitan más servicios, como seguridad, aprovisionamiento y gestión. Cloudera básicamente tomó Hadoop como una herramienta y la hizo lista para la empresa.
Gran éxito de los datos
Una de las razones más evidentes del éxito de Cloudera es el equipo fundador detrás del producto. El pedigrí de talento entre los cuatro fundadores es alto y Olson dijo que sus habilidades individuales se complementan muy bien. Este nivel de habilidad también se extiende al resto del equipo. Olson dijo que, si tenía que atribuir el éxito de Cloudera a una cosa, sería al talento del equipo en su conjunto.
«Hemos contratado muy bien», dijo. «Hemos logrado atraer a grandes personas que han hecho un excelente trabajo, y que también han servido como fuerza gravitacional para atraer a otras grandes personas a nuestra órbita.»
Li se hizo eco de este sentimiento y añadió que una gran parte de la estrategia de reclutamiento de Cloudera es encontrar personas comprometidas con la comunidad de código abierto.
«Al principio de la historia de la compañía, los fundadores reclutaron a Doug Cutting, el creador de Hadoop, para la compañía», dijo Li. «Y luego trajeron a muchos committers de código abierto y, hasta el día de hoy, esa sigue siendo una gran parte del equipo de I+D porque gran parte de la tecnología es de código abierto».
Además del equipo, gran parte del éxito de Cloudera puede atribuirse a la sincronización. No sólo tenían poca o ninguna competencia en 2008, sino que se enfrentaban a una oportunidad de mercado potencialmente explosiva. Hadoop llegó en el momento justo. Muchas de las grandes empresas de tecnología estaban utilizando Hadoop en ese momento para revisar los datos que tenían, así que quedó claro que lo que Li llamaba «el diluvio de datos» era un problema que necesitaba ser resuelto en la empresa.
«La disponibilidad de estos datos a escala es algo nuevo», dijo Olson. «En la década de los 90, ponerle las manos encima a un terabyte era difícil. Hoy en día, no tener en tus manos un terabyte es difícil. Hay tanta información disponible que la gente se siente abrumada por ella».
Por supuesto, la forma en que las empresas ven los datos ha cambiado drásticamente desde que Cloudera comenzó su andadura. Las ofertas de Cloudera cambiaron en función del mercado y hay dos áreas clave en las que Olson dijo que la empresa es líder en el mercado y que, por lo tanto, está liderada por el mercado:
- Capacidad de gestión empresarial. Dado que Hadoop nació en la Internet de consumo, la demanda de funciones de seguridad como el cumplimiento de PCI y la gestión de claves se volvió crítica. Saber de dónde procedían los datos y quién había podido tocarlos también se convirtió en un requisito urgente que llevó a Cloudera a incorporar esos detalles en su centro de datos empresarial.
- Proceso y análisis de datos. La puesta a disposición de los datos de nuevas formas y la apertura de cargas de trabajo analíticas y de procesamiento han hecho que los datos sean más valiosos.
Según Olson, los datos le van a importar a la sociedad de maneras que nunca antes habían sido posibles. Tenemos la capacidad de instrumentar cosas que antes no podíamos con el uso de sensores y herramientas de medición, y que afectarán la forma en que el mundo ve los datos en el futuro.
«Si usted piensa que los datos grandes han sucedido ahora, espere hasta que todos los sensores del edificio en la ciudad de San Francisco se despierten un día y estén en una red, y de hecho podemos tener en nuestras manos esos datos», dijo Olson. «Esa explosión de datos aún no ha comenzado.»