Dozer ayuda a crear aplicaciones de datos en tiempo real ‘en minutos’

Los datos son uno de los mayores recursos del mundo, sustentando desde motores de recomendación de video y banca digital, hasta la floreciente revolución de la IA. Pero en un mundo donde los datos se distribuyen cada vez más entre ubicaciones, desde bases de datos hasta almacenes de datos, lagos de datos y más, combinarlos en un formato compatible para usar en escenarios en tiempo real puede ser una tarea gigantesca.

Las aplicaciones que no requieren acceso instantáneo a datos en tiempo real pueden simplemente combinar y procesar datos en lotes a intervalos fijos. Este «procesamiento de datos por lotes» puede ser útil para cosas como el procesamiento de datos de ventas mensuales. Pero a menudo una empresa necesita acceso en tiempo real a los datos a medida que se crean, y esto podría ser fundamental para el software de atención al cliente que se basa en información actual sobre todas y cada una de las ventas, por ejemplo. En otros lugares, las aplicaciones de transporte también necesitan procesar todo tipo de puntos de datos para conectar a un pasajero con un conductor; esto no es algo que pueda esperar unos días. Este tipo de escenarios requiere lo que se conoce como «procesamiento de datos de flujo», donde los datos se recopilan y combinan para el acceso en tiempo real, algo que es mucho más complejo de configurar.

Y esto es algo que Dozer se propone abordar, impulsando APIs rápidas de solo lectura directamente desde cualquier fuente a través de un backend de infraestructura de datos plug-and-play.

Dozer es la obra de Vivek Guadapuri y Mateo Pelati, que fundó la empresa desde su base en Singapur hace casi un año. El dúo ha creado un equipo distribuido de 10 en Asia y Europa del Este mientras se preparan para expandirse más allá del producto actual. Las fuentes disponibles (es decir, no del todo de código abierto) ofrece un producto totalmente monetizable.

Dozer ha estado probando su producto con un puñado de socios de diseño no revelados, y hoy está emergiendo del sigilo para que cualquier desarrollador pueda acceder. La compañía también reveló que ha recaudado $ 3millones en fondos iniciales de Sequoia Capital (a través de su programa Aumento ), de Google, Gradient y January Capital.

Amplia cobertura

Ya existen innumerables herramientas diseñadas para transformar, integrar y aprovechar los datos distribuidos, incluidas las bases de datos de transmisión y las herramientas ETL (extraer, transformar, cargar) como Apache Flink, Airbyte y Fivetran; capas de almacenamiento en caché para el almacenamiento de datos transitorios como Redis; y APIs instantáneas impulsadas por Hasura o Supabase para canalizar datos entre sistemas.

Dozer, por su parte, funciona en todas estas diversas categorías, adoptando lo que considera que son las mejores partes y eliminando la fricción que conlleva la construcción de la infraestructura y las tuberías que sustentan las aplicaciones de datos en tiempo real.

Los usuarios conectan Dozer a su pila de datos existente, que puede incluir bases de datos, almacenes de datos y lagos de datos, y Dozer se encarga de la extracción, el almacenamiento en caché y la indexación de datos en tiempo real, y los muestra a través de API de baja latencia. Entonces, mientras soluciones como Airbyte o Fivetran ayudan a incluir datos en un almacén de datos, Dozer se enfoca en el otro lado: «hacer que estos datos sean accesibles de la manera más eficiente», explicó Gudapuri.

Gudapuri dijo que Dozer “adopta un enfoque obstinado”, uno que aborda problemas muy específicos y nada más. Por ejemplo, las bases de datos de transmisión existentes resuelven muchos problemas mucho más allá de lo que ofrece Dozer, que se trata de brindar actualizaciones de datos en tiempo real y API en un solo producto.

“Resolvemos la cantidad justa de problemas en cada una de estas categorías para ofrecer una experiencia de construcción rápida para los desarrolladores, así como un rendimiento listo para usar”, dijo Gudapuri. “Los desarrolladores (actualmente) tienen que integrar varias herramientas para lograr lo mismo”.

A modo de ejemplo, una base de datos de transmisión existente probablemente intentará presentar la experiencia completa de la base de datos al usuario, motor de consulta, exploración de datos, OLAP (procesamiento analítico en línea), etcétera. Dozer deliberadamente no ofrece estas cosas, sino que se enfoca en lo que Pelati llama «vistas precalculadas» usando SQL, Python y JavaScript, y todas accesibles a través de baja latencia. GRPC y REST API.

Y es por esta razón, dice Pelati, que Dozer puede prometer una mejor latencia de consulta de datos.

“Debido a estas opciones de diseño, Dozer ofrece una latencia de consulta muy superior que es necesaria para las aplicaciones orientadas al cliente”, dijo Pelati. “Un solo desarrollador puede activar aplicaciones de datos completas en minutos, lo que normalmente llevaría meses de esfuerzo. Un equipo no tiene que crear y mantener varias integraciones para ahorrar tiempo y dinero”.

El (no del todo) factor de código abierto

Si bien Dozer se promociona como una plataforma de «código abierto», un rápido vistazo a su licencia en GitHub revela que utiliza un Licencia elástica 2.0 (ELv2), la misma licencia de la herramienta de búsqueda Elastic adoptada hace dos años como parte de su transición lejos de un verdadero código abierto. De hecho, la licencia de Elastic no se reconoce como fuente abierta ya que evita que terceros tomen el software y lo ofrezcan ellos mismos como un servicio alojado o administrado.

Más exactamente, ELv2 puede llamarse una licencia de «fuente disponible», lo que efectivamente significa que ofrece muchos de los beneficios de una licencia de fuente abierta más permisiva. como la del MIT, incluida la transparencia de la base de código, la capacidad de ampliar las capacidades de Dozer o ajustar funciones y corregir errores. Es probable que esto por sí solo sea suficiente para ganarse los corazones y las mentes de las empresas de todos los tamaños, siempre que no sea AWS o algún otro gigante de la nube que busque monetizar directamente encima de Dozer.

Sin embargo, la compañía dijo que tiene la intención de cambiar a una licencia dual «muy pronto», donde todo en el proyecto central Dozer será MIT-con licencia excepto para «un módulo central». Además, la compañía se apresura a enfatizar que todas sus bibliotecas de clientes ya cuentan con la licencia del MIT, incluidas Phyton, Dozer-react y JavaScript.

Vale la pena señalar que algunas empresas han creado herramientas internas para resolver un problema similar al que está abordando Dozer, como Netflix que construyó soluciones con Dozer varios años atrás. En particular, uno de los principales creadores detrás de Bulldozer, Ioannis Papapanagiotou ahora trabaja como asesor de Dozer.

Todavía es pronto para Dozer, pero con $3 millones en el banco de una gran cantidad de patrocinadores de alto perfil, la compañía está bastante bien financiada a medida que avanza hacia la comercialización, que incluirá la introducción de una versión SaaS alojada repleta de un montón de características adicionales. Gudapuri dijo que espera que esto entre en funcionamiento en los próximos meses.

“El servicio alojado se encargará del escalado automático, las implementaciones instantáneas, la seguridad, el cumplimiento, la limitación de velocidad y algunas características adicionales”, dijo Gudapur