ElevenLabs una de las nuevas empresas más populares que trabajan en el Audio de IA Field, dijo haber recaudado una ronda de Serie C de $ 180 millones, valorando a la compañía en $ 3.3 mil millones. El crecimiento de A16Z e ICONIQ son una inversión co-líder.
Los números finales confirman algunos, pero no todos los detalles que informamos anteriormente. Específicamente, el tamaño general de la ronda es más pequeño de lo que se había escuchado siendo la valoración y los inversores principales son los mismos.
La financiación se utilizará para continuar construyendo las herramientas de audio de ElevenLabs y para el desarrollo de negocio.
Mati Staniszewski, el CEO que cofundó la compañía con el amigo de la infancia Piotr Dabkowski, dijo en una entrevista que la startup está enfocando su investigación en la creación de modelos de IA de audio que son más expresivos y tienen más control. Staniszewski agregó que la compañía también se está centrando en los «modelos omni»: combinar modelos basados en texto con sus modelos de audio para interacciones multimodales.
Ha habido un frenesí de interés en los inversores en ElevenLabs que se remonta a varios meses, en dos corrientes importantes. Primero, ha habido una gran ola de exageración en torno a la IA generativa que ha estado atrapando a muchas compañías a su paso. En segundo lugar, ElevenLabs se ha convertido en un jugador importante entre los que proporcionan tecnología de voz sintética. Docenas de editores importantes y creadores de contenido en verticales como medios y juegos, así como varias otras nuevas empresas tecnológicas, están utilizando la tecnología de ElevenLabs para alimentar sus características de voz y audio.
Como era de esperar, eso se ha traducido en una ronda de financiación llena con muchos nombres destacados.
Los nuevos inversores en esta serie C incluyen NEA, World Innovation Lab (WIL), Valor, Endeavour Catalyst Fund y Abu Dhabi Investment Firm Lunate. Los inversores anteriores que también participan incluyen Sequoia Capital, Salesforce Ventures, Smash Capital, SV Angel, NFDG y Broadlight Capital.
Junto a estos, ElevenLabs también está recogiendo varios patrocinadores estratégicos nuevos, es decir, compañías que usan su tecnología que ahora también está invirtiendo en TI también. Estos incluyen Deutsche Telekom, LG Technology Ventures, Hubspot Ventures, NTT Docomo Ventures y RingCentral Ventures.
El socio de ICONIQ, Seth Pierrepont, se unirá a la junta de la compañía, junto con los miembros de la junta existentes Jennifer Li de A16Z y los cofundadores de la compañía.
ICONIQ ha aumentado sus actividades en torno a las nuevas empresas generativas de IA. Por ejemplo en la producción escrita, la firma también co-lideró una ronda de $ 200 millones en Writer en noviembre pasado.
«Siempre hemos sentido que el audio es una modalidad muy importante, y pensamos que habrá una compañía muy grande construida en esta categoría», dijo Pierrepont. «Hemos observado ElevenLabs desde su lanzamiento, y nos impresionó la calidad de la tecnología, cuán rápido ascendió en términos de mentalidad e impulso, y la profundidad de la experiencia de los fundadores».
Pierrepond agregó que, como miembro de la junta, muchas de las conversaciones con la compañía estarán en torno a crear nuevos casos de uso para el audio y encontrar los mercados adecuados para ello.
En un momento en que las nuevas empresas todavía les resulta difícil cerrar rondas de crecimiento, es notable que Elevenlabs recaudó su ronda de la Serie B de $ 80 millones, lo que lo valoró en $ 1 mil millones, hace solo un año. Elevenlabs ha recaudado un total de $ 281 millones hasta la fecha.
La hoja de ruta del producto
Además de un enfoque en mejorar sus modelos de IA, la compañía planea utilizar los fondos para aumentar su constructor de IA conversacional con la ambición de llegar a más consumidores directamente y a través de asociaciones.
El año pasado, la compañía debutó una plataforma de agente de conversación de IA, y una parte clave de ese producto estaba desarrollando un componente de voz a texto. Staniszewski señaló que la compañía quiere mejorar en ese área mucho más.
“Queremos entender lo que se dice mejor en una conversación. Estamos trabajando en formas de alejarnos de solo generar contenido y comprensión y transcribir el discurso ”, dijo Staniszewski. “Muchas personas dicen que el habla a texto es un problema resuelto. Pero para muchos idiomas, es bastante malo. Creemos que podemos construir mejores modelos de detección de voz porque tenemos equipos internos para anotar datos y darnos respuestas rápidas «.
La compañía también quiere duplicar la creación de agentes de conversación con AI al apoyar las comunicaciones heredadas como la telefonía e integrar mejor los diferentes tipos de fuentes de conocimiento. Este es el motivo por el que se está asociando con las telecomunicaciones en esta ronda.
También está siendo utilizado por sus clientes para aprovechar sus propios archivos. El año pasado, ElevenLabs se asoció con TIME para implementar un bot conversacional para que los usuarios hagan preguntas sobre la persona de TIME del año.
Staniszewski dijo que la compañía imagina más agentes de IA conversacionales: en los sitios de noticias, por ejemplo, los usuarios podrían hacer preguntas sobre historias o pedirle al bot que las resumiera.
El CEO también señaló que si bien la calidad de los bots de voz con IA ha mejorado, el problema de sonar natural mientras reacciona a los humanos que hablan o emotan de diferentes maneras aún no se ha resuelto.
“La forma en que te hablo impacta cómo reaccionas o me respondes. A veces, estaré emocionado, o a veces, estaré tranquilo y, a veces, te interrumpiré. Me responderás en consecuencia. Las soluciones de IA de la generación actual están a punto de ser buenas, pero no son tan buenas como los humanos ”, dijo Staniszewski.
Pierrepont de ICONIQ también enfatizó que si la AI no lo entiende bien cuando está hablando, la comunicación de la máquina se descompone y los usuarios inmediatamente pierden interés.
ElevenLabs ha aumentado principalmente su alcance, y embudo de ingresos, a través de asociaciones B2B. Pero también está saliendo al mercado con oferta directa.
En 2024, la startup lanzó su primer producto puramente orientado al consumidor, ElevenLabs Reader, una aplicación que lee artículos, texto y documentos. Más tarde, la compañía agregó la capacidad de crear un podcast con voces de IA generativas a partir de documentos y páginas web, no muy diferente de lo que puede hacer con el cuaderno de Google. Staniszewski dijo que quiere expandirse a más experiencias de los consumidores.
La compañía ha estado probando con la aplicación Elevenlabs Reader que invita a los usuarios a publicar audiolibros en la plataforma. La compañía también quiere dar herramientas a los creadores para que múltiples voces lean un audiolibro en el futuro y al mismo tiempo creen una mejor localización.
Staniszewski señaló que la compañía está descubriendo formas para que los usuarios y las empresas distribuyan mejor su contenido, incluso en su propia aplicación. Si eso lo lleva a una competencia directa real con sus clientes será algo para ver en el futuro. Esa ha sido una razón por la cual muchas compañías de tecnología B2B prefieren mantenerse alejadas de las reproducciones directas al consumidor. En particular, ElevenLabs impulsa la tecnología de voz para plataformas de contenido de audio como FM de bolsillo respaldado por Lightspeed y Kuku FM respaldado por Google.
Elevenlabs ya es el audio generado por IA en productos y plataformas como Perpleity, Rabbit R1, Chess.com, ESPN, Lex Fridman Podcast, The Atlantic y Synthesia. El objetivo de la compañía es estar en más clientes y también poseer elementos de conversación de extremo a extremo para que pueda generar más experiencias e ideas para sus clientes.
Seguridad
No todos lo que hay alrededor de ElevenLabs esta recubierto de plata: su tecnología ha sido implicada en algunas campañas de información errónea notable. Un informe reciente de la compañía de inteligencia de amenazas Future descubrió que el producto de la compañía se usaba en una operación de propaganda rusa. El año pasado, alguien usó la plataforma de voz de la compañía para crear un audio de Joe Biden. En 2023, Vice informó que los miembros de 4chan supuestamente usaron la herramienta de generación de audio AI para crear voces que sonaban como Joe Rogan, Ben Shapiro y Emma Watson para difundir contenido problemático.
Pero la compañía ha respondido rápidamente. Hoy, tiene una política que prohíbe «suplantación no autorizada, dañina o engañosa». Además, utiliza una mezcla de moderación humana dirigida por máquina para eliminar dicho contenido. Sin embargo, a medida que la compañía aumenta su conjunto de herramientas y tiene puntos de contacto de consumo más directos, abre la puerta a más oportunidades para que los actores maliciosos busquen formas de usarlo para sus actividades maliciosas.
“Una de las premisas del trabajo de audio de IA, y tratado como nuestra responsabilidad, es desarrollar el mecanismo de seguridad adecuado a medida que construimos la tecnología. Con frecuencia tomamos decisiones para priorizar la seguridad sobre la velocidad de implementación o beneficio comercial ”, dijo Staniszewski.
Staniszewski agregó que si bien la compañía sigue a C2PA, un estándar para rastrear contenido con metadatos, también tiene una herramienta pública. Eso permite a cualquiera verificar si el audio se generó a través de la tecnología ElevenLabs utilizando firmas digitales que coloca en el audio durante la generación. Yambién es una línea que continúa desarrollándose en el tiempo, ya que los enfoques para el mal uso también se vuelven más sofisticados.
