TSJ Staff
La startup francesa ZML lanzó ZML/LLMD, un servidor gratuito de inferencia para modelos open source que corre sobre chips de Nvidia, AMD, Google TPU, Apple Metal e Intel Arc. La compañía, respaldada por Yann LeCun y financiada con 20M USD, busca que empresas y clouds mezclen hardware con menos lock-in y mejor eficiencia.
La startup francesa ZML lanzó ZML/LLMD como un producto gratuito para acelerar inferencia de modelos open source sobre una variedad de chips, incluidos los de Nvidia, AMD, Google TPU, Apple Metal e Intel Arc. La apuesta llega mientras la inferencia —el procesamiento de prompts— gana peso dentro del stack de IA y el lock-in de software y arquitectura sigue limitando qué hardware puede usarse.
Steeve Morin dijo que la ambición de LLMD es romper esos silos y permitir que distintos chips se usen a su máxima velocidad disponible y, en algunos casos, incluso más rápido. ZML apunta a que empresas y clouds puedan armar mezclas de hardware que resulten menos costosas o consuman menos energía.
“La idea es devolverle a la gente el poder de crear su propio sistema y lograr ganancias reales de eficiencia que permitan que la IA se difunda”, dijo Steeve Morin (founder).
Morin también sostuvo que ese soporte puede ayudar a nuevos fabricantes de chips de IA como Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud y VSORA. Aun así, aseguró que ZML mantiene una buena relación con Nvidia, que también se viene preparando para el auge de la inferencia. En ese mercado, ZML compite con Baseten, valuada en 13 mil millones de dólares, además de Inferact y RadixArk, la compañía comercial detrás de SGLang. Según Morin, tanto vLLM como SGLang compiten parcialmente con LLMD, aunque el alcance de ZML busca ir más allá y ya incluye trabajo de co-diseño de silicio.
ZML tiene como fundador a Steeve Morin (founder), quien previamente fue VP of engineering de Zenly, compañía que Snapchat adquirió por una cifra de nueve dígitos en 2017. La startup, con base en París, opera con un equipo de 20 personas y levantó 20M USD de 20VC de Harry Stebbings, >commit, AALVC, Drysdale Ventures, Kima Ventures de Xavier Niel, Kindred Capital, LocalGlobe y Puzzle Ventures. En su cap table también figuran Solomon Hykes, fundador de Dagger y Docker; Clément Delangue y Julien Chaumond, de Hugging Face; y Yann LeCun, ahora con AMI Labs.
A diferencia del primer proyecto público de ZML —un framework de ML enfocado en inferencia lanzado en 2024 y actualizado en marzo— ZML/LLMD no es open source. Por ahora sale gratis para medir uso antes de definir monetización. Para startups latinoamericanas que ya integran IA en producto u operaciones, una capa que permita combinar chips y reducir dependencia de un solo proveedor puede ampliar las opciones de infraestructura sin obligarlas a cambiar de modelos.