SANTA CLARA, California.- La construcción de la actual generación de chatbots de inteligencia artificial ha dependido de microprocesadores especializados, pioneros de Nvidia, que ha dominado el mercado y se ha convertido en el emblema del auge de la inteligencia artificial.
Sin embargo, las mismas cualidades que hacen que esos chips de procesador gráfico (GPU), sean tan efectivos para crear sistemas de inteligencia artificial potentes desde cero, los hacen menos eficientes al poner productos de IA en funcionamiento. Esto ha abierto la industria de chips de IA a rivales que creen que pueden competir con Nvidia en la venta de los llamados chips de inferencia de IA, que están más sintonizados con el funcionamiento diario de las herramientas de IA y diseñados para reducir algunos de los enormes costos de la inteligencia artificial generativa.
“Estas compañías están viendo oportunidades para ese tipo de hardware especializado”, dijo Jacob Feldgoise, analista en el Centro de Tecnología y Seguridad Emergente de la Universidad de Georgetown. “Cuanto más amplia sea la adopción de estos modelos, más cálculos serán necesarios para la inferencia y mayor será la demanda de chips de inferencia”.
¿Qué es la inferencia de IA?Se necesita mucha potencia de cálculo para hacer un chatbot con inteligencia artificial. Comienza con un proceso llamado entrenamiento o preentrenamiento —la “P” en ChatGPT— que implica que los sistemas de IA “aprendan” de los patrones de enormes cantidades de datos. Los GPU son buenos para hacer ese trabajo porque pueden ejecutar muchos cálculos a la vez en una red de dispositivos que se comunican entre sí.
Sin embargo, una vez entrenada, una herramienta de IA generativa todavía necesita microprocesadores para hacer el trabajo, como cuando le pides a un chatbot que componga un documento o genere una imagen. Ahí es donde entra la inferencia. Un modelo de IA entrenado debe tomar nueva información y hacer inferencias a partir de lo que ya sabe para producir una respuesta.
Los GPU también pueden hacer ese trabajo, pero puede ser un poco como usar un martillo para romper una nuez.
“Con el entrenamiento, estás haciendo un trabajo mucho más pesado, mucho más trabajo. Con la inferencia, es más ligero”, dijo Alvin Nguyen, analista de Forrester.
Esto ha llevado a startups como Cerebras, Groq y d-Matrix, así como a los rivales tradicionales de Nvidia —como AMD e Intel— a ofrecer chips más amigables para la inferencia mientras Nvidia se concentra en satisfacer la enorme demanda de las grandes empresas tecnológicas por su hardware de gama alta.
Dentro de un laboratorio de semiconductores de inferencia d-Matrix, que está lanzando su primer producto esta semana, fue fundada en 2019 —un poco tarde en este juego— como explicó el director general Sid Sheth durante una entrevista reciente en la sede de la compañía en Santa Clara, California, la misma ciudad del Silicon Valley que también alberga a AMD, Intel y Nvidia.
“Ya había más de 100 compañías. Así que cuando salimos, la primera reacción que obtuvimos fue ‘llegas demasiado tarde’”, dijo. La llegada de la pandemia seis meses después no ayudó, ya que la industria tecnológica se orientó hacia un enfoque en el software para servir al trabajo remoto.
Ahora, sin embargo, Sheth ve un gran mercado en la inferencia de IA, comparando esa etapa posterior del aprendizaje automático con cómo los seres humanos aplican el conocimiento que adquirieron en la escuela.
“Pasamos los primeros 20 años de nuestras vidas yendo a la escuela, educándonos. Eso es entrenamiento, ¿verdad?”, dijo. “Y luego los siguientes 40 años de tu vida, sales y aplicas ese conocimiento, y luego te recompensan por ser eficiente”.
El producto, llamado Corsair, consta de dos chips con cuatro chiplets cada uno, fabricados por Taiwan Semiconductor Manufacturing Company, el mismo fabricante de la mayoría de los chips de Nvidia, y empaquetados juntos de manera que ayuda a mantenerlos frescos.