Cerebras lance une énorme puce de 22 cm pour l'entraînement de réseaux neuronaux

400 000 cœurs avec 18 Go de registres

Le domaine de l'"intelligence artificielle" (en pratique, juste des réseaux neuronaux profonds) nécessite d'énormes quantités de calculs, donc d'énergie : pour entraîner et optimiser les hyperparamètres d'un modèle (un total de 4789 tentatives, 239 942 heures de calcul), il faut entre cent et trois cent cinquante mille dollars (en louant de la puissance de calcul). En émissions de CO2 (méthodes de calcul dans l'article, section 2), on parle de 35 600 kg ; en comparaison, une voiture en émet, sur toute sa durée de vie, 57 000 kg.

L'entraînement de ces réseaux neuronaux a commencé sur des CPU, puis sur des cartes graphiques, avec une grande diminution des temps de calcul et de la consommation énergétique. Pour aller plus loin, une jeune société, Cerebras, propose de changer d'approche. Un CPU compte quelques milliards de transistors, des GPU jusqu'une vingtaine, le processeur de Cerebras monte à mille milliards de transistors, sur une puce bien plus grande (cinquante-six fois plus grande que le plus grand GPU actuel). Un seul tel processeur pourrait remplacer plusieurs centaines de GPU, notamment grâce à une grande réduction des communications entre processeurs.


Cette puce comporte une très grande quantité de mémoire : 18 Go de registres (SRAM) sur la puce ; une quantité aussi astronomique de cœurs de calcul : 400 000. En comparaison, la carte de calcul la plus superlative de NVIDIA (la T4) monte à 16 Go de mémoire (GDDR6, bien plus lente que de la SRAM) et 2560 cœurs. D'une certaine manière, cette puce est un interposeur sur silicium. À terme, la société envisage de vendre des serveurs complets construits autour d'une telle puce, plutôt que de les vendre à l'unité ou comme cartes d'extension ; aucun prix n'a encore été annoncé.

Ces puces sont fabriquées par TSMC, certains membres de la société en ont parlé comme des plus grandes puces jamais fabriquées. De manière générale, les puces sont fabriquées par photolithographie sur des galettes (circulaires) de silicium, d'un diamètre souvent de 300 mm : on ne peut placer qu'une seule puce de Cerebras sur une telle galette, par conception. D'habitude, on peut placer plusieurs centaines de puces sur une même galette ! Cette distinction a même fait que TSMC a dû adapter ses machines.

Source : To Power AI, This Startup Built a Really, Really Big Chip.