Taalas rzuca wyzwanie konwencjonalnemu projektowaniu chipów, osadzając całe modele AI bezpośrednio w krzemie

Zupełnie inna konstrukcja procesora osadza całe modele sztucznej inteligencji w krzemie, zapewniając niezwykle dużą prędkość i wydajność dla obciążeń wnioskowania nowej generacji.

Nowa architektura procesorów AI firmy Taalas rzuca wyzwanie konwencjonalnemu projektowi chipów, osadzając całe modele AI bezpośrednio w krzemie i radykalnie zwiększając wydajność i efektywność wnioskowania. Takie podejście eliminuje potrzebę tradycyjnych warstw wdrażania oprogramowania, umożliwiając natychmiastową reakcję i znacznie zmniejszając koszty operacyjne.


W przeciwieństwie do uniwersalnych procesorów graficznych i akceleratorów AI, dla których priorytetem jest elastyczność, ta architektura została stworzona z myślą o specjalizacji w jednym modelu. Każdy chip jest projektowany na zamówienie dla konkretnego modelu AI i łączy jego parametry i wagę z samym krzemem. Ta zmiana zwiększa wydajność o jeden do dwóch rzędów wielkości w porównaniu z istniejącymi rozwiązaniami.

Kluczowe funkcje obejmują:

Łączy kompletny model AI (wagi + parametry) bezpośrednio z krzemem
Zapewnia 10–100 razy wyższą wydajność wnioskowania niż procesory graficzne
Opóźnienie poniżej milisekundy przy ponad 14 tys. tokenów na sekundę
Nawet 100-krotnie niższy koszt na token w przypadku obciążeń wnioskowania
Szybki cykl rozwoju chipów (~2 miesiące na model)**
Procesor można opracować w ciągu dwóch miesięcy od premiery modelu, co umożliwia szybkie wdrożenie zoptymalizowanego sprzętu. Wczesne demonstracje wykazały opóźnienia poniżej milisekundy i przepustowość ponad 14 000 tokenów na sekundę w modelach narodowych, dzięki czemu wyniki pojawiają się niemal natychmiast.


Ten skok wydajności przekłada się również na duże korzyści ekonomiczne. Koszty wnioskowania są zredukowane do ułamka jednego procenta na milion tokenów – znacznie mniej niż w przypadku systemów opartych na procesorach graficznych – co potencjalnie umożliwia dostawcom usług w chmurze obsługę znacznie większej liczby żądań przy niższych kosztach.

Jednak projekt wiąże się z kompromisami. Koncentrując się na jednym modelu, chip traci możliwość programowania i nie można go używać do innych obciążeń. Chociaż ograniczona elastyczność może ograniczyć szersze zastosowanie, architektura jest ważnym krokiem w kierunku skrajnej specjalizacji w sprzęcie AI.

Rozwój ten oznacza rosnącą zmianę branży w kierunku krzemu specyficznego dla danej domeny, w przypadku którego wzrost wydajności i wydajności przewyższa zapotrzebowanie na obliczenia ogólnego przeznaczenia. Jeśli to podejście oparte na modelach będzie szeroko stosowane, może zmienić kształt infrastruktury sztucznej inteligencji, szczególnie w przypadku dużych obciążeń wnioskowania.