Gdy spojrzymy na kwadrat o boku długości około 21,5 cm, trudno uwierzyć, że mamy do czynienia z pojedynczym procesorem. Jednak właśnie taki gigantyczny układ scalony to główny bohater tej opowieści - Cerebras Wafer Scale Engine 3 (WSE-3), najnowsze dzieło firmy Cerebras.

Maksymalny teoretyczny rozmiar pojedynczego układu scalonego wynosi nieco ponad 800 mm², co stanowi granicę możliwości współczesnych maszyn litograficznych. Jak więc Cerebrasowi udało się stworzyć procesor wielkości krzemowego wafla? Odpowiedź kryje się w zastosowanej technologii "reticle stitching". Układ WSE-3 składa się z 84 mniejszych prostokątnych modułów, których krawędzie wypełnione są połączeniami komunikacyjnymi. Gdy moduły te zostaną ułożone obok siebie z wystarczającą precyzją, tworzą one spójną całość.

Produkcja dużych układów scalonych wiąże się z wyzwaniem związanym z defektami. Im większy chip, tym wyższe prawdopodobieństwo wystąpienia usterki, co skutkuje koniecznością odrzucenia całego egzemplarza. Cerebras poradził sobie z tym problemem w sprytny sposób - około 1,5% rdzeni w WSE-3 to nadmiarowe jednostki, które mogą zostać wyłączone bez wpływu na wydajność procesora. Dzięki temu niemal wszystkie wyprodukowane egzemplarze WSE-3 są w pełni sprawne.

Znaczna część z 4 miliardów tranzystorów w układzie została przeznaczona na 44 GB pamięci podręcznej. To ogromna ilość, biorąc pod uwagę, że w typowych akceleratorach AI mówimy zazwyczaj o setkach megabajtów. Choć każda z 84 części składowych WSE-3 powinna pracować głównie na własnej, lokalnej pamięci, umieszczenie tak dużej puli pamięci blisko jednostek obliczeniowych usuwa wiele wydajnościowych wąskich gardeł, które trapią wiele obliczeń związanych z zaawansowanymi symulacjami i trenowaniem dużych modeli SI. Ponadto takie rozwiązanie znacząco poprawia efektywność energetyczną całego układu - mimo że WSE-3 pobiera 24 kW energii, ograniczenie kosztownych energetycznie odwołań do zewnętrznej pamięci RAM pozwala znacznie zredukować całkowite zużycie energii.

Gdy w 2019 roku Cerebras zaprezentował światu pierwszą generację WSE, wzbudził podziw, ale też wiele wątpliwości co do realności tych zapowiedzi. Minęły niecałe cztery lata, a firma opracowała już dwie kolejne generacje tego procesora, z których każda jest jeszcze bardziej imponująca od poprzedniej. To rzadki przykład technologii rodem z filmów science-fiction, która stała się komercyjnym sukcesem.

Najnowszy WSE-3 to prawdziwy potwór wydajnościowy. Układ ten dysponuje aż 900 tysiącami rdzeni obliczeniowych, zajmujących powierzchnię ponad 400 cm². Moc obliczeniowa sięga zawrotnych 125 petaflopów, co czyni go niezwykle wydajnym narzędziem do trenowania największych istniejących modeli SI. Całość wyceniana jest na dziesiątki milionów dolarów, co stawia go poza zasięgiem większości klientów. Niemniej, Cerebras udowodnił, że pojedynczy procesor może dorównywać, a nawet przewyższać, wydajność superkomputerów.