UA EN ES

TOPS: jak mierzy się moc AI w chipach

TOPS (Trillions of Operations Per Second) to liczba bilionów prostych operacji obliczeniowych na sekundę, jakie może wykonać procesor neuronowy lub inny akcelerator AI. Tą liczbą producenci chwalą się mocą AI w smartfonach i laptopach.

TOPS jak prędkość maksymalna na prędkościomierzu

Prostymi słowami

TOPS jest jak prędkość maksymalna na prędkościomierzu auta. 250 km/h wygląda imponująco, ale rzadko tak jedziesz, a dużo zależy od drogi, opon i kierowcy. Z TOPS jest tak samo: to szczytowa liczba teoretyczna, a prawdziwa szybkość AI zależy od programów, pamięci i tego, jak dokładnie liczono.

Jak to działa

  1. Procesor neuronowy mnoży i dodaje liczby - to podstawa działania sieci neuronowych.
  2. Producent liczy, ile takich operacji chip zrobi na sekundę przy maksymalnym obciążeniu.
  3. Bilion operacji na sekundę = 1 TOPS.
  4. Liczbę często podaje się dla krótkich liczb (INT8 lub INT4) - wtedy wychodzi większa.
  5. Prawdziwa szybkość funkcji AI zależy też od pamięci i optymalizacji aplikacji.

Moc AI w laptopach i smartfonach

Gdzie to zobaczysz

TOPS podaje się w specyfikacjach chipów do smartfonów, tabletów i laptopów (przy „AI PC” często wspomina się próg 40 TOPS dla NPU). Także w opisach akceleratorów do robotów, kamer i samochodów.

Czy to ważne przy wyborze

W laptopie z funkcjami AI Windows - tak, są tam minimalne wymagania wobec NPU. W smartfonie - mniej, bo ważniejsze jest, jakie funkcje AI naprawdę są. Porównuj TOPS tylko między chipami jednego producenta i tej samej precyzji. Między markami kierowałbym się testami konkretnych funkcji.

Mity

  • Mit: Więcej TOPS to zawsze szybsze funkcje AI. W rzeczywistości: Nie zawsze: dużo zależy od pamięci, programów i optymalizacji.
  • Mit: Wszyscy producenci liczą TOPS tak samo. W rzeczywistości: Nie, mogą się różnić precyzja liczb i metodologia.

Częste pytania

Ile TOPS mają nowoczesne telefony?

Flagowe NPU mają dziesiątki TOPS, ale liczby często podaje się według różnych metod.

Co oznaczają INT8 i INT4 obok TOPS?

Długość liczb w bitach. Na krótszych liczbach chip wykonuje więcej operacji.

Czy TOPS i TFLOPS to to samo?

Nie. TFLOPS liczy się zwykle dla liczb zmiennoprzecinkowych (GPU), TOPS - dla całkowitych (NPU).

Powiązane pojęcia

Procesor neuronowy (NPU), AI na urządzeniu, Kwantyzacja modelu, Układ SoC (system on a chip)

← Słownik pojęć