Trening i inferencja: dwa etapy życia sieci neuronowej

Trening (training) to etap, w którym sieć neuronowa uczy się na ogromnych zbiorach danych. Inferencja (inference) to etap korzystania z już wytrenowanego modelu: dostaje zapytanie i podaje odpowiedź.

Prostymi słowami

Trening to lata szkoły i studiów: długo, drogo, ze stosem podręczników. Inferencja to praca po studiach: lekarz patrzy na pacjenta i stawia diagnozę w minutę. Nie uczy się medycyny od nowa za każdym razem, tylko korzysta z tego, co już wie.

Jak to działa

1. Podczas treningu model przepuszcza się przez dane miliony razy i dostraja jego parametry.
2. Robi się to w centrach danych na tysiącach akceleratorów, czasem miesiącami.
3. Po treningu parametry się „zamraża” - model jest gotowy.
4. Inferencja to jedno przejście zapytania przez gotowy model, bez zmiany parametrów.
5. Inferencja może działać w chmurze albo bezpośrednio na twoim telefonie, jeśli model jest niewielki.

Gdzie to zobaczysz

Gdy producent mówi, że funkcja AI działa „na urządzeniu”, chodzi właśnie o inferencję - model wytrenowano wcześniej, na serwerach. Procesor neuronowy (NPU) w smartfonie powstał głównie do inferencji. A wiadomości o „największych centrach danych dla AI” dotyczą przeważnie treningu.

Czy to ważne przy wyborze

Zrozumienie tego pomaga nie wierzyć w zbędny marketing. Telefon nie „uczy się” od zera - uruchamia gotowy model. Dlatego liczą się szybkość NPU i ilość pamięci RAM: żeby model się zmieścił i odpowiadał szybko. Dla większości ludzi inferencja w chmurze też jest OK, jeśli jest internet i nie szkoda ci przesyłać danych.

Mity

• Mit: Model uczy się z każdej mojej rozmowy. W rzeczywistości: Zwykle nie - podczas inferencji parametry się nie zmieniają. Usługi mogą wykorzystywać rozmowy do przyszłego treningu, ale to osobny proces, który często można wyłączyć.
• Mit: Inferencja jest tania. W rzeczywistości: Jedno zapytanie - tak, ale miliardy zapytań dziennie kosztują firmy bardzo dużo energii.

Częste pytania

Co jest droższe - trening czy inferencja?

Trening jednego dużego modelu jest bardzo drogi, ale inferencja dla milionów użytkowników z czasem może kosztować jeszcze więcej.

Czy telefon może douczyć model?

Tylko trochę i w wybranych scenariuszach - na przykład klawiatura dopasowuje się do twoich słów.

Co to jest „akcelerator AI”?

Specjalny chip do obliczeń sieci neuronowych - od NPU w telefonie po duże karty serwerowe.

Powiązane pojęcia

Procesor neuronowy (NPU), AI na urządzeniu, AI w chmurze, Dostrajanie modelu, Parametry modelu