Parametry modelu: co oznaczają 7B, 70B i biliony

Parametry modelu to wewnętrzne liczby sieci neuronowej (wagi i przesunięcia), które dostraja się podczas treningu i które przechowują wszystko, czego model się nauczył. Liczbę parametrów często podaje się w nazwie: 7B oznacza 7 miliardów.

Prostymi słowami

Wyobraź sobie ogromny mikser w studiu nagraniowym z miliardami suwaków. Podczas treningu każdy suwak lekko się przesuwa, aż „brzmienie” modelu będzie właściwe. Parametry to położenie wszystkich tych suwaków. Im jest ich więcej, tym precyzyjniej można ustawić „dźwięk”, ale i mikser robi się ogromny i drogi.

Jak to działa

1. Każde połączenie między neuronami ma swoją liczbę - wagę.
2. Podczas treningu miliardy tych liczb stopniowo się zmienia, żeby model mylił się mniej.
3. Po treningu liczby zapisuje się do pliku - to właśnie jest model.
4. Rozmiar pliku zależy od liczby parametrów i precyzji liczb.
5. Podczas pracy wszystkie potrzebne parametry muszą zmieścić się w pamięci - RAM albo pamięci karty graficznej.

Gdzie to zobaczysz

Liczbę parametrów podaje się w nazwach modeli otwartych (Llama 3 8B, Qwen 72B, Mistral 7B) i w wiadomościach o nowych modelach. Do AI na urządzeniu używa się małych modeli - od kilkuset milionów do kilku miliardów parametrów.

Czy to ważne przy wyborze

Jeśli chcesz uruchomić model na swoim laptopie lub telefonie - tak. W przybliżeniu: model z 7 miliardami parametrów w skompresowanej postaci zajmuje kilka gigabajtów pamięci. Dlatego przy lokalnej AI patrzę na ilość RAM. Za to przy chatbotach w chmurze liczba parametrów prawie cię nie dotyczy.

Mity

• Mit: Więcej parametrów to zawsze mądrzejszy model. W rzeczywistości: Nie. Nowy mały model wytrenowany na lepszych danych często wyprzedza stary duży.
• Mit: Parametry to liczba faktów, które zna model. W rzeczywistości: Wiedza jest rozłożona na wszystkie parametry, a nie zapisana po jednym fakcie w każdym.

Częste pytania

Co oznacza B w nazwie modelu?

Billion - miliard parametrów. 70B to 70 miliardów.

Ile parametrów mają największe modele?

Firmy często nie ujawniają dokładnych liczb, ale szacunki to setki miliardów i więcej.

Ile pamięci potrzebuje model 7B?

W postaci skompresowanej (skwantyzowanej) - kilka gigabajtów; bez kompresji - wyraźnie więcej.

Powiązane pojęcia

Kwantyzacja modelu, Sieć neuronowa, Modele otwarte, AI na urządzeniu