Okno kontekstowe: ile AI może „pamiętać” w rozmowie
Okno kontekstowe to maksymalna ilość tekstu (w tokenach), jaką model językowy może jednocześnie uwzględnić: twoje wiadomości, swoje odpowiedzi, wgrane pliki i instrukcje systemowe.
Prostymi słowami
Wyobraź sobie, że czytasz długą książkę przez okienko wycięte w kartonie. Widać tylko jedną stronę - wszystko, co wcześniej, zostało za krawędzią. Okno kontekstowe modelu to taki sam wycinek. Mały wycinek - model „zapomina” początek rozmowy. Duży - można pod nim położyć całą książkę.
Jak to działa
- Wszystko, co model ma uwzględnić, składa się w jedną długą taśmę tokenów.
- Jeśli taśma jest dłuższa niż okno, najstarsze części się obcina albo skraca.
- Model odpowiada, biorąc pod uwagę tylko to, co zmieściło się w oknie.
- Nowoczesne modele mają okna od dziesiątek tysięcy do miliona i więcej tokenów.
- Im bardziej okno jest zapełnione, tym dłużej i drożej model przetwarza zapytanie.
Gdzie to zobaczysz
Rozmiar okna kontekstowego podaje się w opisach modeli i planów: „128K”, „200K”, „1M tokenów”. Odczuwasz go, gdy wgrywasz do chatbota duży PDF, kod całego projektu albo gdy długa rozmowa nagle „zapomina” ustalenia z początku.
Czy to ważne przy wyborze
Tak, jeśli pracujesz z dużymi dokumentami - notatkami, książkami, kodem. Wtedy wybieraj model z dużym oknem. Mój trik na długie rozmowy: co jakiś czas poproś bota o krótkie podsumowanie ustaleń i zacznij nowy czat od tego podsumowania.
Mity
- Mit: Duże okno - bot pamięta wszystko idealnie. W rzeczywistości: Nawet w obrębie okna model może przeoczyć szczegół ze środka długiego tekstu.
- Mit: Okno kontekstowe to pamięć długotrwała bota. W rzeczywistości: Nie, to tylko bieżąca rozmowa. Długotrwała „pamięć” to osobna funkcja niektórych usług.
Częste pytania
Ile tekstu mieści 128 tysięcy tokenów?
Mniej więcej tyle, co niewielka książka - setki stron, zależnie od języka.
Dlaczego bot zapomniał, co mówiłem na początku?
Najprawdopodobniej rozmowa stała się dłuższa niż okno i stare wiadomości zostały obcięte.
Czy lokalny model na telefonie ma duże okno?
Zwykle mniejsze niż chmurowe: brakuje mu pamięci urządzenia.
Powiązane pojęcia
Token, Duży model językowy, Chatbot, Wyszukiwanie z uzupełnieniem