Praktyczna wiedza o AI i promptach

Podstawy AI

Tokeny i okno kontekstowe. Dlaczego ChatGPT zapomina rozmowę

Po godzinie pracy nad raportem ChatGPT nagle proponuje nagłówki w stylu, który został odrzucony na samym początku, albo przekręca liczby z tabeli wklejonej kilkanaście wiadomości wcześniej. Zwykle to nie awaria ani „lenistwo” modelu, tylko skutek ograniczonego okna kontekstowego, czyli przestrzeni, w której model widzi rozmowę. Gdy się zapełni, starsze fragmenty przestają być brane pod uwagę.

Pojemność tej przestrzeni mierzy się w tokenach, a nie w słowach czy znakach. Do limitu trafia wszystko: Twoje pytania, odpowiedzi modelu, wklejone dokumenty i pliki. Kto rozumie ten mechanizm, szybciej zauważa, że rozmowa zaczyna się „rozjeżdżać”, i wie, kiedy poprosić o streszczenie, a kiedy otworzyć nowy czat. Ma to znaczenie także dla bezpieczeństwa danych. Wklejanie całych plików z poufnymi danymi „dla pełnego kontekstu” rzadko poprawia wynik, za to niepotrzebnie zwiększa ryzyko.

Czym są tokeny i jak ChatGPT liczy tekst

Model językowy nie czyta tekstu słowo po słowie, tylko dzieli go na tokeny, czyli fragmenty tekstu. Token może być całym krótkim wyrazem, kawałkiem dłuższego słowa, pojedynczym znakiem albo spacją połączoną z początkiem wyrazu. Zdanie „Zapomniałam hasła do poczty” mogłoby zostać podzielone mniej więcej tak: „Zap”, „omni”, „ałam”, „ has”, „ła”, „ do”, „ pocz”, „ty”. To przykład poglądowy, bo każdy model ma własny sposób dzielenia.

Tekst po polsku zwykle zużywa więcej tokenów niż jego angielski odpowiednik. Wpływają na to:

  • odmiana – „dom”, „domu”, „domami” to dla modelu różne ciągi znaków, często rozbijane na części,
  • polskie znaki – litery takie jak „ą” czy „ź” bywają kodowane oddzielnie,
  • długie wyrazy – złożenia w rodzaju „najprawdopodobniej” rzadko mieszczą się w jednym tokenie.

W praktyce ta sama rozmowa po polsku szybciej zbliża się do limitu i może wcześniej zacząć „gubić” starsze wątki.

Tokeny liczą się w obie strony. Do limitu wlicza się Twoje pytanie, odpowiedź modelu oraz wszystko, co wkleisz lub załączysz. Długa odpowiedź zajmuje miejsce w oknie tak samo jak długi prompt.

Liczbę tokenów orientacyjnie sprawdzisz w publicznie dostępnym tokenizerze, np. udostępnianym przez OpenAI. Wystarczy wkleić tekst, a narzędzie pokaże jego podział na tokeny. Wynik zależy jednak od modelu, bo starsze i nowsze modele mogą dzielić ten sam tekst inaczej, więc traktuj go jako szacunek, a nie dokładny pomiar.

Jak działa okno kontekstowe ChatGPT

Okno kontekstowe ChatGPT to pamięć robocza modelu, czyli wszystko, co model „widzi” w chwili pisania odpowiedzi. Przypomina kartkę o ograniczonej powierzchni. Dopóki tekst się na niej mieści, model może z niego korzystać. Gdy kartka się zapełni, trzeba coś zetrzeć, żeby dopisać nowe zdania.

Model nie pamięta rozmowy tak jak człowiek. Przy każdej odpowiedzi dostaje aktualną zawartość okna i na tej podstawie tworzy kolejny tekst. Czego w oknie nie ma, tego w danej chwili po prostu nie zna.

Co mieści się w oknie kontekstowym

  • instrukcje systemowe, których użytkownik zwykle nie widzi,
  • instrukcje niestandardowe i stałe wytyczne w czacie, np. ustawienia projektu,
  • cała dotychczasowa historia rozmowy, czyli Twoje wiadomości,
  • odpowiedzi modelu, które zajmują miejsce tak samo jak pytania,
  • wklejone teksty oraz treść załączonych plików albo ich wybrane fragmenty.

Dlatego rozmowa z kilkoma wklejonymi raportami i długimi odpowiedziami zapełnia okno znacznie szybciej niż seria krótkich pytań.

Co się dzieje po przekroczeniu limitu

Gdy materiału jest więcej, niż mieści okno, najstarsze fragmenty rozmowy wypadają albo są skracane. Model nie zawsze o tym informuje. Odpowiada dalej płynnie, ale już bez części ustaleń z początku.

Wielkość okna zależy od modelu, planu i wersji, a dostawcy co jakiś czas ją zmieniają. Aktualne wartości lepiej sprawdzić w dokumentacji lub w opisie planu, niż polegać na liczbach z forów i starszych poradników.

Dlaczego ChatGPT zapomina rozmowę i jak to rozpoznać

Osoba z głową schowaną za wysokim stosem książek leżących na stole
Gdy treści jest więcej, niż mieści okno kontekstowe, najstarsze fragmenty wypadają z pamięci modelu. Zdjęcie: WOKANDAPIX / Pixabay

Zapominanie rzadko wygląda jak komunikat o błędzie. Częściej model zaczyna odpowiadać tak, jakby części rozmowy w ogóle nie było. Typowe objawy to:

  • pomijanie ustaleń z początku czatu, np. limitu długości tekstu albo grupy docelowej,
  • powrót do stylu, z którego zrezygnowano, np. znów formalny ton zamiast swobodnego,
  • mylenie imion, kwot i dat albo przypisywanie informacji z dokumentu niewłaściwemu fragmentowi.

Takie luki model potrafi wypełnić czymś, co brzmi wiarygodnie. Dlatego przy liczbach i cytatach warto weryfikować podawane informacje w źródle.

Problem nie zawsze wynika z przekroczenia limitu. Przy długim materiale modele często lepiej wykorzystują początek i koniec tekstu, a szczegóły ze środka traktują mniej uważnie. Raport może więc w całości zmieścić się w oknie, a tabela z jego środkowej części i tak zostanie potraktowana pobieżnie.

Okno kontekstowe obejmuje jedną rozmowę. Nowy czat nie zawiera pełnego zapisu poprzednich rozmów, ale ChatGPT może korzystać z zapisanych wspomnień, a w niektórych planach także odwoływać się do wcześniejszych czatów. Obie funkcje, jeśli są dostępne, możesz sprawdzić i wyłączyć w ustawieniach personalizacji. Wspomnienia to wybrane, krótkie informacje, np. Twój zawód czy preferowany styl odpowiedzi.

Jak pracować z długimi rozmowami i dokumentami

Gruby stos papierowych dokumentów i notatek ułożonych jeden na drugim
Długie dokumenty warto dzielić na części i streszczać, zanim trafią do czatu. Zdjęcie: Anyusha / Pixabay

Projekty rozłożone na wiele czatów

Gdy rozmowa robi się długa, a model zaczyna gubić ustalenia, zacznij od nowa, ale nie od zera. Poproś o zwięzłe streszczenie i wklej je na początek świeżego czatu. Możesz użyć takiego promptu:

„Streść w punktach wszystko, co ustaliliśmy w tej rozmowie: cel, przyjęte założenia, wybrany styl, ważne dane i liczby oraz otwarte kwestie. Pisz zwięźle, bez komentarzy. To streszczenie wkleję do nowego czatu jako punkt wyjścia”.

Przed wklejeniem przeczytaj streszczenie i popraw błędy. Model może coś pominąć albo przekręcić. Najważniejsze instrukcje podawaj krótko, na samym początku, i powtarzaj je przy każdej zmianie zadania. Stałe preferencje, np. ton, format odpowiedzi czy informacje o branży, przenieś do instrukcji niestandardowych lub projektu, jeśli Twój plan je oferuje. Wtedy nie musisz ich przepisywać w każdym czacie.

Długie dokumenty i pliki

Zamiast wklejać cały raport naraz, podziel go na części i przy każdej napisz, czego szukasz. Dzięki temu w oknie kontekstowym znajdzie się tylko materiał, który faktycznie jest potrzebny. Pomagają też takie prośby:

  • „Odpowiedz tylko na podstawie rozdziału 3”.
  • „Przy każdym wniosku podaj numer akapitu lub cytat, z którego wynika”.
  • „Jeśli informacji nie ma w tekście, napisz to wprost”.

Odwołania do fragmentów ułatwiają sprawdzenie, czy model niczego nie dopowiedział.

Więcej o tym, jakich danych nie wklejać, przeczytasz w osobnym poradniku. Przed wysłaniem tekstu zamień nazwiska, adresy i numery na etykiety, np. „Klient A” czy „Pracownik 2”. Analiza będzie równie trafna, a do czatu nie trafią dane, których nie musisz udostępniać.

Najczęściej zadawane pytania

Ile tokenów mieści okno kontekstowe ChatGPT?

Nie ma jednej stałej wartości. Pojemność zależy od modelu, planu i wersji, a dostawca co jakiś czas ją zmienia. Aktualne limity najlepiej sprawdzić w dokumentacji lub w opisie swojego planu. Liczby z forów i starszych poradników często są już nieaktualne.

Ile słów to jeden token w języku polskim?

Jeden token to zwykle mniej niż jedno słowo. Polskie wyrazy, zwłaszcza odmienione, długie lub z literami takimi jak „ą” czy „ź”, często są dzielone na kilka tokenów. Dlatego tekst po polsku zużywa ich zazwyczaj więcej niż ten sam tekst po angielsku. Konkretny tekst możesz orientacyjnie przeliczyć w publicznym tokenizerze, ale wynik zależy od modelu.

Czy ChatGPT pamięta poprzednie rozmowy?

Nowy czat nie zawiera pełnego zapisu wcześniejszych rozmów. ChatGPT może jednak korzystać z zapisanych wspomnień, np. o Twoim zawodzie czy preferowanym stylu, a w niektórych planach także odwoływać się do historii czatów. Obie funkcje, jeśli są dostępne, można przejrzeć i wyłączyć w ustawieniach.

Jak sprawić, żeby ChatGPT nie zapominał wcześniejszych ustaleń?

Najważniejsze instrukcje podawaj krótko na początku i powtarzaj je przy każdej zmianie zadania. Stałe preferencje, takie jak ton czy format odpowiedzi, przenieś do instrukcji niestandardowych lub projektu. Gdy rozmowa robi się długa, poproś o streszczenie ustaleń w punktach, sprawdź je i wklej do nowego czatu. Długie dokumenty dziel na części zamiast wklejać je w całości.

Czy płatna wersja ChatGPT ma większe okno kontekstowe?

Wielkość limitu zależy między innymi od planu, więc wyższe plany mogą oferować więcej miejsca na rozmowę i materiały. Konkretne wartości i różnice między planami zmieniają się jednak w czasie. Przed zakupem sprawdź aktualny opis planu u dostawcy. Pamiętaj też, że nawet duży limit nie zastąpi porządkowania rozmowy i dzielenia długich dokumentów na części.

Zobacz również