Przejdź do treści

Dynamiczny kontekst

Definicja

Dynamiczny kontekst to podejście, w którym system dobiera do promptu tylko te fragmenty informacji, które są potrzebne do konkretnego pytania — zamiast wklejać „wszystko”.

Co to w zasadzie jest?

Okno kontekstowe ma limit. Jeśli wrzucisz za dużo, AI:

  • gubi sedno,
  • jest droższa,
  • bywa mniej trafna.

Dynamiczny kontekst działa jak selekcja: „weź najlepsze 3–8 fragmentów” i nic więcej.

Praktyczne zastosowania (konkretne scenariusze)

Scenariusz 1: Pytasz o „prompt injection” → system dobiera fragmenty o atakach, a nie całe rozdziały

  • Cel: pytasz o „prompt injection” → system dobiera fragmenty o atakach, a nie całe rozdziały.
  • Wejście: zapytanie i wiele możliwych fragmentów kontekstu.
  • Kroki: wybierz fragmenty -> ogranicz długość -> wygeneruj odpowiedź.
  • Rezultat: bardziej trafny kontekst.
  • Zabezpieczenie: limity fragmentów i ranking źródeł.

Scenariusz 2: Pytasz o „koszty tokenów” → dobiera definicje token/okno kontekstowe/caching

  • Cel: pytasz o „koszty tokenów” → dobiera definicje token/okno kontekstowe/caching.
  • Wejście: zapytanie i wiele możliwych fragmentów kontekstu.
  • Kroki: wybierz fragmenty -> ogranicz długość -> wygeneruj odpowiedź.
  • Rezultat: bardziej trafny kontekst.
  • Zabezpieczenie: limity fragmentów i ranking źródeł.

Scenariusz 3: Pytasz o „RAG” → dobiera retrieval, chunking, vector database

  • Cel: pytasz o „RAG” → dobiera retrieval, chunking, vector database.
  • Wejście: zapytanie i wiele możliwych fragmentów kontekstu.
  • Kroki: wybierz fragmenty -> ogranicz długość -> wygeneruj odpowiedź.
  • Rezultat: bardziej trafny kontekst.
  • Zabezpieczenie: limity fragmentów i ranking źródeł.

Ryzyka i jak je ograniczać

Ryzyko 1: System dobierze zły kontekst

  • Ryzyko: system dobierze zły kontekst.
  • Jak ograniczać: reranking, testy, fallback „pokaż źródła”.

Ryzyko 2: Brak przejrzystości („skąd to wzięte?”)

  • Ryzyko: brak przejrzystości („skąd to wzięte?”).
  • Jak ograniczać: cytowanie i provenance fragmentów.

Ryzyko 3: Ataki przez dokumenty (context poisoning)

  • Ryzyko: ataki przez dokumenty (context poisoning).
  • Jak ograniczać: filtry, polityka źródeł, guardrails.

Mapa powiązań

Diagram

flowchart LR
    A[Nowe pytanie]
    B[Historia i pamięć]
    C[Złożony kontekst]
    D[Model]
    E[Odpowiedź]
    A --> B --> C --> D --> E

Diagram pokazuje, że odpowiedź modelu może być budowana z uwzględnieniem bieżącej rozmowy i zapisanych ustaleń.

Dalsza lektura