Przejdź do treści

Dryft danych i zachowania modelu

Definicja

Dryft to sytuacja, w której z czasem zmieniają się dane, kontekst lub zachowanie systemu AI. Przez to wyniki stają się gorsze albo inne niż wcześniej.

Co to w zasadzie jest?

AI może działać dobrze dziś, a gorzej za miesiąc, bo:

  • zmieniły się dokumenty i procesy,
  • pojawiły się nowe słowa, nazwy, produkty,
  • użytkownicy pytają inaczej,
  • dane „w tle” mają inny rozkład niż w testach.

To normalne zjawisko. Problem zaczyna się wtedy, gdy nikt go nie zauważa.

Praktyczne zastosowania (konkretne scenariusze)

Scenariusz 1: Słownik

  • Cel: dodajesz nowe pojęcia, a wyszukiwarka zaczyna gorzej trafiać.
  • Wejście: metryki jakości i dane produkcyjne.
  • Kroki: monitoruj zmianę -> porównaj z bazą -> uruchom korektę.
  • Rezultat: szybsze wykrycie spadku jakości.
  • Zabezpieczenie: alerty i okresowa ewaluacja.

Scenariusz 2: Firma

  • Cel: zmiana procedury, a chatbot nadal odpowiada „po staremu”.
  • Wejście: metryki jakości i dane produkcyjne.
  • Kroki: monitoruj zmianę -> porównaj z bazą -> uruchom korektę.
  • Rezultat: szybsze wykrycie spadku jakości.
  • Zabezpieczenie: alerty i okresowa ewaluacja.

Scenariusz 3: Produkt

  • Cel: nowe funkcje, a model nie nadąża z instrukcjami.
  • Wejście: metryki jakości i dane produkcyjne.
  • Kroki: monitoruj zmianę -> porównaj z bazą -> uruchom korektę.
  • Rezultat: szybsze wykrycie spadku jakości.
  • Zabezpieczenie: alerty i okresowa ewaluacja.

Ryzyka i jak je ograniczać

Ryzyko 1: Spadek jakości i zaufania

  • Ryzyko: spadek jakości i zaufania.
  • Jak ograniczać: regularna ewaluacja + monitoring + poprawki na podstawie logów.

Ryzyko 2: Błędne decyzje na podstawie „starych” odpowiedzi

  • Ryzyko: błędne decyzje na podstawie „starych” odpowiedzi.
  • Jak ograniczać: daty aktualizacji, cytowanie źródeł, sygnalizowanie niepewności.

Ryzyko 3: Drift bezpieczeństwa (nowe typy ataków)

  • Ryzyko: drift bezpieczeństwa (nowe typy ataków).
  • Jak ograniczać: red teaming i aktualizacja zabezpieczeń.

Mapa powiązań

  • Monitoring jakości → drift wykrywa się przez obserwację metryk.
  • Ewaluacja / Benchmark → porównanie „kiedyś vs dziś”.
  • Red teaming → drift bezpieczeństwa.
  • RAG → drift może wynikać ze zmian w źródłach.
  • Mini-przepływ: Czas → zmiana danych → spadek jakości → wykrycie → poprawka

Diagram

flowchart LR
    A[Dane treningowe]
    B[Model]
    C[Zmiana danych w czasie]
    D[Spadek jakości]
    E[Monitoring i aktualizacja]
    A --> B --> C --> D --> E

Diagram pokazuje, że zmiana danych lub warunków użycia w czasie może obniżyć jakość modelu i wymaga monitoringu.

Dalsza lektura