Przejdź do treści

Prompt routing (kierowanie zapytań)

Definicja

Prompt routing to mechanizm, który decyduje, „gdzie wysłać zapytanie”: do jakiego modelu, jakiego trybu (RAG/bez RAG), jakich narzędzi i jakich zasad.

Co to w zasadzie jest?

To jak centrala telefoniczna:

  • pytanie o definicję → słownik,
  • pytanie o dokument → RAG,
  • pytanie o działanie → agent + narzędzia,
  • pytanie wrażliwe → dodatkowe zasady bezpieczeństwa.

Routing poprawia jakość i obniża koszty, bo nie każde pytanie wymaga „najmocniejszego” trybu.

Praktyczne zastosowania (konkretne scenariusze)

Scenariusz 1: Krótkie FAQ → szybki tryb bez narzędzi

  • Cel: krótkie FAQ → szybki tryb bez narzędzi.
  • Wejście: zapytanie i lista możliwych ścieżek.
  • Kroki: rozpoznaj typ -> wybierz ścieżkę -> przekaż do właściwego modelu lub narzędzia.
  • Rezultat: lepsze dopasowanie odpowiedzi.
  • Zabezpieczenie: reguły routingu i monitoring błędów.

Scenariusz 2: Pytanie „na podstawie plików” → RAG + reranking

  • Cel: pytanie „na podstawie plików” → RAG + reranking.
  • Wejście: zapytanie i lista możliwych ścieżek.
  • Kroki: rozpoznaj typ -> wybierz ścieżkę -> przekaż do właściwego modelu lub narzędzia.
  • Rezultat: lepsze dopasowanie odpowiedzi.
  • Zabezpieczenie: reguły routingu i monitoring błędów.

Scenariusz 3: Prośba o działanie (np. commit) → agent + tool calling

  • Cel: prośba o działanie (np. commit) → agent + tool calling.
  • Wejście: zapytanie i lista możliwych ścieżek.
  • Kroki: rozpoznaj typ -> wybierz ścieżkę -> przekaż do właściwego modelu lub narzędzia.
  • Rezultat: lepsze dopasowanie odpowiedzi.
  • Zabezpieczenie: reguły routingu i monitoring błędów.

Ryzyka i jak je ograniczać

Ryzyko 1: Zła decyzja routingu = zła odpowiedź

  • Ryzyko: zła decyzja routingu = zła odpowiedź.
  • Jak ograniczać: testy na zbiorze pytań, fallbacki (gdy niepewne tryb bezpieczny).

Ryzyko 2: Routing ujawnia zasady (prompt leakage)

  • Ryzyko: routing ujawnia zasady (prompt leakage).
  • Jak ograniczać: nie pokazuj reguł użytkownikowi, loguj wewnętrznie.

Ryzyko 3: Skomplikowanie systemu

  • Ryzyko: skomplikowanie systemu.
  • Jak ograniczać: proste reguły, stopniowe dodawanie.

Mapa powiązań

  • RAG / Retrieval → routing wybiera kiedy używać.
  • Agentic workflow → routing uruchamia agenta.
  • Guardrails → routing może włączać ostrzejsze zasady.
  • LLMOps → utrzymanie i testowanie routingu.
  • Mini-przepływ: Zapytanie → klasyfikacja → wybór trybu → odpowiedź

Diagram

flowchart LR
    A[Zapytanie]
    B[Klasyfikacja]
    C[Wybór trybu]
    D[Odpowiedź]
    E[Fallback bezpieczny]
    A --> B --> C --> D
    C --> E

Diagram pokazuje, że system najpierw rozpoznaje typ pytania, a potem kieruje je do właściwego trybu działania.

Dalsza lektura