Bezpečnostným pravidlám bez testu nedôverujte: poučenie z týždenných správ o chatbotoch
Dve správy z tohto týždňa spochybnili, ako dobre fungujú bezpečnostné prvky chatbota pre tínedžerov. Ako ich otestovať ešte pred spustením.
Testeri tento týždeň uviedli, že niektoré bezpečnostné prvky chatbota určeného pre tínedžerov nefungujú tak, ako sľubuje výrobca. Podľa jedného testu bot aj počas krízy duševného zdravia naďalej povzbudzoval používateľov k ďalšiemu rozhovoru. Dozorná organizácia v ďalšej správe uviedla, že niektoré ochrany nefungujú tak, ako ich firma opisuje. Bez ohľadu na konečný záver je pre tvorcov produktov jasné ponaučenie: bezpečnostné vyhlásenie dodávateľa nie je výsledok testu.
Prečo je to dôležité pre váš projekt
Mnohé weby a aplikácie dnes pridajú chatbota za pár hodín. Podporný bot, rezervačný asistent či poradca pri nákupe môže dostať neočakávané správy vrátane osobných, naliehavých alebo znepokojivých. Ak produkt na takéto chvíle nemá plán, škoda padne na používateľa aj na firmu, ktorá bot zverejnila.
Ako otestovať pravidlá ešte pred spustením
- Pripravte zoznam rizikových otázok. Zbierajte otázky z vašej oblasti: emocionálne správy, žiadosti o lekársku alebo právnu radu a pokusy obísť pravidlá.
- Písomne určite očakávané správanie. Pre každú kategóriu rozhodnite, či bot odpovie, odmietne alebo odovzdá rozhovor človeku.
- Vytvorte cestu na eskaláciu. Ak rozhovor naznačuje krízu, ukážte správnu lokálnu linku pomoci a ponúknite kontakt na človeka.
- Testujte po každej zmene. Nový prompt, verzia modelu alebo doplnok môže potichu rozbiť pravidlo, ktoré fungovalo minulý mesiac.
- Sledujte reálne rozhovory so zachovaním ochrany osobných údajov a označené prípady kontrolujte každý týždeň.
Vek a kontext majú význam
Ak je pravdepodobné, že produkt použijú maloletí, navrhujte ho pre nich od začiatku. Zvyčajne to znamená prísnejšie predvolené nastavenia, žiadne neobmedzené rozhovory o citlivých témach a jasné informácie pre rodičov alebo učiteľov. Plánovať to na začiatku je oveľa lacnejšie než prerábať produkt po sťažnosti.
Pred zverejnením verejného chatbota v EÚ si skontrolujte aj pravidlá transparentnosti. Aktuálne povinnosti vysvetľujeme v článku Nariadenie EÚ o AI: čo musia webové štúdiá oznámiť od 2. augusta 2026.