Jak zabić firmę w 18 miesięcy (AI bez CISO)?
Na ostatnim incydencie mieliśmy model „przeciw oszustwom”, który po cichu wysyłał do chmury pełne numery kart klientów, bo ktoś w zespole wdrożeniowym zostawił opcję zapisywania całych żądań na produkcji. Nikt tego nie zauważył przez pół roku, bo w programie „sztuczna inteligencja” nie było budżetu na analizę zagrożeń, tylko na „Centrum Doskonałości AI”. Kiedy klient zażądał pełnego śladu danych do kontroli, wyszło na jaw, że „dane gotowe dla AI” oznacza „wszyscy mają kopię wszystkiego”
Redaktorzy Security Magazine
- Opublikowano
W tym tekście (7)
Od błędu do systemu: jedna dziura niszczy lata pracy
Jeśli myślisz, że sztuczna inteligencja to „kolejny system”, przypomnij sobie atak Storm-0558: jeden błąd w sprawdzaniu klucza i chińska grupa weszła do skrzynek pocztowych klientów Microsoftu, fałszując tokeny na poziomie zaufania infrastruktury. W świecie modeli językowych to samo robi źle zaprojektowana „brama AI”, która przyjmuje tokeny z wewnętrznego systemu tożsamości, a potem wywołuje zewnętrzny model z pełnym tekstem danych klientów – bez rozdzielenia ról i bez ograniczenia danych.
ENISA w 2024 opisała wzrost ataków phishingowych i fałszywych nagrań napędzanych AI, ale to nie najgorsze. Gorsze jest to, że dyrektor finansowy zaczyna wierzyć, że „sztuczna inteligencja zastąpi analityków”, więc obcina etaty ludzi, którzy rozumieją, co znaczy wyciek danych z modelu oceny ryzyka kredytu.
Dane treningowe jako nowa korona klejnotów
„Dane gotowe dla AI” brzmi ładnie na prezentacji, dopóki nie zorientujesz się, że w praktyce to hurtownia danych, magazyn cech modelu, jezioro danych, kilka ukrytych rurociągów i notatniki analityków w chmurze z dostępem publicznym sprzed dwóch lat. Do tego dochodzi odwracanie modelu: przy odpowiednich pytaniach do interfejsu da się zrekonstruować fragmenty danych treningowych, które miały nigdy nie wyjść z magazynu danych.
Zatrucie danych nie jest teorią – raporty pokazują realne przypadki, gdzie przeciwnik dosypuje złośliwe wpisy do logów sieciowych czy danych antyoszustwowych i „przekręca” modele w kierunku pominięcia wybranych sygnałów. W praktyce nie ma kontroli, kto może dopisać dane do zbioru treningowego, a proces ponownego uczenia jedzie automatycznie.
Nowa matryca zagrożeń dla AI
MITRE ATLAS opisuje 15 sposobów i dziesiątki technik ataku na systemy AI, od zatruwania danych po manipulację modelem i wyciąganie wag. To dodatkowa warstwa zagrożeń, której pewnie nie ma w twoim obecnym modelu zagrożeń.
W centrum reagowania oznacza to logowanie i łączenie rzeczy, których wcześniej nie miałeś w systemie monitorującym: parametry zapytań do modeli, rozkłady wyników, nagłe „przesunięcia” w przestrzeni osadzeń, serie nietypowych próśb testujących granice zasad treści. Bez tego nie zauważysz, że ktoś prowadzi rozpoznanie twojego modelu oceny kredytu, zanim zacznie go omijać.
Sztuczna inteligencja mnoży ataki na pracowników i oszustwa
ENISA raportuje wzrost użycia AI w phishingu i fałszywych nagraniach, szczególnie wobec kadry kierowniczej. Kampanie phishingowe generowane przez AI mają kilkukrotnie wyższy wskaźnik kliknięć niż pisane ręcznie.
Każde „natychmiastowe zatwierdzenie” dużych płatności, decyzje kredytowe oparte na głosie czy procedury resetu haseł przez telefon stają się ryzykowne. Specjalista ds. bezpieczeństwa, który nie zmienił procedury „głos przełożonego” w dobie AI, sponsoruje kolejny atak na kilka milionów.
Poradnik dla CISO: co zrobić w poniedziałek
Mapa wszystkiego, co maszZażądaj od dyrektora technologii i szefa danych jednej kartki: lista wszystkich modeli w użyciu, ze źródłem danych, miejscem integracji i hostowania. Jeśli nie dadzą tego w tydzień, wstrzymaj nowe wdrożenia.
Do każdego modelu przypisz właściciela biznesowego, technicznego i ryzyka – z nazwiskiem.
Minimalne normy dla wdrożeń
- Oddzielne konta dla treningu i używania modelu, bez pełnych uprawnień do danych.
- Brak zapisywania pełnych żądań klientów w logach.
- Rotacja kluczy do zewnętrznych modeli i lista dozwolonych adresów.
- Kontrola wersji danych i modeli plus audyt zmian.
Model zagrożeń jako obowiązekDla każdego wdrożenia wymuś analizę zagrożeń z uwzględnieniem zatruwania danych, odwracania modelu i ataków przez teksty użytkownika. Bez podpisu – blokada wdrożenia.
SOC i reagowanie: nowe sygnałyWprowadź alerty na:
- Nagłe zmiany wyników modelu.
- Nietypowe serie zapytań do modeli.
- Użycie kluczy z dziwnych sieci.
Plan reagowania musi mieć ścieżkę „podejrzenie ataku na model/dane” z decyzjami o wyłączeniu i cofnięciu wersji.