Aanval versus verdediging: hoe AI-modellen beide kanten dient - Deel 1
Iedereen heeft het over AI. De technologie ontwricht nu al de meest uiteenlopende sectoren, zoals de gezondheidszorg, financiële dienstverlening en productie. Leveranciers van beveiligingsoplossingen behoren tot de eerste gebruikers van AI. Maar het zijn niet alleen de goeden die veel investeren in deze opkomende technologie: cybercriminelen zijn ook op zoek naar mogelijkheden om AI te gebruiken om hun zakelijke of geopolitieke doelen te halen.
Dit blog is specifiek gericht op twee modellen, categoriserende en generatieve AI, en hun potentiële kansen en bedreigingen voor IT- en beveiligingsteams.
Categoriserende AI effectief gebruiken
Categoriserende AI, ook bekend als ‘classificerende’, ‘segmenterende’ of ‘beschrijvende’ modellen, doet wat je ervan verwacht: het categoriseert input. Een toepassing voor beveiligers is het categoriseren van input zoals netwerkverbindingen, gedrag of bestanden. Dit is een logische voortzetting van de klassieke ‘block and allow’-lijst, met als enige verschil dat de beslissing automatisch wordt geleerd in plaats van handmatig gemaakt.
Op een paar gebieden is echter voorzichtigheid geboden. Ten eerste moeten ontwikkelaars zich verre houden van binaire beslissingen over ‘goede’ of ‘slechte’ input. Er is een groot verschil tussen een bestand dat als 1% kwaadaardig wordt beoordeeld en een bestand dat voor 49% kwaadaardig is. Het kan nuttig zijn om categorieën zoals ‘potentieel schadelijk’ en ‘ongewenst’ te bieden voor een meer gedetailleerde analyse.
Ten tweede moeten gebruikers niet alleen het antwoord weten, maar ook beseffen hoe een AI-model tot dit antwoord is gekomen. Helaas is een AI zich niet bewust van zichzelf en zijn besluitvorming. Het kan daarom niet zeggen waarom het tot een bepaalde beslissing is gekomen. De categoriserende AI van nu gedraagt zich als een goed getrainde expert die feiten evalueert op basis van zijn onderbuikgevoel om tot een conclusie te komen. Om risico's te beperken, kan het een goed idee zijn om AI-beslissingen en misschien ook de data waarop deze beslissingen zijn gebaseerd, op te slaan voor toekomstig forensisch onderzoek. Hierdoor kan een menselijke expert de beslissing van een AI reconstrueren of opnieuw valideren.
Efficiënte generatieve AI
De reden waarom elke directiekamer tegenwoordig over AI praat, is vanwege generatieve modellen met een griezelig vermogen tot interactie in natuurlijke taal met gebruikers, zoals ChatGPT. Het model berekent of ‘genereert’ een output op basis van een enorme pool van trainingsgegevens en combineert dat met de huidige context (vragen of chatgeschiedenis). Het is echter belangrijk om te onthouden dat deze modellen, ondanks hun beheersing van de taal van de gebruiker en het schijnbare vermogen om grappen, gedichten en andere kunstwerken te maken, de inhoud die ze leren niet echt ‘begrijpen’. Alles wat wordt geproduceerd is in feite slechts een zeer goede ‘remix’ van de content waarop het model is getraind.
In tegenstelling tot AI die categoriseert, ligt de kracht van generatieve modellen niet in het nemen van beslissingen, maar eerder in het samenvatten en presenteren van informatie en feiten in een dialoog. Als ze getraind worden op de juiste gegevens - bijvoorbeeld input voor netwerkverbindingen, interacties en compliance- en bedrijfsvereisten - kunnen ze zich ontpoppen tot uiterst nuttige IT-assistenten. Een generatief AI-model kan bijvoorbeeld optimale systeeminstellingen of prioriteiten aanbevelen voor een compliance-strategie. Met de juiste informatie en context kan het misschien zelfs de hoofdoorzaak van aanvallen analyseren.
Het is echter belangrijk om te onthouden dat de linguïstische kwaliteit van de output geen indicator is voor de kwaliteit van de daadwerkelijke inhoud. False positives zijn een veel voorkomend probleem voor sommige generatieve modellen, vooral als ze slechts op een kleine set gegevens zijn getraind. Sommige zero-day-aanvallen kunnen om deze reden onder de radar blijven.
Leveranciers van beveiligingsoplossingen lopen voorop in het verwerken van AI in hun oplossingen. Zo heeft Trend Micro bijvoorbeeld Companion, een generatieve AI-assistent. Deze AI-gebaseerde oplossingen zijn vaak een uitkomst voor IT- en beveiligingsteams die - door een tekort aan vaardigheden - worden overspoeld door waarschuwingen over dreigingen en worstelen met het beheer van workloads.
In deel twee van deze serie onderzoeken we hoe cybercriminelen AI gebruiken om hun aanvallen te evolueren en te optimaliseren.
Door: Udo Schneider (foto), IoT Security Evangelist Europe van Trend Micro
