AI-modeller fortfarande sårbara för manipulation

Ciscos studie avslöjar stora säkerhetsrisker

Säkerhetsriskerna med öppna AI-modeller blir allt mer välkända – men en ny undersökning visar att många populära modeller fortfarande går att utnyttja för illvilliga syften.

Sedan det globala genombrottet för generativ AI har tekniken blivit en självklar del av vardagen – och arbetslivet. I den senaste utgåvan av Svenskarna och Internet, publicerad hösten 2025, uppger tre av tio förvärvsarbetare och fyra av tio tjänstemän att de använt AI-verktyg i jobbsammanhang.

Bland de användningsområden som lyfts fram i rapporten finns bland annat sammanfattningar och bearbetningar av källmaterial, korrekturläsning, samt att skapa affärsplaner, protokoll och presentationer.

Men en stor del av dessa data är känsliga och konfidentiella, och säkerhetsrisker uppstår när dessa data används i en öppen AI-modell, där den senare kan användas för träning, och sedan tillämpas i svar till andra användare.

Därför har säkerhetsforskare på Cisco genomfört ett stresstest av åtta av de mest populära öppna AI-plattformarna, med det egenutvecklade verktyget Cisco AI Validation. Samtliga dessa plattformar är Open Weight-modeller där de parametrar som avgör hur AI:n arbetar är publikt tillgängliga, nedladdnings- och anpassningsbara. De används därför ofta som grund när verksamheter bygger egna AI-lösningar.

Testet har använt två olika tillvägagångssätt. I ”single turn” har varje modell matats med 1 024 förgenererade prompter som är skapade för att försöka manipulera dem, medan ”multi turn” bygger på en dialog med AI-modellen där man gradvis försökt förmå den att bryta mot reglerna. 499 multi turn-attacker genomfördes mot varje modell, med mellan 5-10 interaktioner.

Endast tre av de öppna AI-modellerna lyckades avvärja angreppsförsöken i mer än hälften av angreppsförsöken när multi turn-tekniken användes. Vid single turn-försök presterade samtliga AI-modeller bättre men inte felfritt.

Bäst av modellerna presterade Microsoft Phi-4 och OpenAI GPT-OSS-20b, som båda klarade av att hantera mer än 93 procent av single turn-attackerna, samt Google Gemma-3-1B-IT som avvärjde nästan tre fjärdedelar, 74 procent, av multi turn-attackerna. Fyra av modellerna släppte igenom fler än tre av fyra multi turn-attacker.

”Att mata in information i en öppen AI-modell innebär att man släpper en del av kontrollen över den informationen, och testet visar att dagens öppna plattformar fortfarande inte är vattentäta. Medvetenheten om dessa risker ökar men fortfarande sker mängder av incidenter och misstag dagligen. Att fortsätta utveckla stängda och interna lösningar för känslig data och göra ansvarsfull AI-användning till en central del av medarbetares utbildning, är viktigare än någonsin”, säger Henrik Bergqvist, cybersäkerhetsexpert på Cisco Sverige.

”En annan viktig slutsats är att man behöver ha ett extra starkt säkerhetsfokus när man bygger egna AI-tillämpningar baserade på Open Weight-modeller. Bara genom att ändra olika vikter och parametrar riskerar man att oavsiktligt minska säkerheten – i många open weight-varianter läggs ansvaret för säkerheten till stor del över på användaren. Därför är det också viktigt att ha tillgång till verktyg som gör det möjligt att göra liknande stresstester på de egna tillämpningarna”, säger Henrik Bergqvist.

11/13/2025 - Industritorget

Latest news

AI-modeller fortfarande sårbara för manipulation

LATEST NEWS

ASSA ABLOY certifieras enligt ISO 27001

Junora lanserar årets jultävling!

Luftkvalitetsövervakning på vintern

OEM Automatic blir igus totalleverantör

MetaCompliance köper Junglemap och växer

Puts & Tegel bygger framtidens kontor

Ny encoder ger maximal positionsprecision

Nästan hälften av all nätverk är föråldrade

FPT Sete Lagoas firar 25 år

Cern väljer KNF för ren gasblandning

Ny uppdatering på Industritorget.se 1.2.1

Gummibussningar efter kundens behov

Vi gläder oss åt 50 jular gångna

MiR-robot automatiserar pallflöde effektivt

Maskin Fransson leverer­ar fler QUASER-maskiner

Wingefors blir traktorägare

Fallskydd

Kaffeguide

Vägen mot digital suveränitet

Sprid glädje på företaget i jul

Hem och visningshus i ett

Hur vädret påverkar din inomhusluftkvalitet

ASSA ABLOY köper Sargent and Greenleaf

Vattenskärning

KSL Trading växlar upp

Pluggar och skyddshylsor i industrin

Välj rätt nivåsensor för varje vätska

CASE Z

Zoom och NORDUnet utökar partnerskap

Sariki Precision Center

LEMO lanserar REDEL SP IP68-serien

Phoxi 3D scanner Gen3

Meltolit levererar slitplåt med topprestanda

Stark vidhäftning och hög friktion

Lär dig mer om transientskydd

Förbered hemmet inför vinterrenovering

Southco lanserar EC Damping Hinge

Popular articles

Ethernet-APL inom processkontroll

Maximal insikt och smidig fjärrdiagnostik

Amazon lanserar uppsättning AI-verktyg

Två pastor som täcker alla behov!

Driftsäkra kabelkontakter

Konstverket sätter färg på Musikhjälpen

Arkitektur formar framtidens vårdmiljöer

Visa och AWS i samarbete

HMS köper del av Molex-enhet

AI driver fler automatiserade attacker

Ny säkerhetsventil höjer maskinsäkerheten

Effektiv plintmärkning – allt i en lösning

Säkerhet vid svetsning

Omklädningsrum med plats för alla

X-Guard maskinskydd

Allt du behöver veta om svetsfiltar

Nytta trumfar förväntningar

Ett fuktigare Sverige utmanar byggbranschen

Rörlaserskärning

Ny frakttjänst – För med­lemmar på Industritorget

Miljöpåverkan från elektriska UTV

Mer kraft i varje snitt

Denodo når topposition hos Dresner

Handhållen termografering

Slipmaskiner

Daggpunktsgivare för tryckluft – SUTO

Redskap till teleskoplastare

Packningar för entreprenadmaskiner

Backkameror

Luftrenare

Begagnad truck under Black Week

Gummimattor

Få 25% RABATT på HibouAir DUO BLE

Passivering i hygienkänsliga miljöer

Planera process­ventilation i verkstaden

Become member

Advertising & marketing

Digital media production

industritorget.com

Maskin Fransson levererar fler QUASER-maskiner

Ny frakttjänst – För medlemmar på Industritorget

Planera processventilation i verkstaden