Dataförgiftning: Säkerhetsrisken med bias i sök, information och AI

Det har traditionellt varit väldigt lätt att upptäcka felaktig eller vilseledande information. Exempelvis en falsk webbplats, ett bedrägligt inlägg på sociala medier eller påverkansinnehåll som spridits i rasande fart. Åtgärderna mot dessa är välbekanta; ha koll, anmäl, ta bort, rätta till uppgifterna och se till att organisationen inte drabbas. Men nästa våg av informationsrisker är mycket svårare att upptäcka.

I takt med att sökmotorer och stora språkmodeller blir det vanligaste sättet för människor att få tillgång till kunskap handlar frågan inte längre bara om huruvida det finns felaktig information på nätet. Den mer grundläggande frågan är om de system som människor litar på för att sammanfatta, rangordna och förklara världen själva kan utsättas för dataförgiftning och bli partiska eller manipulerade – och om denna partiskhet kan forma åsikter utan att användarna ens märker det.

Dataförgiftning inom AI är inte längre en hypotetisk fråga. Sökmotorer, AI-assistenter och automatiserade sammanfattningsverktyg håller på att bli en del av samhällets informationsinfrastruktur. De hjälper människor att förstå konflikter, val, företag, teknik, hälsofrågor, ekonomiska beslut och offentliga händelser. De underlättar också det dagliga arbetet inom organisationer, från forskning och kommunikation till mjukvaruutveckling och beslutsfattande. Detta gör informationsbias till mer än bara ett kommunikationsproblem. Det håller på att bli ett problem för cybersäkerheten, motståndskraften och förtroendet.

Från att söka information till att få ett svar

Vid traditionell informationssökning utförde användarna en större del av arbetet själva. De skrev in en sökfråga, gick igenom länkarna, jämförde källorna och bedömde deras trovärdighet. Processen var inte perfekt, men den innebar ändå en märkbar motståndskraft: Flera källor, olika synsätt och till slut en väg framåt.

AI-genererade svar förändrar detta. I stället för att visa användarna en lista med källor ger systemet ofta en sammanfattning. Det avgör vad som är relevant, vad som ska inkluderas, vad som ska utelämnas och hur svaret ska formuleras. Det är snabbt och bekvämt, men det skapar också ett beroende. När informationen sammanfattas åt oss är det svårare att notera vad som har utelämnats.

Det är här informationsbias får särskilt stor betydelse. I sökmotorer och språkmodeller kan bias påverka vad som visas, döljs, lyfts fram eller framställs. Modellen formar svaret baserat på personalisering, popularitetssignaler, kommersiella incitament, träningsdata, urval av källor, säkerhetsfilter eller till och med formuleringen av en prompt – vilket kan indikera dataförvanskning snarare än dataförgiftning. Men modeller kan också påverkas av mer avsiktlig förgiftning och manipulation av artificiell intelligens, där aktörer påverkar hur system tolkar, rangordnar eller återger information.

“

Risken ligger inte bara i traditionell desinformation. Nästa steg är informationsbias, som är mycket svårare att upptäcka – där sökbeteende, AI-sammanfattningar och upprepade uppmaningar gradvis kan påverka vad som uppfattas som relevant eller trovärdigt.

Mikael Järpenge · Cybersecurity Solution Advisor, NetNordic

Alla former av partiskhet är inte avsiktliga. Vissa speglar tillgängliga data, språk, geografi, kultur, politik eller algoritmer som är optimerade för engagemang och sannolikhet snarare än sanning. Problemet är att användarna ofta uppfattar resultatet som neutralt. Ett högt rankat sökresultat känns viktigt. Ett välformulerat svar från AI känns balanserat. En självsäker ton känns övertygande. Men inget av detta garanterar ett svar utan bias.

Den oväntade makten i rangordningar och formuleringar

Informationssystem påverkar åsikter på subtila sätt. De behöver inte direkt tala om för användarna vad de ska tycka. De kan helt enkelt styra vad som visas först, vad som visas ofta och vad som framstår som trovärdigt.

Rankning är ett av de äldsta exemplen. Information som hamnar högst upp i sökresultaten har större sannolikhet att klickas på, läsas, betraktas som trovärdig och komma ihåg. Om ett ämne, ett företag, en politisk aktör eller en berättelse upprepade gånger dyker upp på framträdande platser kan användarna börja tolka denna synlighet som ett tecken på betydelse eller legitimitet.

AI-modeller tillför ytterligare en dimension: Samma ämne kan framställas på olika sätt beroende på hur frågan ställs. En negativt formulerad fråga kan ge ett svar som stärker misstanken. En positivt formulerad fråga kan ge ett svar som stärker stödet. Med tiden kan detta underblåsa bekräftelsebias, alltså att användarna får svar som verkar objektiva men som i själva verket präglas av frågans inriktning.

Även tonfallet spelar roll. AI-språkmodeller svarar ofta med ett flytande, lugnt och auktoritativt språk. Denna stil kan skapa förtroende även när själva svaret är ofullständigt, osäkert eller till och med felaktigt.

“

Människor litar ofta på svar som genererats av AI eftersom de är sammanfattade och framställs med övertygelse. Men en LLM vet inte om uppgifterna är riktiga eller felaktiga – den svarar utifrån de data och mönster som den har tränats på.

Fabian Jacobsson · Cybersecurity Strategy Advisor, NetNordic

En mänsklig expert skulle kanske tveka, nyansera eller ifrågasätta frågan. En maskin kan däremot ge ett välstrukturerat svar som låter färdigformulerat.

Detta är särskilt riskabelt eftersom många AI-system inte ”förstår” information i mänsklig mening. De genererar svar baserat på mönster, sannolikheter och de data som de har tränats på eller kopplats till. Om de underliggande uppgifterna är snedvridna, förstärkta eller strategiskt förvanskade kan systemet återge denna snedvridning på ett sätt som verkar trovärdigt. Det är därför som dataförgiftning av AI håller på att bli ett viktigt säkerhetsproblem. Om datagrunden är komprometterad kommer även utdata bli det.

Riskerna med dold källförteckning

Diskussioner om partiskhet inom AI handlar ofta om politisk partiskhet, och det finns goda skäl till det. Sökmotorer och AI-system kan påverka hur människor uppfattar val, krig, institutioner, offentliga personer och demokratiska processer. I en värld präglad av geopolitiska spänningar och en snabbt föränderlig informationskrigföring är politisk manipulation ett allvarligt problem. Men politisk partiskhet är bara en del av helheten.

Kommersiell partiskhet kan påverka vilka företag, produkter eller tjänster som uppfattas som trovärdiga. Kulturell och språklig partiskhet kan få vissa perspektiv att framstå som universella, medan andra blir underrepresenterade. Algoritmisk partiskhet kan uppstå i system som är optimerade för engagemang, popularitet eller bekvämlighet. Befolkningspartiskhet kan uppstå när omfattningen av onlineaktiviteten från en viss grupp, region eller ett visst språk dominerar den tillgängliga datan.

Den mest oroande partiskheten är ofta den som användarna inte kan se. Om ett system förklarar varför det valt vissa källor, har användarna något att ifrågasätta. Om det döljer processen bakom ett smidigt svar blir det svårare att ifrågasätta partiskheten.

Det är därför öppenhet är viktigt. Sökmotorer och stora språkmodeller (LLM) behöver inte vara perfekta för att vara användbara, men användarna bör förstå var informationen kommer ifrån, vilka osäkerheter som finns och om ett svar baseras på verifierade källor, populärt innehåll, träningsdata, realtidssökning eller en kombination av alla dessa.

Varför bias blivit en fråga som rör cybersäkerhet

AI-verktyg används för att sammanfatta dokument, utarbeta meddelanden, utvärdera leverantörer, skriva kod, undersöka trender, sammanställa rapporter och stödja strategiska beslut. Om dessa verktyg är partiska, manipulerade eller används utan kritisk granskning kan konsekvenserna påverka företagets anseende, efterlevnaden av regler, programvarukvaliteten, krishanteringen och affärsmässiga bedömningar.

En vilseledande AI-genererad sammanfattning kan påverka ett beslut på ledningsnivå. Ett partiskt sökresultat kan forma en kommunikationsstrategi. AI-genererad kod kan skapa sårbarheter om utvecklarna inte förstår vad de godkänner. En manipulerad informationsmiljö kan skada allmänhetens förtroende för ett företag eller en bransch innan någon inser var berättelsen tog sin början.

Attacker genom dataförgiftning utgör ytterligare en dimension av denna risk. Om angripare kan påverka de data som används för att träna, finjustera, hämta eller sammanfatta information, kan de eventuellt styra vad ett AI-system senare framställer som trovärdigt. I det avseendet blir dataintegriteten direkt kopplad till beslutsfattande, förtroende och organisationens motståndskraft.

Detta förändrar hur organisationer bör se på cybersäkerhet. Det räcker inte att säkra infrastrukturen rent tekniskt. Organisationerna måste också säkra hur informationen hämtas, utvärderas och används som underlag för beslut. Det innebär att förtroende, identitet, informationsintegritet och mänskligt omdöme måste betraktas som en del av cybersäkerheten.

Den mänskliga faktorn är avgörande. AI kan göra medarbetarna snabbare och mer produktiva, men det kan också göra dem mindre kritiska om de börjar överlåta bedömningsarbetet till AI. Risken ligger inte bara i att AI kommer att göra misstag. Risken är att människor slutar att lägga märke till dem.

Att bygga upp motståndskraft mot informationsbias

Ingen organisation kan helt eliminera informationsbias. Varje informationssystem speglar med nödvändighet vissa val, exempelvis vilka data som ska inkluderas, vilka som ska uteslutas, hur relevansen ska rangordnas, hur osäkerhet ska hanteras och hur slutsatserna ska presenteras. Resultatet är inte ett objektivt system. Det realistiska målet är att göra bias mer synligt, hanterbart och redovisningsbart. Detta börjar med utbildning och medvetenhet.

Alla användare av AI måste förstå att genererade svar inte automatiskt är neutrala, även om de låter balanserade. De bör återgå till att jämföra källor, ställa frågor på olika sätt, söka efter olika åsikter och känna igen bekräftelsebias. Det gäller att vara medveten om att vältalighet inte är detsamma som korrekthet, och att självförtroende inte är detsamma som bevis.

Den andra grundpelaren är styrning. Organisationer behöver tydliga riktlinjer för hur AI-verktyg ska användas, särskilt i arbetsflöden med stor organisationspåverkan. Det innefattar mänsklig granskning, dokumentation av källor och antaganden, riktlinjer för godtagbar användning samt processer för att kontrollera AI-genererade resultat. Det innefattar också medvetenhet om hur AI kan manipuleras genom inmatningsuppmaningar, val av källor, rankningssignaler eller förvanskade indata.

Den tredje pelaren är identitets- och åtkomstkontroll. ”Zero Trust”-tankesättet bör inte bara tillämpas på nätverk och enheter, men även till informationssystem och AI-verktyg. Organisationer bör ha koll på vem som har tillgång till vilka verktyg, vilka data dessa verktyg kan använda, vem som kan publicera eller sprida innehåll i organisationens namn, och om AI-agenter ges för hög behörighet och för stor självständighet.

Om en angripare kan missbruka ett legitimt konto kan denne också missbruka den trovärdighet som är knuten till det kontot. Om ett AI-system kan agera på uppdrag av en användare eller organisation handlar det inte bara om vad det kan göra, utan också om vem som kontrollerar det, vad det har tillgång till och hur dess handlingar granskas.

Ett gemensamt ansvar

Organisationer kan inte kontrollera vad varje plattform, konkurrent, statlig aktör eller illvillig grupp gör med information. Däremot kan de kontrollera hur deras egna medarbetare använder den, hur deras system förvaltas och hur stort förtroende de sätter till automatiserade resultat. Det gör informationsresiliens till ett ledningsansvar.

Sökmotorer och LLM är kraftfulla verktyg. De kan förbättra tillgången till kunskap, effektivisera arbete och bidra till mer effektivt beslutsfattande. Men de är alltför inflytelserika för att kunna betraktas som neutrala. I takt med att AI blir en integrerad del av det dagliga arbetet behöver organisationer tydliga principer för hur den ska användas, granskas och betraktas som tillförlitlig.

Risken ligger inte bara i att AI kan ge ett felaktigt eller hallucinerat svar. Den större risken är att resultat baserade på partiskhet, ofullständig information eller dataförgiftning blir en del av organisationens beslutsprocess utan att ifrågasättas. När automatiserade svar framstår som säkra och fullständiga är det mindre troligt att människor ifrågasätter dem.

Organisationer bör därför förhålla sig till AI med hög medvetenhet, robust styrning och kritiskt tänkande. De måste utbilda sina anställda i att bedöma AI-genererad information, fastställa riktlinjer för godtagbar användning, kontrollera åtkomsten till känsliga uppgifter och införa rutiner för att verifiera viktiga resultat innan åtgärder vidtas utifrån dem. De bör också inse att AI-dataförgiftning, AI-manipulation och attacker genom dataförgiftning inte är isolerade tekniska begrepp, utan en del av en bredare utmaning kring informationsintegriteten.

Målet är inte att avvisa AI, utan att använda den på ett ansvarsfullt sätt. I AI-eran gäller det att utgå från att varje svar eller resultat alltid utgår från någon form av bias. Motståndet mot blind AI-tillit behöver integreras i processerna, prövas i praktiken och kontinuerligt värnas om.