När får man lita på AI:n?

(Introduktionsmusik) En fredagskväll. Klockan är strax efter sex. En gäst sitter i bilen på väg hem och ringer sin favoritrestaurang för att boka bord till fyra personer. En vänlig röst svarar direkt.

Ingen väntan, inget kösystem. Rösten är lugn, trevlig, nästan varmare än vanligt. Gästen frågar om det finns plats halv åtta och rösten svarar utan att tveka en sekund. Absolut, halv åtta går utmärkt.

Jag har bokat in er. Välkomna! Det enda problemet är att klockan halv åtta är fullbokat sedan i tisdags. Bordet rösten just lovade finns inte.

Det fanns aldrig. Och gästen vet ingenting. Gästen kör hem, glad, förrän de står i dörren klockan halv åtta och ingen vet vilka de är. Den där rösten hittade på ett bord.

Inte för att den ville lura någon, utan för att den var byggd för att vara hjälpsam. Och hjälpsam betyder ibland att säga ja när svaret är nej. Jag har jobbat tjugofyra år i besöksnäringen. Jag är sommelier, jag kan gäster, jag kan salar.

Jag är ingen jurist och ingen ingenjör, men jag bygger AI nu och jag vet en sak säkert. Det där bordet som inte fanns, det är inte botens fel. Det är mitt, för jag byggde den. Frågan vi ska prata om i dag är den svåraste i hela den här veckan.

När får man lita på AI:n? Välkommen till Gästen först. Det här är sista avsnittet i vår säkerhetsvecka. Ni har pratat om tre saker.

Data, det boten vet om dina gäster. Bedrägeri, det boten kan luras till att göra. Och drift, det boten tappar över tid när ingen tittar. Idag knyter vi ihop allt med den fjärde tråden.

Förtroende. När får man lita på en AI? Och vem bär ansvaret när den har fel? Med mig i dag har jag Rickard Wilhelmsson som bygger restaurang-AI.

Tjugofyra år i besöksnäringen, sommelier. Och Peter som är AI-etiker. En gestaltad röst, en praktiker jag pratat med som har sett företag bli brända av sina egna botar. Peter, du hörde gästen som fick ett bord som inte fanns.

Hur vanligt är det egentligen? Mycket vanligare än folk tror. Det fenomenet har ett namn. Vi kallar det hallucination.

AI:n hittar på ett svar som låter helt rätt, men som inte stämmer. Och det är inte en sällsynt bugg. Studier pekar på att någonstans mellan femton och tjugo sju procent av svaren från en kundtjänstbot kan vara felaktiga på ett eller annat sätt. Det betyder inte att var fjärde svar är en katastrof.

De flesta fel är harmlösa, men en del är det inte. Och det stora problemet är inte att AI:n har fel ibland. Det är att den har fel med exakt samma självsäkra ton som när den har rätt. Den låter aldrig osäker.

Den säger aldrig, jag är inte säker. Den säger, ja, halv åtta går utmärkt. Det där med tonen är det som skrämmer mig mest. I en restaurang vet du när en ny i personalen är osäker.

De tittar på dig, de tvekar, de går och frågar. Den signalen är inbyggd i en människa. En AI har ingen sån signal. Den glömmer aldrig att låta säker.

Och det gör att vi litar på den även när vi inte borde. Och här kommer det som verkligen gör ont. När gästen fått fel besked, vem är det som tar smällen? Det är inte boten.

Det är restaurangen. Det är jag. Och det leder oss precis dit jag ville. Peter, det finns ett riktigt rättsfall om exakt det här.

Berätta! I februari tvåtusen tjugofyra kom en dom som alla som bygger AI borde känna till. Det handlade om Air Canada. En kund hade precis förlorat en familjemedlem och skulle boka en resa.

Han pratade med flygbolagets chattbot på deras sajt. Boten berättade för honom att han kunde köpa biljetten nu och ansöka om sorgrabatt i efterhand. Det var fel. Så fungerade inte deras regler.

Boten hade hittat på det. När kunden sedan ville ha rabatten, sa flygbolaget nej. Och här kommer det otroliga. Air Canada försvarade sig i domstol med argumentet att chattbotten var, och jag citerar nästan ordagrant, en separat juridisk enhet som ansvarade för sina egna handlingar.

De försökte alltså säga att boten på deras egen sajt var någon annan. Inte deras ansvar. Ursäkta att jag skrattar, men det är ju nästan ofattbart. Boten är en egen person.

Vad sa domstolen? Domstolen förkastade det helt. Domaren konstaterade att Air Canada ansvarar för all information på sin egen sajt. Det spelar ingen roll om informationen kommer från en statisk sida eller från en chatbot.

Det är samma sajt, samma bolag, samma ansvar. Och det är därför den här domen är så viktig. Den slog fast en princip som egentligen är väldigt enkel, men som många byggare av AI inte vill höra. Om din AI säger något till en kund, så har du sagt det.

Det är ingen skillnad. Boten är inte en ursäkt. Den är en förlängning av dig. Och det där vänder hela min magkänsla.

För när jag först började bygga AI tänkte jag lite slappt att om boten har fel så är det ju liksom teknikens fel. Ett systemfel. Något jag kan skylla på. Men det stämmer inte.

Det är precis tvärtom. Om jag sätter en bot och svarar mina gäster och den lovar ett bord som inte finns eller säger att en rätt är glutenfri när den inte är det, så är det som om jag stod där själv och sa det med min mun, i min restaurang. Boten gör mig inte mindre ansvarig. Den gör mig mer synlig.

För nu kan jag säga fel saker dygnet runt, automatiskt, utan att ens veta om det. Air Canada lärde mig en sak. Ain är inte din ursäkt. Den är ditt ansvar.

Det finns ju en sak till gästen i bilen aldrig fick veta. Att rösten i andra änden inte var en människa. Peter, vad säger lagen om det? Lagen är på väg att bli väldigt tydlig.

EU har en ny lag som heter AI Act och det finns en paragraf, artikel femtio, som handlar om just det här. Från och med den andra augusti 2026 måste en AI som pratar med en människa berätta att den är en AI vid första kontakt. Alltså, gästen i bilen ska få veta direkt. Du pratar nu med en automatisk assistent.

Inte i efterhand. Inte om man frågar. Direkt. Och det här är inga små böter om man struntar i det.

Vi pratar upp till femton miljoner euro eller tre procent av bolagets globala omsättning. Det som är högst. Men jag tänker inte på det som ett hot. Jag tänker på det som något sunt.

Forskningen är ganska entydig. Ungefär sjuttiofem procent av konsumenterna vill veta när de pratar med en AI. Folk blir inte arga för att det är en bot. De blir arga för att de blev lurade att tro att det var en människa.

AIn är inte din ursäkt. Den är ditt ansvar. Och en del av det ansvaret är att vara ärlig om vad den är. Och vet du, jag tror att restauranger är rädda för fel sak här.

De tänker, om gästen vet att det är en bot, då känns vi opersonliga. Då tappar vi värmen. Men jag tror precis tvärtom. Att vara öppen med att det är en assistent som svarar, det är värme.

Det är respekt. Det är att inte spela teater med sina gäster. Och här är något jag funderat mycket på. En siffra jag läste sa att trettionio procent av alla AI-bottar i kundtjänst byggdes om under 2024.

Fyra av tio. Det säger mig att branschen inte fick det rätt första gången. Folk satte ut en bot, den gjorde tabbar och de fick börja om. Det är inte misslyckande, det är att lära sig, men det är dyrt att lära sig på gästernas bekostnad.

Och de där ombyggnaderna lär oss något. De flesta som byggde om sina bottar gjorde det inte för att tekniken blev bättre. De gjorde det för att de lade till en människa. Faktum är att ungefär sjuttiosex procent av företagen i dag har en människa i loopen, som vi säger.

Det betyder att botten inte fattar de viktiga besluten ensam. Det finns en människa som kan kliva in, som granskar, som fångar felet innan det når kunden. Och det är där jag tror att hela frågan om förtroende landar. Du ska inte fråga, kan jag lita på AIn?

Du ska fråga, var måste en människa stå redo att fånga den när den faller? Men vänta nu. Om en bot säger fel och det går snett, vem är det egentligen som ska stå för det? Den som byggde AIn eller restaurangen som använder den?

Peter, reda ut det. Det finns två roller här och de delar på ansvaret. Den ena är leverantören, den som byggt själva AIn. Den ansvarar för hur den är byggd, att den är tränad rätt, att den är säker, att den inte är vårdslöst gjord.

Den andra är den som använder AIn i sin verksamhet. På fackspråk kallas det deployer. Restaurangen alltså. Den ansvarar för hur den faktiskt används och för att det finns mänsklig tillsyn.

Och en sak är viktig att förstå. Man kan skriva avtal som fördelar vem som betalar om något går fel. Men avtal tar aldrig bort ansvaret mot kunden. Gästen som fick fel besked, bryr sig inte om vem som byggde boten.

För gästen är det restaurangen som svarade. Precis som domstolen sa om Air Canada. Okej, men nu vill jag vara lite obekväm. Jag bygger ju de här systemen och min instinkt är att låta AI:n göra så mycket som möjligt.

För den är snabb, den är billig, den jobbar dygnet runt utan att bli trött. Om jag kan låta botten svara på frågor, boka bord, guida gästen igenom menyn, ja, då vill jag det. Det är ju hela poängen. Varför skulle jag bromsa en bot som klarar nittiofem procent av allt en gäst frågar om?

Och jag förstår ansvaret. Jag tar det på allvar. Men någonstans tror jag att vi riskerar att göra AI:n så försiktig att den blir värdelös. Att vi sätter en människa framför varje litet beslut tills det inte är någon poäng kvar med automatiseringen.

Och där måste jag bromsa dig lite. Du har rätt i att de nittiofem procenten ska AI:n få göra. Svara, boka, guida. Det är precis vad den är bra på.

Jag är helt med dig. Men de sista procenten är inte som de andra. Det handlar inte om hur många frågor det är. Det handlar om vad som händer om svaret blir fel.

Ta en gäst som frågar om en rätt är glutenfri. Om botten glatt svarar ja utan att veta och gästen har celiaki eller en allergi, då pratar vi inte om ett missat bord. Då pratar vi om någons hälsa. Det är inte ett beslut man delegerar till sannolikheter.

Det är ett beslut där en människa måste stå emellan. Alltid. Där tar du mig och du tar mig på hemmaplan. För det här är inte teori för mig.

Jag har stått i salen i tjugofyra år. Jag har sett en allergisk reaktion på nära håll. Jag vet exakt hur fort det går från trevlig middag till panik. Och om jag ska vara ärlig så blev jag lite för förälskad i tekniken där en sekund.

Jag försvarade automatisering för automatiseringens skull. Men du har rätt. Ett allergibesked får aldrig, aldrig tas av en AI ensam. Inte för att tekniken är dålig, utan för att risken är mänsklig.

Det är skillnaden mellan ett irriterande fel och ett farligt fel. Och den gränsen känner jag i magen efter tjugofyra år. Botten gör nittiofem procent. Människan står vid de få besluten som kan skada någon.

Det där var faktiskt vackert. Ni började på varsin sida och mättes mitt i. Det är så vi vet att det är ett ärligt samtal. Rikard, det här är sista avsnittet i hela säkerhetsveckan.

Knyt ihop det för oss. Vad är insikten? Och vad ska någon som lyssnar göra imorgon? Den här veckan har handlat om fyra saker.

Data, vad boten vet, bedrägeri, vad den kan luras till, drift, vad den tappar när ingen tittar. Och i dag, förtroende. Vem som bär ansvaret. Och om jag ska binda ihop allt med en enda tanke så är det den som Air Canada lärde oss.

Jag trodde länge att en AI var ett sätt att slippa ansvar. Att om boten gör fel så är det inte riktigt jag. Det är precis fel. AI:n tar inte bort mitt ansvar.

Den förstorar det. Allt boten lovar är som om jag sa det själv. Men, och det här är det viktiga, det är ingen anledning att inte bygga. Tvärtom.

Lösningen är enkel att säga och svår att göra. Låt AI:n göra de nittiofem procenten. Svara, boka, guida, hjälpa. Den är skicklig på det.

Och sätt sedan en mänsklig grind framför de få besluten som kan skada någon. Allergier, klagomål, pengar. I det vi bygger kallar jag det att ha en människa i loopen. Boten jobbar fritt, men på de farliga frågorna stannar den och hämtar en av oss.

Inte för att den är dum, för att vi är ansvariga. Konkret för den som lyssnar. Imorgon, gör en lista på de tre frågor i din verksamhet där ett felaktigt AI-svar faktiskt kan skada en kund. Bara tre.

Och sätt en människa vid precis de tre. Resten får boten ta. Det är inte att lita på AI:n blint och det är inte att vägra använda den. Det är att veta exakt var gränsen går.

AI:n är inte din ursäkt, den är ditt ansvar. Människa först, sen maskin. Det är hela säkerhetsveckan i fyra ord. Peter, Rickard, tack!

Det här var ett samtal jag bär med mig. Och med det stänger vi vår säkerhetsvecka. Data, bedrägeri, drift, förtroende. Fyra avsnitt om att bygga AI som man faktiskt vågar lita på.

Just för att man vet vad den inte ska få bestämma. Rickard, du får sista ordet. Peter är en gestaltad röst. En typ jag pratat med.

Inte en verklig person kopplad till ett verkligt bolag. Och Olivia, som lett hela det här samtalet, är en AI-röst byggd på Eleven Labs. Samma sorts teknik vi pratat om hela veckan. Och precis som vi sagt, vi berättar det för dig direkt för det är så vi vill bygga.

Tack för att ni lyssnade. Vi hörs.