Vem trycker på stoppknappen?

[musik] Måndag den femte oktober, klockan elva på förmiddagen i New York, fem på eftermiddagen här hemma. Rummet är rådsalen i stadshuset. Alla femtioen ledamöter i stadens råd är kallade dit till en och samma utfrågning. Tänk dig skrapet när varenda stol dras fram.

På bordet ligger tio förslag om AI. Ett av dem skulle förbjuda att en AI-modell säljs eller används i staden om den saknar en viss förmåga. I rådets sammanfattning av förslaget står det, fritt översatt: "En teknisk förmåga att stoppas av en mänsklig operatör." En människa ska alltså kunna stänga av den. Ett annat förslag ger den som anmäler ett brott mot reglerna tjugofem procent av det som drivs in.

Inget av det här är lag. När det här avsnittet publiceras har utfrågningen inte ens hållits. Men frågan i det rummet är samma fråga som vi ställer i dag. Om en maskin ska kunna stoppas, vem står då bredvid knappen när det verkligen gäller?

Någon måste kunna trycka på knappen. Välkomna till Gästen först. Jag heter Olivia och i dag pratar vi om nödbromsar. Och med en gäst som jag misstänker läser fotnoter för nöjes skull.

Andreas är en gestaltad röst, en jurist vi har hittat på för samtalet. Men lagarna vi pratar om är verkliga. Andreas, välkommen. Tack, och du misstänker rätt.

Jag är jurist och arbetar med teknikreglering, så fotnoterna är ungefär där jag bor. Det är där det intressanta står. Rubriken lovar något, fotnoten berättar när det gäller och för vem. Då kommer du att trivas i dag, för det här avsnittet består nästan bara av datum.

Och Rickard är här som vanligt. Hej, och jag är den i rummet som inte läser fotnoter för nöjes skull. Jag har läst gäster istället i salen i många år. Det tar ungefär lika lång tid och är roligare.

Där har vi dagens konflikt, det hör jag redan. Andreas, varför just nu? Varför pratar alla om att stänga av AI den här hösten? För att allt har hamnat i samma vecka.

I New York presenterades tio förslag i fredags. I USA:s kongress finns nya förslag från både demokrater och republikaner och i EU står det redan en stoppknapp i lagtexten, bara med ett datum som ligger en bit bort. Så för någon som jag är det lite som jul, fast med utskottsbehandling. Det är den tråkigaste julen jag hör talas om.

Ta New York först. Vad är det de har presenterat och hur långt har det kommit? Här vill jag vara noggrann. Rådets talman presenterade tio förslag den tjugofemte september.

De ska tas upp på en utfrågning inför hela rådet på måndag och åtta av de tio har ännu bara preliminära nummer i rådets register. Och inget är antaget och inget är i kraft. Det är förslag som ska diskuteras. Punkt.

Tack för att du sa punkt, det hjälper mig. Och avstängningen, hur ser det förslaget ut? Det är det som brukar kallas en avstängningsknapp. Förslaget säger att en AI-modell inte får marknadsföras, säljas eller användas i staden om den inte har granskats av en tredje part eller om det saknas en teknisk möjlighet för en människa att stänga av den.

Och bryter man mot det kan det kosta tjugofem tusen dollar per fall. Per fall, inte per år, inte per bolag. Per fall. Två små ord i en lagtext kan göra mer än en hel paragraf och det är ett fast belopp, inget tak.

Och visselblåsarna, det låter som den mest amerikanska delen av alltihop. [skratt] Det är det. Enligt förslaget skulle vem som helst få anmäla till stadens myndighet för konsument- och arbetstagarskydd. Leder anmälan till böter skulle den som anmälde få tjugofem procent av det som drivs in. Och driver personen ärendet vidare på egen hand skulle det bli femtio procent.

Tjugofem procent, det är mer än dricksen på en riktigt bra lördag. [skratt] Ska vi byta bransch, Rickard? Nej, men jag förstår plötsligt varför folk läser fotnoter. [skratt] Välkommen till klubben. Vi har inga möten, bara bilagor. Men allvarligt, Rickard, vem i personalen ser felen först?

Den nyaste, den som inte har vant sig än. Den som har jobbat länge har lärt sig att gå runt problemen. Den som är ny ser dem. Och den nya säger sällan något för hon tror att det är hon som gör fel.

Man måste göra det tryggt att säga till. Det finns ett förslag till i paketet som är intressant för oss. Om chattbottar. Ja, ett annat av de tio förslagen skulle kräva att en chattbot talar om för användaren att den inte är en människa och att den inte får ge sken av att kunna ge råd på samma nivå som en legitimerad yrkesperson.

Den första delen är nästan samma sak som redan gäller i EU sedan i augusti. Så där ligger New York efter oss om man vill vara lite kaxig. Det är första gången jag hör någon vara kaxig för EU-byråkratins räkning. Man tar de segrar man får.

Och så finns det brev till AI-bolagens chefer har jag förstått. Vad står det i dem? Talmannen har skickat brev till cheferna för fem av de största AI-bolagen och bett dem delta i utfrågningen. Rådet skriver att det förbehåller sig rätten att tvinga dem att vittna om det behövs.

Om någon har tackat ja vet vi inte och vad som händer på måndag tänker jag inte spekulera i. Då vill jag att ni tar ställning tidigt så att lyssnarna vet var ni står. Andreas, behövs en nödbroms i lag? Ja, och mitt argument är tråkigt, men jag tror att det är sant.

En avstängningsfunktion kostar pengar att bygga, den syns inte i någon reklam och ingen kund frågar efter den innan det har gått fel. Utan lagkrav är det ingen som bygger den. Ingen vill illa, det är bara ekonomi. Rickard?

Jag tror inte att han har fel om knappen. Jag tror att han har fel om vad som räddar en kväll. En nödbroms som ingen har övat på fungerar inte när det brinner. Det vet alla som har jobbat i en sal och det gäller helt andra saker än AI.

Som vad då? Som när kassan lägger av mitt i en rusning eller när ett bokningssystem dubbelbokar ett bord. Sånt händer i de flesta salar förr eller senare och det är nästan aldrig en knapp som räddar läget. Det är en människa som står där, som har gjort det förut och som vågar säga stopp högt.

Så ansvaret vill jag lägga hos den som har systemet i drift varje dag, inte bara i en lagtext. Och där blir jag orolig, för rutin är exakt det som inte räcker till när systemet är snabbare än människan. Andreas, varför litar du så mycket på lag? Du låter nästan som en troende. [skrattar] Det är en rimlig fråga.

Frivilliga riktlinjer är ofta välskrivna och fulla av goda avsikter. Men som jag ser det överlever en frivillig riktlinje sällan en tuff budgetrunda. Kalla det inte cynism. Det är min tolkning av vad som brukar hända med sånt som ingen måste göra.

Där har vi det. Jag lovar att vi kommer tillbaka dit. Men först en snabb resa genom USA, för där finns ett mönster som jag tycker är intressant. Andreas, vad händer i kongressen?

Den tjugotredje september la en partilös senator fram ett förslag i senaten och en demokrat har lagt ett likadant förslag i representanthuset. Kärnan är ett förbud mot det som kallas superintelligens och en paus i utvecklingen av den mest avancerade AI:n. Förslaget skulle också skapa ett nytt federalt departement för AI. Och vad ska det departementet göra?

I deras eget pressmeddelande står det att departementet ska övervaka att farliga förmågor tas bort. Ett av exemplen de ger är en AI som försöker kringgå kommandon om att stängas av. Samma vecka kom ett förslag från en republikan i representanthuset. Enligt titeln ska alla AI-system ha avstängningsmekanismer som styrs av människor.

Från båda hållen alltså. Ja, och det säger jag som ett faktum, inte som en värdering. Förslagen har skickats till utskott och där ligger de. Och här finns en lucka som jag tycker är viktig.

Kongressens officiella lagtexter var inte publicerade när vi kontrollerade i söndags. Men förslagsställarna bakom senatsförslaget har själva lagt ut sitt utkast till lagtext på senatorns webbplats så den går att läsa. Republikanens förslag känner vi bara till titeln på. Så en av böckerna går att läsa och republikanens har vi bara sett omslaget på.

Precis, och ett omslag är det jurister tycker allra minst om. Och Kalifornien, där har det väl redan blivit lag? Ja och nej, och det är där mönstret syns. 2024 fanns ett förslag i Kalifornien som krävde en förmåga att snabbt stänga av en modell helt. Det stoppades med veto den tjugonionde september det året.

Stoppades alltså. Och sen? Ett år senare, på dagen, skrev guvernören under en annan lag, SB femtiotre. Den handlar om öppenhet och incidentrapporter.

Bolagen ska rapportera inom femton dagar eller inom tjugofyra timmar om det finns överhängande risk för att någon dör eller skadas allvarligt. Men den innehåller inget krav på avstängning. Den kräver att bolagen berättar. Att de ska kunna bromsa kräver den inte.

Så kravet åkte ut i Kalifornien och nu dyker det upp igen, i en stad och i kongressen. Precis. Idéer i juridiken dör sällan. De byter bara adress.

Som en stamgäst som har bytt krog men fortfarande beställer samma sak. Du kan inte låta bli. Nej, det kan jag inte. Men Rickard, är inte incidentrapporten ganska nära det du vill ha?

Att någon ser och säger till. Den är närmare än knappen faktiskt. En rapport betyder att någon har tittat, men den kommer efteråt. I salen vill jag att någon säger till medan det händer, inte i ett protokoll dagen efter.

Och där har du just gett mig ett argument. Om rapporten kommer för sent och rutinen är för långsam, vad är det då som stoppar systemet medan det händer? En människa som står där och vet vad hon gör. Med vilken knapp?

Vi är inte ens halvvägs och ni har redan börjat munhuggas. Då går vi hem till Europa. Andreas, du sa att EU redan har en stoppknapp Ja, och den står ordagrant i AI-förordningen, artikel fjorton, fjärde punkten. Vill du läsa den?

Du har en bättre röst än jag. Gärna. Den som har kontroll över systemet ska kunna, citat: "Ingripa i driften av AI-systemet med hög risk eller stoppa systemet med en stoppknapp eller ett liknande förfarande som gör det möjligt för systemet att stoppas i ett säkert läge", slut citat. [skratt] Det var den mest byråkratiska meningen jag har läst i år och ändå ganska vacker. [skratt] Den är vacker. Men lyssna på tre ord i mitten.

Med hög risk. Varför är just de orden så viktiga? Knappen gäller inte vilken AI som helst. Den gäller system som räknas som högrisk och även där gäller kravet bara i den mån det är lämpligt och proportionellt.

Och den gäller inte än. För de fristående högrisksystemen gäller den från den andra december 2027. För system som är inbyggda i produkter gäller den från den andra augusti 2028. Och de datumen flyttades, eller hur?

Ja, i somras antogs en ändringsförordning som sköt fram dem. Innan dess skulle de fristående systemen ha omfattats redan från den andra augusti i år. Så om man ska säga det enkelt står det såhär i EU:s lag: Någon måste kunna trycka på knappen. Och det är just ordet någon som jag har fastnat på.

För lagen säger ju inte bara knapp. Den säger också att den som använder systemet ska utse människor med nödvändig kompetens, utbildning och auktoritet att utöva kontrollen. Det är ju precis det jag menar. Det är artikel tjugosex och den är bra.

Men lägg märke till att den ligger i samma kapitel som knappen och gäller från samma datum. Den personen finns i lagen för att knappen finns. Utan knappen har den kompetenta människan ingenting att trycka på. Hon kan bara titta på.

Och utan människan har knappen ingen som vet när den ska användas. Ni låter som två stycken i samma paragraf som vägrar sitta bredvid varandra. [skratt] Det är ungefär så juridik känns inifrån. Jag fastnade på slutet av meningen. Stoppas i ett säkert läge.

Vad betyder det? Som jag läser det räcker det inte att dra ur sladden. Om ett system stoppas mitt i en uppgift ska det inte lämna efter sig ett kaos som är värre än felet. Det ska stanna på ett sätt som går att ta över.

Det där förstår jag direkt, för det är precis så det fungerar i salen. Om något går fel mitt i en servering kan man inte bara sluta bära ut tallrikar. Någon tar över bordet, säger till gästen vad som händer och ser till att ingen blir sittande och väntar utan att veta varför. Säkert läge i en sal är att gästen får en människa.

Det var nog den finaste översättningen av en EU-förordning jag har hört. Jag vill ha den som fotnot. Nu vill jag komma till lyssnarnas vardag. En chatbot på hemsidan eller en röst som svarar i telefon när ingen hinner räknas inte per automatik som ett högrisksystem.

Andreas, vad gäller för dem? Det här är dagens mest konkreta del, så spetsa öronen. [skratt] Jag spetsar. Artikel femtio, första punkten, gäller sedan den andra augusti i år, utan övergångsperiod. Ett AI-system som pratar direkt med människor ska vara byggt så att människorna får veta att de pratar med en AI, såvida det inte är uppenbart.

Informationen ska komma tydligt och senast vid första kontakten. Och texten skiljer inte på skrift och röst, så det gäller även rösten som svarar i telefon. Såvida det inte är uppenbart. Det låter som ett kryphål, stort som en ladugårdsdörr. [skratt] Det låter så.

Men måste man diskutera om det är uppenbart, då är det nog inte uppenbart. Så ett hotell med en chatbot måste se till att den säger det. Här kommer en viktig fotnot. Skyldigheten i den punkten ligger på leverantören, alltså den som utvecklar systemet och släpper ut det på marknaden eller tar det i bruk i eget namn.

Och vad är hotellet då i förordningens språk? Oftast tillhandahållare, alltså den som använder systemet. Där hamnar normalt ett hotell som köper en färdig chatbot. Bygger hotellet chatboten själv eller kör den under eget varumärke kan det se annorlunda ut.

Var gränsen går för ett visst hotell tänker jag inte avgöra i en podd. Klokt av dig. Min ansvarsförsäkring tackar. Men gästen bryr sig inte om vem som är leverantör.

Gästen ringer hotellet. Om rösten i luren låtsas vara en människa är det hotellet gästen blir besviken på. Hade jag ansvar för ett hotell i dag skulle jag vilja veta vad vår chatbot säger i första meningen, oavsett vem lagen pekar på. Där håller jag helt med dig och det är en ovanlig känsla i dag.

Anteckna tiden, det kommer inte att hända igen. Och vem kontrollerar det här i Sverige? Regeringen fattade beslut den fjärde juni och beslutet publicerades den tolfte juni. Post- och telestyrelsen har marknadskontroll över transparenskraven i punkt ett, två och fyra i artikel femtio.

Integritetsskyddsmyndigheten har punkt tre som handlar om känsloigenkänning och biometrisk kategorisering. Men det är ett tillfälligt uppdrag. Det gäller till och med den trettioförsta december i år. Och sen?

Här har jag ett fynd som jag vill berätta om helt neutralt. En statlig utredning föreslog att en svensk kompletteringslag skulle träda i kraft den andra augusti i år. Det datumet har passerat. Och har lagen kommit sedan dess?

Nej. När vi sökte i Riksdagens dokumentdatabas i söndags fanns ingen proposition om en sådan lag. Så någon allmän svensk kompletteringslag har ännu inte lagts fram. Myndigheterna har istället fått det tillfälliga uppdraget.

Betyder det att det inte finns några sanktioner? Nej, så ska man inte säga det. EU-texten har ett tak för brott mot transparenskraven. Upp till femton miljoner euro eller tre procent av den globala årsomsättningen, det som är högst.

För små och medelstora företag gäller det lägre beloppet. Men hur de svenska sanktionsreglerna ska se ut är inte beslutat. Och hur många svenska restauranger och hotell har en chatbot eller röstassistent som omfattas? Det vet vi inte.

Någon sådan siffra har vi inte hittat. Och det säger en hel del. Vi räknar varje kuvert en fredag, men inte maskinerna som pratar med gästen i vårt namn. Men det finns ett ställe där knappen kan nå besöksnäringen direkt.

Personalen. Ja, i förordningens bilaga tre, punkt fyra, finns AI-system i arbetslivet som fördelar uppgifter utifrån individuellt beteende eller personlighetsdrag, eller som övervakar och utvärderar hur personer presterar och beter sig. Och ett schemaverktyg på en restaurang, var hamnar det? Ett verktyg för schemaläggning eller personalutvärdering kan alltså hamna där.

Kan, inte ska. Det avgörs av vad verktyget är avsett för, och det har vi inte prövat för något enskilt verktyg. Hamnar det där så gäller knappen och kravet på mänsklig kontroll från den andra december 2027. Ett system som redan finns på marknaden vid det datumet omfattas bara om det ändras betydligt i sin utformning.

Rickard, du har stått där schemat sätts upp. Hur låter det här? Det låter som den viktigaste delen av hela avsnittet, för den handlar om människor som inte kan säga nej. Varför kan de inte säga nej?

En gäst kan gå till en annan krog. En servitör som får sina pass av ett system kan inte gå ut ur schemat. Om systemet börja göra fel är det den som drabbas som märker det först och den har minst makt att stoppa det. Så där vill jag ha en människa som tittar varje vecka, inte en knapp som någon kanske trycker på.

Och där vill jag ha både människan och lagen. För den som ska titta varje vecka är ofta samma person som köpte systemet för att slippa titta. Det där satt. Det satt, men det gör mig inte mer säker på knappen.

Rickard, du sa tidigare att alla som har jobbat i en sal känner igen det här. Vad menar du? Den som har jobbat i en sal en fredagskväll vet hur det kan se ut när ett system börja göra fel mitt i rusningen. De flesta som har jobbat länge i branschen har varit med om det.

Och det som räddar kvällen är nästan aldrig en knapp. Det är att någon i personalen ser det, säger stopp högt och att alla vet vad som ska hända sedan. Vem tar dörren? Vem tar telefonen?

Vem pratar med borden? Det låter nästan som en koreografi. Det är en koreografi och den fungerar bara om man har gjort den förut, inte för att någon har läst en instruktion. Och som sommelier lärde jag mig samma sak med vin.

Felet i en flaska hittar du inte på etiketten. Du hittar det med näsan i glaset vid bordet medan gästen tittar på dig. Så knappen är etiketten och människan är näsan. Ungefär så.

Fast etiketten är ofta väldigt snygg. Nu förolämpade du alla jurister i hela landet. Bara de som skriver etiketter. Andreas, nu får du svara ordentligt.

Varför räcker inte rutinen? För att rutinen är byggd för en människas takt. Något går fel, någon ser det, någon säger stopp. Det tar sekunder, kanske minuter.

Och en AI? En AI som svarar alla gäster samtidigt mitt i natten kan göra samma fel om och om igen innan någon ens har vaknat. Och mitt i natten står ingen i salen. När systemet är snabbare än människan hjälper rutinen inte.

Då räddas du bara om någon har tvingats bygga in en broms innan det gick fel. Och det tvånget kommer bara från lag. Men du kan inte öva på en broms som bara finns på papper. Om lagen kräver en knapp, men ingen vet var den sitter, då har vi hängt en brandsläckare bakom en låst dörr.

Den finns, den är godkänd och den hjälper ingen. Och utan lagen finns det ingen brandsläckare alls. Då är det bara du och en hink. Jag börjar tycka om den här hinken.

Ett lugnt huvud har räddat fler kvällar än all utrustning i världen. Det vet alla som har stått i en sal en lördag. Det tror jag på. Men ett lugnt huvud går inte att kopiera till varje hotell som köper samma system.

Nej, och därför vill jag lägga ansvaret där systemet används varje dag. Den som har systemet ska kunna svara på en enda fråga. Vem hos oss stänger av det? Och när övade vi senast?

Den frågan är bra. Men titta på vad som hände med kravet på AI-kunnighet i EU i somras. Vad hände? Artikel fyra handlar om AI-kunnighet hos personalen.

I somras skrevs den om. Nu ska man vidta åtgärder för att främja AI-kunnighet och texten säger uttryckligen att den inte kräver att man garanterar någon viss nivå. Så kravet blev lägre? Ja, den delen som handlade om personalens kunnande blev mjukare.

Skälet som anges är bland annat att kravet gav en extra börda, särskilt för mindre företag. Men titta på skillnaden. Samma ändring sköt upp knappen med sexton månader för de fristående systemen och knappen står kvar i texten. Kravet på kunnighet skrevs om så att det inte längre kräver någon viss nivå.

Det är mitt bästa argument mot att lita på rutin. Och där drar du nästan mitt argument fast baklänges. Baklänges? Ja, om lagen inte ens kan tvinga fram människor som kan saker, då kommer knappen att sitta där utan någon som förstår när den ska användas.

Du har just visat att lagen är svagast på den punkt jag tycker är viktigast. Eller att lagen är starkast på den punkt som går att kontrollera. En knapp kan en myndighet granska. En rutin kan den inte granska.

En knapp kan man granska, ja, men knappen vet inte när den ska användas. Och där står ni. Jag tänker inte försöka få ihop er. Ni har båda något som den andra inte har svarat på.

Det är det snällaste sätt jag har hört att säga att vi är envisa. [skratt] Det var precis vad jag menade. Ett tankeexperiment. Vad hade hänt om EU inte flyttat datumen i somras? Då hade de fristående högrisksystemen omfattats sedan den andra augusti i år.

Ett nytt schemaläggningsverktyg som räknas som högrisk hade redan behövt vara byggt för mänsklig kontroll med en stoppknapp eller något liknande. Och jag tror att många ändå inte hade vetat vem som skulle trycka. Det hade varit en knapp i ett avtal, inte i en hand. Kanske, men den hade funnits.

Och ett avtal kan man åtminstone läsa. Och om Kalifornien hade sagt ja 2024 istället för nej? Då hade en delstat haft ett avstängningskrav i lag sedan 2024. Och vi hade kanske vetat mer om vad det kostar och om någon använder det.

Det är det jag saknar mest i hela diskussionen. Någon som har tryckt och kan berätta hur det gick. Den vanliga frågan. Om en hotellchef eller restaurangchef bara gör en sak efter det här, vilken ger mest?

Ring leverantören av er chattbot eller telefonröst och ställ en fråga. Vad säger den till gästen i första meningen? Säger den att den är en AI? Det gäller redan.

Min är ännu mindre. Bestäm vem hos er som får stänga av systemet och säg det högt på nästa personalmöte. Inte vem som äger avtalet, vem som står där en fredag och får säga stopp. Om ingen vet det i dag har ni ingen nödbroms, oavsett vad lagen säger.

Och där har vi skrivit en hel rutin tillsammans utan att bli överens om varför. Det är det finaste som hänt här på länge. Tillbaka till stadshuset i New York. På måndag, fem på eftermiddagen svensk tid, är alla femtioen ledamöter kallade dit.

Vi vet inte vad som händer där. Men om ni två satt där, Andreas, en mening. Skriv in knappen i lagen, annars byggs den aldrig. Rickard?

Skriv in människan i rutinen, annars används knappen aldrig. [skratt] Nästan samma mening med ombytta ord. Och ingen av er har backat en millimeter. Det som landas öppet i dag är två saker. Hur en människa ska hinna med en maskin som är snabbare än hon och hur en knapp ska veta när den behövs.

Någon måste kunna trycka på knappen. Frågan är bara vem och om den personen har övat. Och imorgon byter vi rum. Då handlar det om personalen, om tröttheten och om en jämförelse som jag fortfarande funderar på.

Mer säger jag inte. Men ta mer kaffe. Tack Andreas och tack Rickard. Tack, nu går jag hem och läser fotnoter.

Tack för att ni lyssnade på Gästen först. Olivia, som leder programmet, är en AI. Alla röster i avsnittet är AI-genererade, min egen inräknad, och Andreas är en gestaltad gäst. Lagar, förslag och datum har vi kontrollerat mot källorna, men det du har hört är allmän information, inte juridisk rådgivning för just ditt system.

Vi hörs imorgon.