“Du skal turde hoppe ud på tynd is” – erfaringer med at lede AI-implementering i praksis

Kunstig intelligens og generativ AI fejer lige nu som en storm ind over både offentlige og private arbejdspladser. Debatterne om, hvad teknologien kan gøre godt for os, og hvad den bestemt ikke skal bruges til, er intense og efterlader ledere med et massivt ansvar for at holde hovedet koldt og tungen lige i munden uden at være digitale lyseslukkere.

Den øvelse har David Mortensen, teamleder i Minksekretariatet under Trafikstyrelsen, været igennem med liv og forstand i behold. Som led i et kompetenceudviklingsforløb om digital transformation mødte han Per Eeg, ekspert i ledelse af digitalisering og AI, der underviste på forløbet. Her deler de to deres vigtigste erfaringer og læringspunkter fra praksis.

Det faglige spektrum udvidede sig

Men først lidt baggrundsinformation for at forstå afsættet for deres erfaringer:

Som teamleder i Minksekretariatet er det David Mortensens opgave at sikre, at hans højt specialiserede medarbejdere sagsbehandler erstatninger til de minkavlere, som fik deres bestand aflivet i forbindelse med corona, korrekt. Fundamentet for arbejdet er 1.000 siders regler og instrukser, bl.a. lovgivning, og 15.000 siders praksisviden. Det kræver ikke stor indsigt at regne ud, at den mængde information tager lang tid at finde rundt i. Og det trak især store veksler på erfarne koordinatorer i sekretariatet, der fungerede som levende opslagsværk.

Så for at aflaste dem og i det hele taget gøre det både lettere og mere effektivt for medarbejderne at bruge de mange siders regler, besluttede man at bruge AI til at lave, hvad der i første omgang var tænkt som et værktøj til opslag i instrukserne. Men ret hurtigt opstod et ønske fra medarbejderne om at inkludere de 15.000 siders praksis i værktøjet for at gøre det endnu mere anvendeligt.

- Dermed udviklede løsningen sig undervejs fra et rent instruksopslag til noget, der dækkede et langt større fagligt spektrum. Vi fik en teknologi i hånden, som udviklede sig, mens vi arbejdede med den. Derfor valgte vi bevidst et lærings- og værdifokus i stedet: Hvordan får vi den bedst mulige brugeroplevede kvalitet ud af løsningen, fortæller David Mortensen.

^{David Mortensen}

Ledelsesmæssig læring i bumpene

Projektet endte som det opslagsværk, der i dag går under navnet Minkipedia, og som også bruges til e-læring for nye medarbejdere og rummer en AI-assistent, der kan hjælpe med at analysere betydningen af nye afgørelser for det samlede regelsæt.

- På den måde bliver kompetenceudvikling en integreret del af det daglige arbejde, Minkipedia sparer tid i det daglige arbejde, og den har skabt bedre kvalitet, fordi den kan udfolde perspektiver, som den enkelte medarbejder ikke nødvendigvis ser i første omgang, siger David Mortensen.

Men processen har ikke, erkender han, været sømløs. Og med hvert bump på vejen har fulgt ledelsesmæssige læringer. Og netop læringsperspektivet i processen har været den største ledelsesmæssige gevinst, vurderer David Mortensen.

- Vi fik rigtig meget ud af at have læringsfokus frem for det klassiske leverancefokus med kravspecifikationer, deadlines og en it-løsning, der skal leveres. Og som leder lærte jeg bl.a., at man må anerkende, at man ikke nødvendigvis får én-til-én det, man forestillede sig i begyndelsen. Løsningen kan udvikle sig, og man kan lære undervejs. Man skal være nysgerrig på, hvad teknologien faktisk kan, når den møder virkeligheden og praksis – og om den værdi, man forestillede sig, faktisk er den værdi, brugerne oplever, siger han og tilføjer:

- Det kræver også en villighed til at prøve noget, der måske viser sig ikke at være så klogt eller gennemtænkt, som man håbede. Ellers lærer man ikke ret meget.

Ny, hurtig og usikker teknologi

Per Eeg var med til at facilitere et fem dages kompetenceudviklingsforløb i ledelse af AI og digitalisering for hele ledelsen i Trafikstyrelsen med bl.a. Minkipedia som case. Han fremhæver to karakteristiske usikkerheder ved at arbejde med AI, som kræver særlig ledelsesmæssige håndtering.

- For det første er teknologien ny og udvikler sig ekstremt hurtigt. For det andet er sprogmodeller sandsynlighedsbaserede. De giver ikke nødvendigvis det samme deterministiske resultat hver gang, sådan som en lommeregner giver 49, når man skriver 7 gange 7. Det er en del af forklaringen på, at teknologien kan så meget, men det er samtidig en usikkerhed, som skal håndteres. David Mortensen nikker genkendende.

- Ja, det er en superpotent teknologi. Men netop usikkerheden kræver også noget ekstra ledelsesmæssigt. Klassisk agil implementering og forandringsledelse er stadig relevant, men der kommer nogle ekstra lag ovenpå, fx at vi er nødt til at tænke i tillid og transparens. Og her kommer vi for alvor væk fra det rent it-mæssige og over i ledelse: Hvordan sætter vi nogle hegnspæle omkring den faglige dømmekraft?

^{Per Eeg}

Hegnspælene sætter rammen

For, pointerer han, et værktøj som Minkipedia skal ikke erstatte medarbejdernes faglige viden og erfaring.

- Vi bruger den som beslutningsstøtte. Den skal understøtte, kvalificere og gøre arbejdet hurtigere. Den må ikke få den modsatte effekt, så medarbejderne skal kunne se, hvorfor og hvordan et svar kommer, og de skal vide, at systemet kan tage fejl. Det kræver fagprofessionelle, som har kompetencen til at sige: Det her er forkert. Det sender vi ikke videre, siger David Mortensen og fortsætter:

- Som offentlig myndighed skal vi kunne stå på mål for vores afgørelser. Så hvordan bruger vi teknologien til at gøre opgaveløsningen hurtigere og mere kvalificeret uden at afmontere vores rolle som embedsmænd? Den dimension er meget vigtig at få italesat og få ind under huden på alle.

For, reflekterer han videre, hvis først medarbejderne begynder at tænke, at det ikke længere er vores ansvar, fordi modellen laver arbejdet for os, har vi et problem. Så bliver det en black box. Og hvis vi ikke kan forklare over for en borger, hvordan vi er kommet frem til et svar, mister vi både den faglige og den institutionelle tillid.

AI aflaster frem for alt

Men – jo flere faglige hegnspæle, ledelsen sætter op, desto mere vil potentialet i så kraftfuld en teknologi blive begrænset. Eller …?  Nej, understreger Per Eeg. Hegnspælene er nødvendige ledelsesmæssige hjørneflag, som rammer banen at spille på tydeligt ind.

- Jeg ser dem snarere som en nødvendig forudsætning. Når vi bruger så kraftfuldt et værktøj, er min tommelfingerregel, at organisationen ikke bør bede AI-løsningen om noget, som organisationen samlet set ikke har faglighed til at kontrollere, siger han.

- Det lyder måske mærkeligt: For hvorfor spørge AI om noget, hvis vi allerede ved det? Fordi AI kan aflaste, finde rundt i enorme mængder af stof og hjælpe nye medarbejdere, uden at de mest erfarne koordinatorer skal svare på alle opslagsspørgsmål. Men organisationen skal stadig have ekspertisen til at opdage de tilfælde, hvor svaret er forkert eller hallucineret, siger Per Eeg.

Pas på ”godt-nok”-effekt

Risikoen er nemlig, at jo bedre løsningen bliver, desto større bliver også risikoen for det, som han kalder en “godt nok”-effekt.

- Hvis de første 50 svar var rigtige, hvorfor skulle man så tjekke nummer 51? Derfor skal vi tænke over, hvordan vi holder fagligheden vågen, også når systemet bliver meget pålideligt. Det er i sidste ende et ledelsesmæssigt ansvar at sikre, siger Per Eeg.

De ledelsesmæssige hegnspæle omfatter i dag også konkrete rammer for, hvordan værktøjet må bruges, og hvad det kan, fx at modellen ligger i et lukket miljø og ikke trænes direkte på organisationens data, bl.a. af hensyn til GDPR. Eller at svar fra værktøjet ikke kan copy-pastes direkte ind i en afgørelse, men skal ses af flere øjne først.

- Vi har bevidst valgt, at løsningen ikke kan autogenerere afgørelser i så vigtig og ulykkelig en sag som minksagen. Den skal støtte det faglige arbejde, ikke overtage afgørelsen. Her er min opgave at sætte rammen: Det er vigtigt, at I bruger løsningen – men brug den klogt, og tag jeres egen faglighed med ind i arbejdet. Det er nok et af de vigtigste ledelsesgreb, konstaterer David Mortensen.

Lederens nysgerrighed driver fremad

En anden vigtig ledelsesmæssig læring har været, at som leder skal David Mortensen ikke selv være den tekniske ekspert.

- Men man skal forstå grundpræmisserne godt nok til at kunne navigere og stille de rigtige spørgsmål. Og man er nødt til at gøre noget for at forstå det. Det, som Per (Eeg, red.) kalder ’at gribe for at begribe’. Det var jo præcis min egen oplevelse: Jeg greb muligheden, prøvede den af og begyndte dermed at begribe, hvad teknologien kunne på mit område.

David Mortensen skulle også holde fokus skarpt på både retning og vision.

- I begyndelsen tænkte jeg det måske mere som et redskab, men det endte med at blive meget mere visionsdrevet: Hvad ønsker vi? Hvad drømmer vi om? Det blev på den måde en mere normativ proces, som ikke er slut. Vi får løbende nye forslag fra vores ambassadører fra testgruppen i projektet, så udviklingen fortsætter. Og ledelsesopgaven bliver at styre den og sørge for, at nye ideer bliver forfulgt inden for vores hegnspæle, siger han.

- Alle ledere skal ikke opfinde deres egen Minkipedia. Men alle ledere er nødt til selv at afprøve teknologien på deres område. Der ligger meget ledelsesmæssig erkendelse i at mærke, hvad den faktisk kan og ikke kan.

Per Eeg

AI ind i kerneopgaven

Isoleret set er Minkipedia både målrettet og ambitiøs. Så kan andre uden for Minksekretariatet overhovedet lære noget af den og processen bag? Ja, mener Per Eeg.

- Casen er særlig, men netop derfor bør den inspirere. Det stærkeste er, at AI går helt ind i selve den kerneopgave, organisationen er sat i verden for at løse. Derfor synes jeg, casen bør inspirere andre til at stille de samme grundlæggende ledelsesspørgsmål: Hvordan kan generativ AI forbedre vores egentlige opgave – uden at vi opgiver faglig dømmekraft og ansvar? Og hvordan kan vi bevare tilliden til produktet?

Og med den udenforståendes skarpe blik lyder de væsentligste ledelsesmæssige læringspunkter fra processen i Per Eegs sammenfatning sådan her:

- Alle ledere skal ikke opfinde deres egen Minkipedia. Men alle ledere er nødt til selv at afprøve teknologien på deres område. Der ligger meget ledelsesmæssig erkendelse i at mærke, hvad den faktisk kan og ikke kan.

- Derudover er der en interessant kombination af vision og detalje: Hvilken værdi vil vi skabe? Og samtidig holde fast i det ledelsesmæssige blik for bestemte detaljer: lovgivning, datasikkerhed, GDPR og andre grænser. Ikke alle tekniske detaljer, men de detaljer, der afgør, om løsningen er forsvarlig.

For David Mortensen personligt lyder sammenfatningen sådan her:

- Den personlige erkendelse og nysgerrigheden har været vigtig sammen med villigheden til at hoppe lidt ud på tynd is og sige: Det her har jeg aldrig prøvet før. Det lærte jeg enormt meget af. Jeg havde heller ikke forestillet mig, hvor direkte vi kunne bruge AI ind i kerneopgaven. Det har været en vigtig erkendelse.

Tæt på at trække stikket

Et helt særligt bump i processen opstod fire dage før den helt store lancering af værktøjet på tre geografiske lokationer. Minkipedia virkede ikke efter hensigten. Og David Mortensen var tæt på at måtte trække stikket.

- Alt var linet op, alle var indkaldt. Og så duede det simpelthen ikke. Jeg tænkte selvfølgelig: Nu har jeg fejlet. Og det var ikke en fejl, man kunne gemme i en mail. Jeg skulle potentielt stille mig op foran omkring 120 mennesker og sige, at det, vi havde lovet, ikke virkede. Det var voldsomt.

Men appelsinen landede tilfældigt og heldigt i lederens turban. En ny version af ChatGPT så dagens lys, og vupti – alt virkede som tænkt, og lanceringen blev gennemført.

Og netop det faktum, at teknologien udvikler sig så hurtigt, samtidig med at lederne skal styre og sætte retning i brugen af AI, kræver en særlig balanceakt, er erfaringen også.

- Men der er ikke andet for end at komme i gang og gøre sig sine erfaringer. Og måske også være parat til at sige: Det fejlede her, men vi prøver igen om lidt, fordi teknologien flytter sig så hurtigt, siger Per Eeg.

- Det vigtigste er to ting på samme tid: Vi skal i gang, og mens vi er i gang, skal vi bygge kloge stop- og refleksionspauser ind – det, som jeg kalder positiv friktion. Lederen skal sikre, at organisationen tænker sig om i valget af løsning, i designet, i den konkrete brug og i den måde, man lærer af brugen på. Vi skal altså ikke bruge positiv friktion til at stå stille. Vi skal bruge den til at kunne bevæge os hurtigt uden at slippe dømmekraften.