Generiska AI-utkast i kundarbete: därför räcker de inte

Generiska AI-utkast fungerar inte i kundarbete, eftersom de kunde ha skrivits till vilken kund som helst. Ett konsultbolag får betalt för den del av svaret som gäller just den här kunden och ingen annan, och ett utkast som en generell modell har skrivit utifrån en kort prompt innehåller inget av det. Utkastet kan vara korrekt, men det svarar på en bredare fråga än den kunden ställde.

Felet ligger sällan hos modellen. Den kan bara skriva utifrån det den har fått, och i de flesta fall var det ett stycke instruktioner och inget mer.

Så känner du igen ett generiskt utkast

Det finns ett enkelt test: byt ut kundens namn mot en konkurrents och se om något annat behöver ändras. Om utkastet fortfarande stämmer handlade det aldrig om kunden.

Det finns fler tecken. Rekommendationerna skulle passa vilket bolag i branschen som helst, och underlaget är allmän branschkunskap utan något dokument bakom. Inget i utkastet skulle överraska kunden, eftersom inget av det kommer från kunden eller från arbete som bara ert bolag har gjort.

Granskare brukar känna av det innan de kan sätta ord på det. Det är svårt att hitta fel rad för rad, och ändå är utkastet inte värt att skicka.

Varifrån generisk text kommer

Generisk text uppstår ur fyra luckor i det som modellen fick.

För varje lucka hamnar utkastet närmare genomsnittet av allt som modellen har sett om ämnet. Lämnar du alla fyra öppna får du just det genomsnittet, kompetent formulerat.

Därför hjälper inte bättre promptar

En längre prompt ändrar instruktionerna, men den tillför inget av det material som saknas. Om du ber en modell att ”vara specifik för kunden” får den ändå inte kundens dokument. Du får bara text som låter specifik, och det är värre, eftersom påhittade detaljer är svårare att upptäcka än uppenbart allmänna formuleringar.

Att klistra in material i prompten hjälper för en uppgift men inte längre. Nästa person börjar från noll, den inklistrade texten är ett fragment som någon valde i all hast, och ingen som läser resultatet kan se vilket dokument ett påstående kommer från. Bolaget sitter då med ett utkast som låter specifikt men inte går att kontrollera.

Så blir du av med det

Den generiska texten försvinner när det som saknas finns på plats innan utkastet skrivs.

Börja med kundens material: det kunden har skickat, det ni tidigare har tagit fram åt kunden och det ni kom överens om i briefen. Lägg till bolagets egen metod för den här typen av arbete, så att svaret följer er struktur och inte internets. Begränsa de externa källorna till sådana som ni skulle hänvisa till. Ställ sedan den avgränsade fråga som faktiskt står i briefen.

Ett utkast som tas fram på det sättet blir olika för olika kunder, eftersom underlaget är olika. Det har också något som ett generiskt utkast inte kan ha: ett spår från varje påstående tillbaka till ett dokument. Så väljer du godkända källor för AI går igenom källfrågan i detalj.

Även ett specifikt utkast behöver granskas

Ett utkast som bygger på rätt material är en bättre utgångspunkt, men en expert behöver fortfarande läsa det. Specifika påståenden kan vara fel på specifika sätt: en siffra hämtad ur en inaktuell fil, eller en slutsats som kopplar ihop två dokument som inte borde kopplas ihop. Skillnaden är att du kan kontrollera dem, eftersom varje påstående länkar tillbaka till ett dokument.

Tidsvinsten märks i granskningen. Ett generiskt utkast måste skrivas om innan det kan gå ut, medan ett utkast med källor bara behöver kontrolleras. Guiden om tillförlitligt kundarbete med AI beskriver hela arbetssättet.

Så ser det ut i Hebno

Hebno skriver utifrån bolagets bibliotek och de kundfiler som en person redan har behörighet till, tillsammans med offentliga källor som bolaget har valt. Varje källa märks som intern, kund eller offentlig, och varje fynd markeras som belagt, härlett eller osäkert, så att granskaren ser vad varje påstående bygger på. Källhänvisningarna följer med medan utkastet redigeras. På funktionssidan för Arbete ser du ett utkast med källorna bredvid.