Godkända källor för AI: så väljer du dem

En godkänd källa är externt material som ett team medvetet har valt att lita på i AI-stött arbete: en viss rapport, standard eller referenswebbplats som någon har granskat och lagt till med avsikt. Den öppna webben är något annat. Där finns allt på en gång, bra och dåligt, aktuellt och inaktuellt, och ingen har bestämt om något av det hör hemma i just det här bolagets arbete.

Skillnaden låter liten tills någon skickar ett utkast till en kund med ett påstående som går att spåra till en artikel från en innehållsfabrik som råkade ranka högt på rätt sökord. Det är det godkända källor ska förhindra. Att bygga ett bra urval handlar mindre om att hitta mer material och mer om att i förväg bestämma vad som räknas.

Därför blir det fel när AI utgår från den öppna webben

Den öppna webben är en dålig standardkälla eftersom ingen har valt något av den för bolagets arbete. En vanlig webbsökning ger det som rankar högst, och sökmotorer rankar sidor efter volym och aktualitet, inte efter hur korrekta de är eller hur väl de passar ett visst uppdrag. En modell som skriver utifrån den poolen kan inte skilja tillsynsmyndighetens egen vägledning från ett blogginlägg som sammanfattar den i tredje hand, där detaljerna glider längre från originalet för varje led.

Till en början märker ingen något. Ett utkast som har tagits fram på det sättet är fortfarande lättläst. Problemet är spårbarheten: när en granskare frågar varifrån ett påstående kommer är ”modellen sökte på webben” inget svar som någon hinner kontrollera på den tid en granskning ska ta. Granskaren litar antingen på det eller gör om researchen, och att göra om den tar längre tid än om utkastet inte hade angett någon källa alls.

Vad som krävs av en källa

En källa hör hemma i ett godkänt urval om den uppfyller några bestämda kriterier.

Kriterium	Vad det betyder	Exempel
Spårbar	Någon kan öppna exakt det dokumentet och kontrollera det	En namngiven rapport eller standard, inte en sökträff
Vald för det här arbetet	Granskad och tillagd för en viss typ av uppgift	Tillsynsmyndighetens egen vägledning, inte en sammanfattning av den
Åtkomststyrd	Bara det bolaget har lagt till ingår som standard	En lista som någon underhåller, inte en öppen webbsökning
Hålls aktuell	Någon ansvarar för att uppdatera den innan den blir inaktuell	En kvartalsvis kontroll av allt som hör ihop med en gällande standard

Den andra raden är den som team oftast hoppar över. Det är frestande att godkänna en källa för att den verkar trovärdig i sig, utan att fråga om den passar den typ av arbete den ska användas till. En välrenommerad branschtidning är en bra källa för en marknadstrend och en dålig källa för en rättslig skyldighet. Bygg listan uppgift för uppgift i stället för som en enda allmän mapp med ”pålitliga webbplatser”.

Ett exempel

Säg att ett bolag skriver en sammanfattning av regelkrav åt en kund, och att grundfrågan är vad en viss förordning kräver. En godkänd källa för det är tillsynsmyndighetens egen publicerade vägledning: ett dokument med versionsnummer och datum, något som granskaren kan öppna direkt och jämföra en mening i utkastet mot.

Ett icke godkänt standardval vore en vanlig webbsökning på förordningens namn. Den ger en blandning av myndighetens sida, tre advokatbyråer som sammanfattar förordningen med sina egna vinklar och ett foruminlägg från för två år sedan som inte har uppdaterats sedan en ändring. En modell som hämtar från den blandningen kan inte väga myndighetens sida tyngre än det inaktuella foruminlägget. Båda ser lika citerbara ut i sökresultaten, och modellen formulerar meningen i utkastet utifrån den källa den råkade använda först.

Bättre sökning löser inte det här. Någon måste redan innan utkastet påbörjas bestämma att den här typen av arbete bara använder myndighetens eget material, och att granskaren tar in annat medvetet i stället för att låta modellen leta upp det.

Så bygger och underhåller ni ett urval av godkända källor

Börja med det som teamet redan kontrollerar för hand i dag: de rapporter, standarder och referenswebbplatser som en erfaren person i teamet öppnar utan att tänka efter. Den listan är oftast kortare än man tror, och den är rätt utgångspunkt eftersom den bygger på bedömningar som bolaget redan litar på.

Skriv ned de källor som en senior person i teamet förlitar sig på för den här typen av arbete, inte en allmän lista med ”bra sajter”.
Gruppera dem efter vilken typ av arbete de stöder. En källa som passar för marknadskontext är ofta fel för ett påstående om regelefterlevnad.
Utse en ansvarig för varje grupp, någon som har i uppgift att märka när en källa blir inaktuell eller ersätts av en nyare utgåva.
Ställ in den typen av arbete så att utkast som standard bara skrivs utifrån det godkända urvalet. Gör det till ett synligt och medvetet steg att ta in något annat, i stället för något som modellen gör i det tysta.
Gå igenom urvalet med fasta intervall. En källa som var aktuell för ett år sedan är det kanske inte längre, särskilt när det gäller sådant som hör ihop med en förordning eller en marknad som rör sig snabbt.

Inget av detta kräver en utvecklare. Den som ansvarar för leveransen bestämmer redan informellt vilka källor bolaget litar på. Skriv ned det och håll AI:n inom de ramarna, så går bedömningen att upprepa.

Hur godkända källor passar in i resten av arbetet

Valet av godkända källor är indatasidan av en process som fortsätter in i granskningen. Med rätt källor behöver granskaren ifrågasätta påståenden mer sällan, men måste fortfarande kontrollera dem: även ett påstående från en godkänd källa kan gå längre än vad källan faktiskt säger. Guiden om hur du skiljer källbelagda påståenden från antaganden går igenom den kontrollen i detalj och utgår från att själva källan var rimlig att använda. Den godkända listan finns för att det beslutet ska vara fattat i förväg.

Godkända källor är också en del av bolagets anslutna kunskap, tillsammans med det egna tidigare arbetet, metoderna och tillåtet kundmaterial. Guiden om ansluten kunskap visar hur alla fyra hänger ihop och hur de kopplas till de verktyg och den data som bolaget redan använder, med de åtkomstregler som verktygen redan har.

Kort sagt

En godkänd källa är något som ett team har valt med avsikt, för en viss typ av arbete, och kan peka direkt på. Den öppna webben ersätter inte den listan, hur bra en enskild träff än ser ut. Att bygga urvalet kräver en insats i början, men ett bolag som lägger en timme på att bestämma vad som räknas lägger mycket mindre tid senare på att spåra ett påstående tillbaka till något som ingen hade valt om de hade fått frågan.