EU vil at kvalitet skal telle mer i offentlige anskaffelser - men hva når KI skriver tilbudene?

EU-kommisjonens forslag til nytt anskaffelsesregelverk innebærer et tydelig skifte: Kvalitet skal tillegges større vekt ved tildeling av offentlige kontrakter. Som hovedregel skal kvalitet telle minst 30 prosent, og i arbeidsintensive kontrakter minst 50 prosent.

Samtidig gjør bruken av KI det stadig enklere å produsere gode tilbudsbesvarelser. Dette aktualiserer en gammel problemstilling for offentlige innkjøpere: Evaluerer vi kvaliteten på den fremtidige leveransen, eller leverandørens evne til å beskrive den?

Forslaget innebærer et tydelig signal om at oppdragsgivere fremover må belage seg på å evaluere kvalitet både i flere anskaffelser og med større vekt. Vi er i utgangspunktet positive til dette, men det stiller skjerpede krav til innkjøperne.

Utgangspunktet i den foreslåtte artikkel 98 er at kontrakten skal tildeles den leverandøren som tilbyr «best quality for money». Dette skal som hovedregel fastsettes gjennom en sammenligning av pris og kvalitet etter metoden «best price-quality ratio».

Det settes samtidig en nedre grense for hvor stor betydning kvalitet skal ha i evalueringen. Kvalitetskriterier skal som hovedregel utgjøre minst 30 prosent av evalueringen, mens det i arbeidsintensive kontrakter økes til minimum 50 prosent. Forslaget åpner samtidig for at kvalitet kan vektes lavere dersom oppdragsgiver konkret begrunner hvordan kvaliteten likevel sikres.

Signalet er uansett tydelig: Kvalitet skal vektlegges tyngre ved valget av leverandør.

Dette representerer et tydelig skifte.

Bakgrunnen er blant annet at Kommisjonen mener at anskaffelser som tildeles på grunnlag av laveste pris fortsatt er for utbredt, samtidig som sosiale, miljømessige og innovative kriterier brukes for lite. Målet er at bruken av det offentliges penger i større grad skal vurderes som investeringer med et langsiktig utbytte, og ikke bare ut fra laveste kostnad på kjøpstidspunktet. Det er vanskelig å være uenig i dette målet.

Men jo større vekt kvalitet skal ha i evalueringen, desto viktigere blir det å være sikker på at det faktisk er kvalitet som måles, særlig i en tid der vi ser at stadig flere tilbud skrives med god hjelp av KI.

Hva er det egentlig vi måler?

Forslaget åpner for at kvalitet kan vurderes på mange ulike måter.

Oppdragsgiver kan blant annet evaluere teknisk kvalitet, funksjonelle egenskaper, miljø og klima, sosiale hensyn, innovasjon, sikkerhet, forsyningssikkerhet og, under nærmere vilkår, europeisk tilhørighet. Der det er relevant, kan også kompetansen til personell som skal utføre kontrakten inngå i evalueringen. Oppdragsgiver kan også velge å fastsette prisen på forhånd og la leverandørene konkurrere utelukkende på kvalitet.

Samtidig stiller forslaget krav til hvordan kvalitetskriterier utformes. Kriteriene skal være ikke-diskriminerende, forholdsmessige, spesifikke, objektive, målbare og egnet til å identifisere reelle styrker og svakheter ved de tilbudte ytelsene. De skal gjøre det mulig å sammenligne tilbudene uten å gi oppdragsgiver et ubegrenset fritt skjønn.

Det er her bruken av KI reiser noen interessante spørsmål.

Når det blir billig å skrive godt

I mange anskaffelser evalueres ikke bare objektivt konstaterbare egenskaper ved den faktiske ytelsen. Leverandørene blir bedt om å beskrive arbeidsmetodikk, hvordan de skal løse oppdraget, håndtere risiko eller sikre kvalitet.

Besvarelsene kan være lange og ordrike, og evalueringen av dem kan få avgjørende betydning for utfallet av konkurransen.

Utfordringen er at de som skriver best, ikke nødvendigvis er de som leverer best. Dette er ikke et nytt fenomen, men det kommer enda mer på spissen ved bruk av KI.

KI kan analysere et konkurransegrunnlag, bryte ned tildelingskriteriene, identifisere hva oppdragsgiver etterspør og strukturere en besvarelse deretter.

Teknologien kan også brukes som kvalitetssikrer før tilbudet leveres: Har alle deler av kriteriet blitt besvart? Er påstandene konkrete nok? Er dokumentasjonen tilstrekkelig? Er sammenhengen mellom løsning og merverdi tydelig?

Dette trenger ikke være negativt. En dyktig leverandør kan bruke KI til å beskrive en god løsning klarere, mer presist og ikke minst mer effektivt. KI kan også redusere konkurransefordeler som tidligere har vært forbeholdt større virksomheter med egne tilbudsavdelinger.

Utfordringen oppstår dersom kvaliteten på beskrivelsen blir viktigere enn kvaliteten på det som faktisk skal leveres.

Et gammelt problem som KI forsterker

Leverandører har lenge benyttet tilbudsteam, eksterne rådgivere og etablerte malverk for å styrke tilbudsbesvarelsene sine. At gode besvarelser ikke alltid er ensbetydende med gode leveranser, og at oppdragsgivere ofte vurderer kvaliteten på beskrivelsen fremfor kvaliteten på den fremtidige leveransen, er derfor langt fra et nytt fenomen.

KI har ikke skapt denne utfordringen, men har gjort den både mer synlig og mer aktuell.

Bruk av KI kan redusere kostnadene ved å produsere en profesjonell og velformulert kvalitetsbesvarelse betydelig. Det som tidligere krevde omfattende ressurser, erfaring og tilbudskompetanse, kan nå i større grad automatiseres og gjøres tilgjengelig også for mindre leverandører.

På den ene siden kan dette være bra for konkurransen ved at terskelen for å levere gode tilbud senkes.

På den andre siden kan det føre til mer standardiserte besvarelser, mindre etterprøvbare påstander og tilbud som i større grad er tilpasset det leverandøren tror oppdragsgiver ønsker å høre, enn hva som faktisk leveres. Dette kan gjøre det vanskeligere å avdekke reelle forskjeller mellom tilbudene.

Det interessante spørsmålet er derfor ikke hvem som skriver den beste teksten, men hvilken leverandør som faktisk tilbyr den beste løsningen, og hvordan oppdragsgiver kan identifisere dette gjennom evalueringen.

Mer vekting av kvalitet krever mer treffsikre kriterier

Forslaget understreker at kvalitetskriterier skal være egnet til å identifisere styrker og svakheter ved de tilbudte ytelsene. Det kan leses som en påminnelse om at tildelingskriteriene må utformes slik at det er den faktiske kvaliteten på leveransen som vurderes, og ikke kvaliteten på beskrivelsen av den.

Et godt tilbud skal naturligvis beskrive løsningen på en forståelig og overbevisende måte. Men avgjørende forskjeller i evalueringen bør i størst mulig grad knyttes til forhold som faktisk sier noe om hvilken leverandør som kommer til å levere den beste kontraktsytelsen.

Det bør med andre ord ikke være tilstrekkelig å bruke KI til å utforme en overbevisende besvarelse dersom leverandøren ikke har forutsetninger for å levere det som beskrives.

Utfordringen er ikke ny, men utviklingen innen KI gjør svakhetene ved enkelte tradisjonelle kvalitetskriterier langt tydeligere enn tidligere.

Kommisjonen er også opptatt av hvordan kvalitet evalueres

Kommisjonen fremhever i fortalen at strengere krav til bruk av kvalitative tildelingskriterier bør følges opp med sikkerhetsmekanismer i evalueringen. Blant tiltakene som trekkes frem, er at pris- og kvalitetsvurderingen skilles fra hverandre, og bruk av et «four eyes principle».

Forslaget handler dermed ikke bare om at kvalitet skal telle mer, men også om at kvalitet må vurderes på en betryggende og etterprøvbar måte.

KI tilfører dessuten et ytterligere kontrollspørsmål: I hvilken grad kan oppdragsgiver legge til grunn at det som beskrives i tilbudet faktisk kan leveres i praksis?

Kanskje problemet ikke er KI

En nærliggende reaksjon kan være å kreve at leverandører opplyser om bruk av KI, eller å forsøke å begrense slik bruk.

Vi mener dette er feil fremgangsmåte.

Hvis en kvalitetsbesvarelse mister mye av sin verdi som indikator på fremtidig leveransekvalitet fordi leverandøren får tilgang til et bedre skriveverktøy, må oppdragsgiver først og fremst tilpasse tildelingskriteriene og evalueringsmetoden til dette, slik at fokuset blir å vurdere hva besvarelsen faktisk beviser om kvaliteten på fremtidige leveranser.

Dette tilsier større oppmerksomhet på kvalitetskriterier som tvinger frem reelle forskjeller mellom tilbudene.

I enkelte anskaffelser kan demonstrasjoner, prototyper eller tester være egnet. I andre kan konkrete løsningsforslag gi bedre informasjon enn generelle metodebeskrivelser. For tjenestekontrakter kan kompetansen og erfaringen til personene som faktisk skal utføre oppdraget, ha større informasjonsverdi enn standardiserte beskrivelser av leverandørens arbeidsprosesser. Intervjuer, caseoppgaver og praktiske demonstrasjoner kan i slike tilfeller være gode virkemidler.

Poenget er at det som premieres i konkurransen bør ha størst mulig sammenheng med kvaliteten oppdragsgiver faktisk kommer til å motta.

Mer kvalitet krever bedre kvalitetsmåling

EU-kommisjonens ønske om å gi kvalitet større betydning er dermed etter vår mening ikke problemet. Heller ikke bruken av KI.

Tvert imot kan begge deler bidra til bedre offentlige anskaffelser. Økt vekt på kvalitet kan være en nødvendig korreksjon i et system hvor konkurranser i for stor grad har vært preget av laveste pris, og er godt i tråd med de rådene vi ofte gir.

Men når kvalitet som hovedregel skal vektes med minst 30 prosent, og i arbeidsintensive kontrakter minst 50 prosent, blir spørsmålet om hva som faktisk måles – og potensielt avgjør konkurransen – langt viktigere enn tidligere.

KI gjør det enklere enn noen gang å skrive et godt tilbud. Det innebærer ikke at kvalitetskonkurranser blir mindre relevante, men det betyr at konkurranser som i stor grad premierer evnen til å beskrive kvalitet, kan bli mindre treffsikre.

Etter vår mening er derfor ikke den viktigste oppgaven fremover å avdekke hvem som har brukt KI, men å utforme konkurranser hvor det har mindre betydning hvem som skrev teksten.

Det avgjørende er at det som evalueres faktisk sier noe om kvaliteten oppdragsgiver kommer til å motta.