Av advokat/partner Kristian Jåtog Trygstad, Advokatfirmaet Mageli
Vi er mange som mener mye om normalisering, senest Alf Amund Gulsvik 16. august hvor han kommenterer min anbefaling om å unngå normalisering. Både Gulsvik og jeg er enige om at debatt om evalueringsmetoder er positivt, fordi det kan bidra til økt fokus og forhåpentlig også økt innsikt. Jeg er glad for at Gulsvik og jeg også er enige om at oppdragsgivere ofte bør bruke metoder hvor man bruker pris som sammenligningsgrunnlag. Fortsatt mener jeg imidlertid at Gulsvik undervurderer utfordringene ved å normalisere. Siden disse metodene er relativt mye brukt i norske anskaffelser, håper jeg at vi tåler enda et innlegg om dette.
Valg av tilbud og bruk av evalueringsmetoder
Bruk av poengberegningsmetoder med normalisering er et av flere forhold som en oppdragsgiver må ta stilling til ved valg av tilbud. Som jeg redegjorde ganske grundig for i mitt forrige innlegg, er det overordnede målet at tilbudet med det beste forholdet mellom pris/kostnad og kvalitet vinner konkurransen.
Alle gjør flere slike vurderinger av pris opp mot kvalitet uten å tenke over det, for eksempel når man kjøper middag, en ny bukse eller en ny bil. Ofte holder man da – bevisst eller ubevisst – de ulike alternativene opp mot hverandre. («Denne buksa er dyrere enn den andre, men jeg synes den er såpass mye finere at jeg kjøper den likevel.» eller «Denne buksa er finere enn den andre, men den er såpass mye dyrere at jeg går for den andre.»)
Ved offentlige anskaffelser er det ikke vanlig å holde tilbudene opp mot hverandre og avgjøre om man er villig til å betale prisen for bedre kvalitet. Isteden brukes evalueringsmetoder for å bedømme tilbudenes pris og kvalitet hver for seg. Tilbudenes uttelling i disse delvurderingene går deretter inn i en samlet vurdering. Målet er da at den samlede vurderingen skal gi det samme utfallet som hvis de konkurrerende tilbudenes sterke og svake sider hadde vært holdt direkte opp mot hverandre.
Det er svakheter ved alle evalueringsmetoder, og disse bør oppdragsgiver kjenne til fordi de kan ha forskjellig betydning i ulike konkurranser. Selv om en evalueringsmetode ga gode resultater i én konkurranse, er det ingen garanti for at den også er egnet i en annen konkurranse. Valg av evalueringsmetode er derfor en viktig del av planleggingen av konkurransene.
Oppdragsgiverne bør også ha et bevisst forhold til at metodene for utmåling av poeng som vi diskuterer, er hjelpemidler for å strukturere tilbudsvurderingen. Metodene bør ikke erstatte oppdragsgivers vurdering av hvordan pris og kvalitet skal holdes opp mot hverandre.
Selv om det kan være vanskelig å velge riktig evalueringsmetode, bør og skal oppdragsgiveren finne metoder som gir riktig uttelling for forskjellene mellom tilbudenes oppfyllelse av tildelingskriteriene. Metoder med normalisering kan være enkle å bruke, men det er en klar risiko for at tilfeldigheter påvirker utfallet av konkurransen. Derfor mener jeg oppdragsgiverne heller bør bruke andre metoder.
Relative metoder introduserer tilfeldigheter som kan ødelegge forholdet mellom tildelingskriteriene
Anbefalingen i økonomisk teori og i beslutningsteori er at man unngår relative evalueringsmetoder.[1] Grunnen til det er at det kan og vil variere hvor godt det beste tilbudet er. Derfor er det beste tilbudet dårlig egnet som referanseramme for evalueringen. Er tilbudet med best kvalitet i konkurransen godt, vil avstanden mellom beste og dårligste kvalitet være større enn hvis tilbudet med best kvalitet egentlig ikke tilbyr så mye merverdi. I det første tilfellet vil man derfor få mindre uttelling for en kvalitetsforbedring enn det man får for den samme kvalitetsforbedringen i det siste tilfellet.[2]
I den samlede vurderingen av tildelingskriteriene vil kvalitetsforskjellene utligne større prisforskjeller når det beste tilbudet tilbyr dårlig kvalitet enn når det beste tilbudet er godt. Hva som er riktig avveining, avhenger av oppdragsgivers preferanser, men begge utslagene kan ikke være riktige samtidig.
Før oppdragsgiveren vet hva som tilbys, vet han ikke hvilke utslag metodene vil gi.
Oppdragsgiveren vil dermed ikke kunne kontrollere og ta hensyn til disse variasjonene. Hvis det beste tilbudet er bedre eller dårligere enn oppdragsgiveren antok, vil sammenligningen av tilbudene bli annerledes enn det oppdragsgiveren planla. Uønskede utslag kan da få avgjørende betydning for hvem som vinner konkurransen, og det er en klar risiko for at oppdragsgiverne betaler uforholdsmessig mye for kvalitetsforbedringer. I disse tilfellene kan det også være vanskelig for oppdragsgiveren å forklare – og begrunne – hvorfor tilbudet med flest poeng var det beste.
Oppdragsgivers fokus bør være å finne det beste tilbudet
Jeg er helt enig med Gulsvik i at oppdragsgiverne bør velge evalueringsmodell ut fra hva som mest sannsynlig vil gi en innkjøpsfaglig god evaluering i den konkurransen som skal gjennomføres. Grunnen til at jeg anbefaler oppdragsgiverne å styre unna de relative metodene, er at poengberegningen er uforutsigbar og ofte påvirkes av tilfeldigheter, uten sammenheng med oppdragsgivernes preferanser.
Teoriens anbefaling om å unngå relative metoder er forankret i analyser av fordeler og ulemper med ulike evalueringsmetoder. Utfordringene ved relative metoder som det er pekt på, er langt mer enn teoretiske svakheter. Jeg er uenig i Gulsviks nyanseringer her, og jeg er litt overrasket over at han mener det er uproblematisk å distansere seg fra disse faglige anbefalingene.
Det er naturligvis slik at tilbudene som kommer inn i en konkurranse kan ha styrker og svakheter som gjør at svakhetene ved relative metoder ikke gjør seg gjeldende.[3] Det er heller ikke slik at oppdragsgivere som benytter relative metoder alltid vil velge feil tilbud. Samtidig er dette en risiko oppdragsgivere løper hver gang de bruker relative metoder.
Betenkelighetene ved relative metoder er færre hvis en oppdragsgiver kan forutse at de beste tilbudene i bedømmelsen av hvert tildelingskriterium vil være svært gode. Ofte vet imidlertid ikke en oppdragsgiver dette, og leverandørene responderer heller ikke alltid slik man tror. Selv der oppdragsgiveren treffer med antakelsene sine, er spørsmålet hvorfor man skal ønske å bruke relative metoder. Det er ingen kjente fordeler ved å bruke relative metoder, og ingen situasjoner hvor de regnes som mest treffsikre.
I sitt siste innlegg har Gulsvik vist til at det ofte er lettere for oppdragsgivere å bruke de relative metodene. Det kan godt være at det er lettere å bruke metodene, men jeg tror ikke det er lettere å bruke dem riktig. Oppdragsgiverne bør ikke være fornøyd med at de enkelt kan utmåle poeng til tilbudene når de bedømmer tildelingskriteriene. Poengene som gis skal også reflektere tilbudenes styrker og svakheter. Den grunnleggende svakheten ved de relative metodene er at det beste tilbudet i konkurransen styrer beregningen av poeng, løsrevet fra oppdragsgiverens preferanser. Som ved ethvert annet kjøp bør oppdragsgiverne isteden ta kontroll over hvordan de holder tilbudenes styrker og svakheter opp mot hverandre. Slik kontroll sikrer at ulike fortrinn, som lav pris og god kvalitet, holdes opp mot hverandre på en fornuftig måte.
Gulsvik har pekt på at det kan være vanskelig for oppdragsgivere å ta kontroll over denne vurderingen. Noen ganger kan det stemme, men denne avveiningen mellom pris og kvalitet er helt sentral for gode innkjøp. Hvis oppdragsgiveren skal finne det beste tilbudet, må oppdragsgiveren ha en formening om hvordan tilbudenes styrker og svakheter skal holdes opp mot hverandre, for eksempel hva man ønsker å betale for god kvalitet. Det er mange evalueringsmetoder som legger opp til at oppdragsgiver premierer fortrinn på de ulike tildelingskriteriene i samsvar med egne preferanser. Min erfaring er at man oftere lykkes om man aktivt styrer denne vurderingen enn om man lar den relative metoden bestemme utslagene.
Som jeg har vært inne på tidligere, er ulike evalueringsmetoder kartlagt i Sverige, blant annet med grundige anbefalinger i Upphandlingsutredningen, SOU 2013:12. I den utredningen kommenteres også betenkelighetene ved at oppdragsgivere velger enkle istedenfor treffsikre evalueringsmetoder:
«En ofta framförd invändning mot mervärdesmodellen är att det kan vara svårt att värdera de kvalitativa utvärderingskriterierna i monetära termer. Detta är riktigt. Att det är svårt betyder dock inte att det bör undvikas. Den upphandlande myndigheten bör vara klar över hur de olika intressen man vill tillgodose i upphandlingen förhåller sig till varandra – vad är viktigast, näst viktigast etc. Som utredningen pekar på i det följande är ett av de grundläggande problemen med den s.k. relativa anbudsutvärderingen just detta att de upphandlande myndigheter slipper ta ställning till hur mycket en viss kvalitativ egenskap är värd i monetära termer, eller vis-a-vis någon annan kvalitativ egenskap.»
Avsluttende kommentarer
Når oppdragsgiverne bruker evalueringsmetoder ved valg av tilbud, vil valg av metode kunne ha stor betydning for utfallet av konkurransen. Her som ellers vil sjansen for å lykkes øke ved god planlegging. Derfor bør oppdragsgiverne – og deres bestillere – anerkjenne at en viktig del av planleggingen av en anskaffelse er å velge en egnet evalueringsmetode.
Med såpass mange meninger om evalueringsmetoder kan valg av metode virke som en skremmende og vanskelig oppgave. Den viktigste delen av oppgaven er imidlertid å tenke gjennom hvordan de ulike tildelingskriteriene forholder seg til hverandre, og det gjør oppdragsgiverne allerede. Det arbeidet som legges i å fastsette tildelingskriterienes vekt, bør inkludere valg av en evalueringsmetode som opprettholder vekten når tilbudenes styrker og svakheter skal premieres. Det er her jeg mener at metoder med normalisering gjør jobben vanskeligere, og ikke lettere, for oppdragsgiveren.
Jeg håper at de oppdragsgiverne som likevel velger å fortsette med normalisering, tar seg tid til å se hvilke utslag andre evalueringsmetoder ville ha gitt. En slik sammenligning vil øke innsikten i fordeler og ulemper med de ulike metodene.
Det er også hjelp å få for oppdragsgivere som ønsker å lære mer om evalueringsmetoder. Flere gode fagartikler forklarer de ulike metodene, og gir mulighet til å lære av andres feil. Jeg har likevel lyst til å avslutte med en oppfordring til Nærings- og fiskeridepartementet og DFØ: Tiden er inne for en grundig og tverrfaglig utredning av evalueringsmetoder, med gjennomarbeidede og konkrete råd til norske oppdragsgivere.
[1] Relative metoder innebærer at det beste tilbudet i bedømmelsen av et tildelingskriterium får full uttelling og brukes som referanseramme. Det er ved relative metoder spørsmålet om normalisering blir aktuelt.
[2] Jeg gikk gjennom eksempler på dette i mitt forrige innlegg.
[3] Det kan også være at noen av oppdragsgiverne bruker det innkjøpsfaglige skjønnet til å beregne poengutslag for kvalitetsforskjeller som tar høyde for svakheter ved relative metoder. Det er sjelden et fasitsvar på hvordan kvalitetsforskjeller skal premieres, uavhengig av hvilken metode som benyttes. Legger den relative metoden for eksempel opp til at kvalitetsforskjeller gis for store poengutslag, kan oppdragsgiveren noen ganger motvirke noe av dette ved å stille større krav til når en kvalitetsforskjell gis utslag i evalueringen.
Bli den første til å kommentere på "La oss fortsette å snakke om evalueringsmetoder"