2 februari 2014

Förbundsredaktören har ordet
____________________________
Genvägar och senvägar till publicering
____________________________­­
Har du hört talas om John Bohannon? Doktor i molekylärbiologi och journalist på naturvetenskapliga tidskriften Science, men mest känd för höstens virala text om peer review och open-access-tidskrifter: Who's Afraid of Peer Review?[1] I den berättar Bohannon att han fabricerat en forskningsartikel om framgångsrik cancerbehandling – under falskt namn från ett påhittat lärosäte (han kallade sig Ocorrafoo Cobange från Wassee Institute of Medicine in Asmara) – fylld av så många medvetna och uppenbara fel, brister och meningslösa experiment att den redan vid ett första ögonkast borde ha avvisats av redaktörer och granskare. Ändå accepterades hans artikel av drygt 60 procent av tidskrifterna (motsvarande 185 av de 304 forskningspublikationer den sändes till). Resultatet, menar Bohannon, ”avslöjar konturerna av ett vilda västern i akademisk publicering”[2].

Global industri

Vetenskapliga och tryckta tidskrifter har länge varit ett sätt dela kvalitetssäkrad kunskap med andra, men det har varit exklusivt och svårt för andra än de bästa att få utrymme. Med open-access öppnas dels dessa fönster mot världen, dels blir inträdet åtminstone lite enklare för den stora forskarmassa som inte tillhör de allra bästa.
Många open-access-tidskrifter, alltså tidskrifter vars innehåll görs fritt tillgängligt på internet, finansieras av att författaren eller hens organisation betalar en avgift för publiceringen, och inte genom prenumerationer.
Dras du till skumraskaffärer kan du ganska lätt sätta upp en snygg hemsida som ser seriös ut, till vilken publiceringshetsade akademiker snart flockas. Och tar du, som Journal of International Medical Research, 3 100 dollar i avgift inför en publicering har du snart sparat ihop till förtidspensioneringen.
Men enligt Bohannon var också de förmodat seriösa spelarna oseriösa. Sage och Elsevier, två publiceringsgiganter, står bakom flera av de tidskrifter som valde att publicera artikeln.

Protester mot slutsatserna

Det dröjde förstås inte många timmar innan Bohannon mötte invändningar. Redan dagen därpå påpekades det att open-access inte ska bära skulden för svaga redaktörer och obefintlig kvalitetsgranskning, och att resultatet förmodligen skulle ha varit detsamma om Bohannon sänt sin artikel till prenumerationsbaserade tidskrifter. Bohannon valde enbart ut open-access-tidskrifter som tar betalt för publicering, och sökte indirekt efter så kallade ”predatory publishers” (vars enda syfte att lura pengar av folk). Men hans resultat kom att fläcka också de öppna tidskrifter på nätet som inte tar betalt för publicering (som faktiskt utgör majoriteten av open-access-tidskrifter), och som möjligen har en striktare hantering inför publiceringar.
Alla de som jobbar för open-access och ser detta som framtiden viftade med armarna i dagar efter Bohannons artikel, och värjde sig emot de slutsatser många verkade vilja dra: att open-access framför allt har betytt en flod av ”dåliga tidskrifter med dåliga artiklar”. Bohannon fick därför tuff kritik för sin egen metodologi, för att hans egen text inte hade kvalitetsgranskats, och för den skada den gjorde på systemets ”friska delar”.

Angelägen uppsträckning

Hårdaste smällen efter avslöjandet landade på portalen DOAJ (Directory of Open Acess Journals). Hela 45 procent av de tidskrifter som finns med i denna lista på ”öppna tidskrifter” accepterade fuskartikeln. Organisationen OASPA (The Open Access Scholarly Publishers Association) som representerar ett 50-tal förlag med open-access-ambitioner meddelade att Sage placerats i ett slags karantän till det att deras kvalitetssäkringsrutiner utretts och förändrats, medan två andra förlag fick se sina medlemskap terminerade.[3]
Även om både DOAJ och OASPA beklagar det som upptäcktes i Bohannons studie, menar bägge organisationer att detta lett till angelägna förändringar när det gäller deras egna kriterier för medlemskap och granskning, liksom hos de etablerade förlag som fått sitt rykte skamfilat.

Att vara öppen med kontrollen

Ett självklart sätt att komma till rätta med icke-existerande granskning inför publicering, är förstås att kräva att också granskningen publiceras bredvid eller i anslutning till den accepterade artikeln. Där har ni kanske nästa revolution när det gäller open-access – och kanske all vetenskaplig publicering i artikelform.
Den andra diskussionen, kring de bakomliggande orsakerna till explosionen av open-access-tidskrifter (läs: det system för meritering som så enkelspårigt fokuserar på publicering i tidskrifter) fördes inte i kölvattnet av Bohannons artikel, men borde förstås ha fått näring av det ”vilda västern” Bohannon talar om.
DOAJ radar upp totalt 9 804 tidskrifter, hela 2 415 av dessa är inriktade mot samhällsvetenskap. Vi väntar fortfarande på att en statsvetare ska berätta om hur denne upprepat Bohannons experiment, genom att (medvetet) försöka få en uppenbart usel artikel publicerad.

Magnus Erlandsson är lektor i ledarskap och statsvetenskap och verksam vid institutionen för skolutveckling och ledarskap, Malmö högskola, samt vid Förvaltningsakademin, Södertörns högskola.



[1] Bohannan, J (2013), Who's Afraid of Peer Review?, i Science, 4 October 2013: Vol. 342 no. 6154 pp. 60-65, http://m.sciencemag.org/content/342/6154/60.full
[2] Ibid.
Förbundsredaktören har ordet

____________________________

Om att teoretisera enligt Swedberg
Av Magnus Erlandsson
____________________________­­

Metoder har vi statsvetare blivit duktiga på. Vi vet hur man räknar folkpartister. Och hur vi med semistrukturerade intervjuer, enkäter, kritiska diskursanalyser, komparationer, etnografiska fallstudier och regressionsanalyser kan studera aktörer, organisationer, nationer, processer, politik, styrningsförsök, normer och trender.
Våra metoder har utvecklats och förfinats. Undersöka och beskriva, det kan vi. Men hur står det till med våra teoriers progression? Är vi bättre nu än på Webers tid att förklara?

Teorier om teorier
Det råder i och för sig ingen brist på teorier heller. Våra läroböcker listar en uppsjö varianter av funktionalistiska, behaviouralistiska, institutionalistiska, rationalistiska, konstruktivistiska, feministiska och marxistiska teorier och fler än så. Oftast begär vi av våra uppsatsstudenter att de ska välja någon redan etablerad teori som passar någorlunda väl med uppsatsens metod och empiri. Peer-reviewers tycks resonera likadant. Ett gott hantverk ger ett gott betyg på uppsatsen eller artikeln.
Men hur ofta övertygas vi om att studenternas – eller kollegornas – teorier också faktiskt nöjaktigt förklarar någonting? Och är de goda uppsatserna eller publicerade artiklarna lika teoretiskt intressanta som de är elegant utförda? Är forskningen verkligen så mycket mer än resultat infösta i av andra redan utvecklade teorier?

Processen bakom teorin
Om vi svarar nej på de sista frågorna och köper denna lägesbeskrivning, att våra metoder är mer avancerade och användbara än våra teorier, då har Richard Swedberg[1] en lösning: vik inte så mycket kraft åt teori, säger han – teoretisera istället.[2]
                      Vad är att teoretisera? Att skapa teori! Teoretisera är processen, teori produkten. Våra möten med studenter och kollegor borde handla minst lika mycket om konsten att teoretisera som om vårt fälts redan etablerade teorier, menar Swedberg. Teorierna – Webers, Bourdieus, Butlers och så vidare – måste vi alla känna till. Men att lära studenter och varandra att teoretisera – att utifrån den egna empirin, och inte utifrån andras redan utarbetade (och kanske daterade) idéer, skapa teori – det är lika angeläget.

Negligerat sedan länge
Visst, vi talar i undervisningen om induktion, om att man med utgångspunkt i empirin kan utveckla ny teori. Men vi talar mindre om hur en sådan process kan se ut, och det blir därför ganska sällsynt, till och med på avhandlingsnivå, att studenten eller forskaren söker efter eller landar i ny teori. Teorikapitlet kommer liksom alltid först.
Swedberg ger Popper (och Reichenbach) skulden. Om den induktiva forskningsprocessen går från 1) teoretiserande, till 2) teori till 3) testning av teori, blir det i Poppers efterföljd bara intressant att diskutera de båda senare. Hur man utvecklar hypoteser och testar dessa blir viktigast, eftersom själva ”upptäckandet” inte går att logiskt analysera eller falsifiera.
Men den vetenskapliga idén – om hur något med en ny teoris hjälp ska förklaras – är sällan frukten av ett fallande äpple(!), plötslig gudomlig inspiration eller ett misstag i laboratoriet, även om just den romantiska föreställningen om skaparkraft och kreativitet lever stark. Idén, om den överhuvudtaget dyker upp, kräver hårt arbete. Men Swedberg har idéer om hur detta arbete kan struktureras.

Många vägar till en idé
Vi har enats, någorlunda, om hur vi tillämpar metoder. Är en liknande samstämmighet möjlig kring hur vi går tillväga när vi skapar teori? Finns det också där utrymme för att skapa regler, former, mallar, guider – och som kan få oss att sluta upprepa, till våra studenter eller kollegor, att det bara är de med obegränsat med tid och särskilda begåvningar som kan hoppas på att få en teori uppkallad efter sig?
Nej, Swedberg menar att teoretiserandet inte kan formaliseras och bli en systematiserad och logisk process, så mycket romantiker är också han. Teoretiserande förutsätter inspiration. Och denna inspiration kan framkallas på vilket sätt som helst. Det är just avsaknaden av krav på att vara rigorös, intersubjektiv, logisk som gör det möjligt att utnyttja fantasi och intuition. Men det finns några ledstänger att hålla sig i.

·         Utforska data

Swedberg citerar Tocqueville: ”I never gave in to the temptation to tailor facts to ideas rather than adapt ideas to facts”.[3] (Men inte heller Tocqueville beskrev hur idéerna uppstod i mötet med fakta.) Här är uppgiften att teoretisera utifrån det empiriska materialet med syfte att upptäcka något. Teoretisera kan med ordets grekiska etymologi översättas med att iaktta, observera och kontemplera, alltså flera aktiviteter på samma gång: titta, undersöka, komma på. Observera först med alla sinnen i alla typer av källor och välj något intressant fenomen och ”nytt” i det du ser. Utgå hellre från egen data än andras. Liksom en konsthantverkare behöver du lära känna ditt material. Observera, så långt det är möjligt, utan att tänka, annars är risken att du iakttar med dina gamla teoretiska glasögon och då avviker du från vägen mot nya begrepp, ny teori.

·         Konceptualisera

Sätt namn på och beskriv det nya fenomen du observerat, förstärk skillnaderna mellan det du sett och det ”vi redan visste”, skapa ditt centrala begrepp. Välj ett begrepp som är lätt att ta till sig, som till exempel ”managementbyråkrati” (taget!)[4]

·         Bygg ut och färdigställ teorin, formulera förklaringen

Pröva metaforer, analogier, mönster, typer, kategorier. Finn förklaringen till det fenomen du funnit! Den svåra och övergripande uppgiften med att teoretisera är att både förstå och försöka förklara något som händer. Men lyckas du är glädjen mycket större än när du ”bara” lyckas bekräfta någon annans teori.

Att lära ut teoretiserande
Våra studenter, i bästa fall, får under sina resor på våra institutioner lära sig och öva på metoder i deltagande observation, intervjuer, statistisk analys och fallstudier. Varför inte, frågar sig Swedberg, också ge dem möjlighet att öva sina förmågor i att observera, finna något intressant, skapa egna begrepp och bygga en liten men ändå egen teori?

Magnus Erlandsson är lektor i statsvetenskap och ledarskap och verksam vid institutionen för skolutveckling och ledarskap, Malmö högskola, samt vid Förvaltningsakademin, Södertörns högskola.




[1] Richard Swedberg, svensk sociolog, verksam vid Cornell University, USA, och som bland annat bidragit till att etablera den så kallade nya ekonomiska sociologin. Han har publicerat böcker och vetenskapliga artiklar om klassiska sociologiska och ekonomiska tänkare, bland annat Weber, Schumpeter och Tocquevilles.
[2] Hela denna text bygger på Swedberg, R (2011), Theorizing in sociology and social science: turning to the context of discovery, i Theory and Society, 2012, 41:1-40, Springer Science.
[3] Tocqueville, A. de. ([1835-1840] 2004), Democracy in America. New York: The Library of America.
[4] Hall, P (2012), Managementbyråkrati – organisationspolitisk makt i svensk offentlig förvaltning, Malmö: Liber AB.

8 januari 2013

Förbundsredaktören har ordet


____________________________

Ur Statsvetenskaplig tidskrift, nr 4/2012
____________________________­­

Det har säkert inte undgått någon – med intresse för en eventuell koppling mellan resurser och kvalitet – att ett särskilt avsnitt i de senaste statsbudgeterna vikts åt högre ersättning till humaniora och samhällsvetenskap. De sammanlagt 800 miljoner kronor som dessa utbildningsområden förstärkts med, från 2011 till 2013 – med effekten att ersättningsbeloppet per helårsstudent stigit med cirka 30 procent jämfört med 2011 – ses av regeringen som ett svar på senare års utveckling, där ”den lärarledda tiden har minskat parallellt med att studentgrupperna har ökat”[1].

Bland annat får Malmö högskola i denna så kallade kvalitetssatsning drygt 23 miljoner kronor, Linnéuniversitet knappt 30 miljoner kronor och Stockholms universitet nära 90 miljoner kronor. Tuffa lokala budgetförhandlingar kan säkert påverka i vilken utsträckning som regeringens kvalitetssatsning verkligen betyder fler timmar med lärare för varje elev. Men regeringens öronmärkta peng bör vara ett mycket gott argument för landets alla statsvetenskapliga institutioner att ha med sig in i styrelserummen. (I budgeten är regeringen nära på övertydlig – satsningen ska stärka kvaliteten, inte läggas på andra poster eller kompensera för andra eventuella ekonomiska bortfall.)

Osäker framtid
Samtidigt pressas lärosätena av insikten om att ungdomskullarna och därmed statsanslaget krymper under kommande år. Eftersom de ekonomiska konsekvenserna av det minskade utbildningsuppdraget är svåra att överblicka, har några högskolor och universitet redan (och återigen) infört stopp för tillsvidareanställningar, gällande all personal, även lärare.[2]

Som en försiktighetsåtgärd må stoppet vara motiverat, inför risken att annars stå övertaliga.[3] Men hur möter och förebygger man egentligen bäst hotet om minskad efterfrågan på utbildning och reducerade anslag från statsmakterna?

Den här texten kommer att kasta fram några offensiva förslag på hur vi får fler av dem som söker sig till högre utbildning att välja just statsvetenskap – och hur några av de ungdomar som (eventuellt) uteblir kan ersättas med betalande privata och offentliga tjänstemän mitt i karriären!

Fler timmar ger nöjdare studenter
Högskolan Kristianstad lockade för ett par år sedan lärarstudenter med orden ”minst nio timmar lärarledd tid per vecka”, vilket väl placerar dem i ett slags inofficiellt vinnarbås i samhällsvetarligan. Men för en gymnasieelev och potentiell student måste det ändå låta som rena semestern. Enligt en undersökning av Lunds universitets studentkårer hade studenter som i Lund läste etnologi eller ekonomisk historia färre än tre timmar i veckan med lärare, att jämföra med de minst tretton lärarledda timmar i veckan som erbjöds studenter vid Lunds tekniska högskola.[4] Den typiska statsvetarstudenten befinner sig förmodligen någonstans i botten av denna lite dystra lista, med mellan fyra och i bästa fall sex timmars undervisning per vecka.

Men regeringen, som sagt, har i budgetpropositionen varit tydlig. Andemeningen i kvalitetssatsningen är bland annat att ”de som läser statsvetenskap ska få möta sina lärare oftare!”. Den 30-procentiga anslagsökningen, om den översattes till timmar (allt annat lika), skulle med lite kreativ matematik flytta upp spannet till mellan sex och åtta timmar i veckan. Låt säga att det gjordes till en målsättning för landets statsvetenskapliga institutioner – så har vi ett första recept för att locka fler till statsvetenskapen.
                     
·         6-8 timmars lärarledd undervisning per vecka!

Kvalitet – ett försäljningsargument
Man kan tycka vad man vill om Högskoleverkets utvärdering, men hur orättvis stämpeln ”bristande kvalitet” än kan upplevas måste förstås institutionerna göra allt som står i deras makt för att tvätta bort den – enklast genom att förtjäna ett högre betyg vid den uppföljande granskningen (lejonparten av blivande studenter tar knappast del av den kritik som riktats mot utvärderingens metod och resultat). Och de lärosäten som belönats med högsta betyg bör nu både anstränga sig för att säkra kvaliteten och bistå sina mindre lyckade disciplinkollegor med råd och tips. Alla tjänar på om statsvetenskap som ämne på ett positivt sätt utmärker sig i jämförelser.
                     
·         Mycket hög kvalitet på landets samtliga statsvetenskapliga utbildningar!

Marknadsföring underskattad
En snabb, högst ovetenskaplig undersökning ger vid handen att många av landets statsvetenskapliga institutioner kan öka sin attraktionskraft bara genom att på sina webbplatsers förstasidor presentera sig bättre, snyggare, intressantare – ur perspektivet hos en student som söker både ett spännande ämne och ett givande framtida arbetsliv. Jag vill helst inte trampa någon på tårna, men ta en titt på hemsidorna för ämnet i Lund, Örebro, Halmstad och Högskolan Dalarna så förstår ni vad jag menar.

Göteborg har en stilren hemsida, men viker mest skärmplats åt att framhålla sig själv som väldigt framgångsrik, och lite plats – åtminstone på förstasidan – åt varför man överhuvudtaget ska läsa statsvetenskap (och inte bara de många artiklar och böcker som institutionens forskare publicerar). Uppsala inleder med att lyfta fram sina 400 års erfarenhet av forskning och undervisning i statsvetenskap, vilket väl knappast vore en PR-strategs första förslag på en säljande text.

Varför tycks så många rikta sig mot bibliometriskt intresserade granskare eller potentiella forskare? Och så få direkt till studenten som surfar efter en utbildning? Varför inte istället inleda med allt man kan fördjupa sig i – eller bli efter några terminer statsvetenskap: riksdagsledamot, statsminister, lobbyist, omvärldsanalytiker, utredare, journalist, kommunikatör, kvalificerad tjänsteman i stat, kommun, landsting som snart skriker efter nya, kompetenta medarbetare?

Och vad med alla andra kanaler, så som alumini, annonser, twitter, bilagor och broschyrer? Nog borde statsvetenskapen, som ju i sitt ämne rymmer experter på politisk kommunikation, påverkan, beslutsteori och värderingsförskjutningar, kunna bli bättre på att locka och fängsla lite vilsna studenter.  

·         Låt de statsvetenskapliga institutionernas hemsidor bli vassare vapen i konkurrensen om studenter! Och utveckla gamla och nya kanaler för att sprida insikten om att statsvetenskapen är ett ämne för alla som vill jobba med alla typer av samhällsfrågor!

Samverkan en väg till anställning
En studierektor som envisas med att säga att ”utbildningens syfte är att vara forskarförberedande” skrämmer bort 25 av 27 (och borde skrämma ännu fler, med tanke på hur den internakademiska arbetsmarknaden för forskare ser ut). Till en ökad attraktionskraft hör därför också att samverka med och undersöka behovet hos möjliga arbetsgivare utanför akademin – och tydligt visa att, och hur, man gör det, gärna med institutionaliserad medverkan från studenterna.
                      Vi är många som fnyst åt Bolognaprocessens krav på anställningsbarhet, men ingen student vill lämna sin utbildning och vara lika osäker som en forskare på vad man egentligen har lärt sig under resan. Varje kursplan borde innehålla något mål och moment där just den framtida yrkeskompetensen slipades.

·         Bygg i samverkan nätverk med praktiker och arbetsgivare för att berika och utveckla undervisning och forskning – och för att öka studenternas möjlighet till anställning!

Det finns förstås många ytterligare recept att lägga till listan för dem som liksom jag tror att den demografiska nedgången ska mötas med en offensiv. Men 1) fler timmar, 2) högre kvalitet, 3) tuffare marknadsföring och 4) intensifierad samverkan bör vara en del av strategin.

Det finns även ett helt annat sätt att kompensera för ett eventuellt sviktande studentunderlag – genom uppdragsutbildning (men som förstås också kan byggas upp med hjälp av recepten här).
                     
Att tänka nytt är stort
En marknad som länge varit öppen för universitet och högskolor – men som ännu är långt ifrån inmutad eller mättad – är den som ges av möjligheten att sälja uppdragsutbildning till privata och offentliga organisationer. Det heter visserligen i förordning (2002:760) om uppdragsutbildning vid universitet och högskolor att högskola får bedriva uppdragsutbildning ”bara om den knyter an till sådan högskoleutbildning på grundnivå eller avancerad nivå som högskolan har examensrätt för”, liksom att inte den inte får ha ”negativ inverkan på den högskoleutbildning som … högskolan skall bedriva” – och därtill kommer förstås de hopplösa OH-påslag som alla högskolor och universitet har att brottas med och som knuffar priset uppåt. Men förordningarna som reglerar uppdragsutbildning får nog sägas vara av ”tillåtande” karaktär. Regelverket reser i praktiken inga hinder mot att bedriva uppdragsforskning på de fält, på det sätt, och i den omfattning man önskar.

När det gäller de avgifter man har rätt att ta ut för sin uppdragsutbildning heter det i avgiftsförordning (1992:191) att ”myndighetens avgifter beräknas så att de helt täcker verksamhetens kostnader (full kostnadstäckning)”. (Förordningen föreskriver även att om det ackumulerade överskottet uppgår till mer än 10 procent av den avgiftsbelagda verksamhetens omsättning under räkenskapsåret, ”ska myndigheten lämna ett förslag till regeringen om hur hela överskottet ska disponeras” [5].)

Resan mot nya uppdrag
Men hur få uppdrag? Ja, vissa fakulteter och institutioner har en tacksam sits i det att regeringens satsningar på olika sektorer kan mynna ut i rena beställningar från landets myndigheter, utan att institutionen gjort några särskilda ansträngningar för att få ett uppdrag. För de allra flesta är det dock rimligen inte en god ”strategi” att sitta och vänta på att en förfrågan – från myndigheter, kommun, region, företag eller annan institution vid ens egen högskola – ska dyka upp. Knappast heller att ensamma på kammaren försöka gissa sig fram till möjliga behov hos möjliga kunder, eller att titta på vad man redan har i kursväg och ur detta plocka samman en som vad man hoppas blir attraktiv utbildning för en viss kategori yrkesverksamma.
                     
Samverkan - igen
Nej, också här slår jag ett slag för samverkan. En sådan process kan börja med ett enda möte, två personer emellan, en uppdragsgivare, en uppdragstagare, om å ena sidan den betalande organisationens brister, kunskapsluckor, problem och framtida utmaningar, å andra sidan möjliga utbildningsinsatser för att försöka lösa problemen och möta utmaningarna. I bästa fall pågår hos uppdragstagaren redan relevant forskning och undervisning som utbildningen kan byggas på och anknyta till.

Ungefär så här, men på en nationell skala, jobbar många utbildnings- och konferenskonsulter gentemot offentlig och privat sektor. Genom enkäter och telefonintervjuer skapar man sig en bild av vad handläggare, utredare, mellanchefer, chefer eller andra yrkeskategorier uppfattar som individuella eller organisatoriska brister, och så sätter man samman ett program på två dagar, som lockar 100 personer från olika delar av landet, och som betalar 7-8000 kr plus moms för att få vara med. En statsvetenskaplig institution har kanske högre ambitioner än ett tvådagarsprogram, men principen för en matchning mellan utbud och efterfrågan bör vara den samma.

Samverkan är alltså melodin för att hålla koll på – eller skapa – efterfrågan! Sen kan förstås uppdragsutbildningen i sig också ha en viktig funktion i att generera nya samarbeten och kontaktytor för forskning och utbildning.[6]

Låter det konstigt? Sälja utbildning? Det är nog bara att vänja sig, säger jag. Och om du plockar fram entreprenören i dig – så blir åtminstone Jan Björklund glad.

MAGNUS ERLANDSSON,
INSTITUTIONEN FÖR GLOBALA POLITISKA STUDIER,
MALMÖ HÖGSKOLA






[1] Prop 2012/13:1, Utgiftsområde 16, sid 77.
[2] Malmö högskola (2012), Oklar framtid leder till anställningsstopp, webbartikel, 15 november 2012 (http://www.mah.se/Nyheter/Nyheter-2012/Oklar-ekonomi-bidrar-till-anstallningsstopp)
[3] Kritiker menar dock att det är fel att som regeringen planera högskolornas dimensionering genom att räkna antalet 20-åringar. Se till exempel Universitetsläraren, 2/2012: ”Den demografiska utvecklingen hotar inte lärosätenas framtid.”
[4] Lundagård (2007), Minst lärartid för humanister, webbartikel, 19 november 2007 (http://lundagard.se/2007/11/19/minst-larartid-for-humanister/
[5] Oftast, när man frågar finansministrar, vill de ha tillbaka överskott och själva bestämma hur pengarna ska användas. Riksrevisionen kritiserade för några år sedan, i skarpa ordalag, Karlstads universitets sätt att generera, handskas med och dölja överskott i samband med uppdragsutbildningar. (Se Riksrevisionen, 2006, Karlstads universitets årsredovisning 2005, revisionsrapport 2006-04-12).
[6] Göteborgs universitet (2011), Förstärkt organisation för ökad uppdragsutbildning vid Göteborgs universitet, bilaga 4

25 september 2012


Förbundsredaktören har ordet (september 2012)

Två snabba effekter av Högskoleverkets kvalitetsgranskning var glada twitter-utrop från de rikligen belönade[1] och att de studenter som sökte statsvetenskap inför hösten upplystes – på ett mycket tydligt sätt – om betyget på utbildningen före det avgörande klicket på Högskoleverkets sökportal. Hur många som på grund av orden i svart: ”Studenterna och därmed utbildningen uppnår inte ett eller flera av de utvärderade målen i examensbeskrivningen” valde att inte ge utbildningar med ”bristande kvalitet” en chans är kanske svårt att uppskatta – men rimligen påverkade det årets ansökningar. Särskilt viktigt tycks det då vara att utvärderingen var rättvisande och att effekterna på både kort och lång sikt är eftersträvansvärda.
   Men hur är det egentligen med kvalitetsutvärderingens rättvisa och effekter? Frågan går på dessa förbundssidor till Lena Lindgren[2].

Magnus Erlandsson är förbundsredaktör.
E-post: magnus.erlandsson@mah.se

En utvärderare om Högskoleverkets system för kvalitetsutvärdering 2011-2014

Av redaktören för Statsvetenskapliga förbundets tidskrift fick jag strax innan sommaren det roliga uppdraget att utifrån min utvärderarhorisont reflektera över Högskoleverkets system för kvalitetsutvärdering 2011-2014, inklusive den nyss överlämnade utvärderingen av stats-vetenskapliga utbildningar. Vad är då lämpligare att utgå ifrån än programteorimetoden som de flesta utvärderare anser vara ”standard evaluation procedure”?

PROGRAMTEORIANALYS
Programteorimetoden bygger i grova drag på tanken att alla åtgärder (program, policys, metoder etc.) – även ett utvärderingssystem – vilar på en viss logik (programteori) om hur åtgärden åstadkommer förväntat resultat; gör man A så händer B och det för i sin tur med sig B och C. Namnet till trots är programteori (i normalfallet) inte en teori i vetenskaplig mening som på basis av tillförlitlig kunskap förklarar hur en åtgärd fungerar. Programteori handlar också om förklaring, men förklaringen har sin grund i hur de som skapat eller beslutat om en viss åtgärd tänker sig att den fungerar. Dessa tankar är oftast under-förstådda men kan rekonstrueras med hjälp av policydokument och intervjuer. Den som gör rekonstruktionen har därmed att tolka hur åtgärden ifråga är tänkt att fungera. En rekonstruerad programteori kan sedan användas på olika sätt, vanligen som stöd i samband med planering av en utvärdering. Genom att programteorin tydliggör antagna förlopp och orsakssamband som ofta bara är implicita utgör den också ett utmärkt underlag för ett strukturerat resonemang kring en åtgärds tänkta sätt att fungera.

Programteorianalys kallas den sistnämnda tillämpningen och det är en sådan som avses i denna text. Inspiration till frågorna nedan som mitt resonemang är uppbyggt kring har jag hämtat från utvärderingsforskarna Dahler-Larsen (2000) och Funnel & Rogers (2012).

·         Om utvärderingssystemet är lösningen, vad är problemet?
·         Är den kunskap som utvärderingssystemet genererar relevant som grund för att lösa problemet, dvs. i) ansvarsutkrävande, och ii) vässa utbildningars kvalitet?
·         Vilka är effekterna av systemet, utöver de förväntade?

EN PROGRAMTEORI FÖR HÖGSKOLEVERKETS SYSTEM FÖR KVALITETSUTVÄRDERING
En programteori måste som sagt rekonstrueras. De policydokument som legat till grund för min rekonstruktion av en programteori för Högskoleverkets system för kvalitetsutvärdering 2011-2014 är framförallt regeringens proposition i ärendet samt myndighetens beskrivning av systemet (Prop. 2009:139; Högskoleverket 2012a). Jag har också i efterhand stämt av med personal på Högskoleverket att programteorin reflekterar hur systemet är tänkt att fungera.

Om följande förutsättningar finns…    

·         Varje lärosäte bestämmer själv hur utbildningen ska utformas och genomföras för att nå målen i examensbeskrivningarna.

… och om följande aktiviteter genomförs

·         Utbildningar som kan leda till examen inom huvudområden utvärderas utifrån hur väl studenternas faktiska studieresultat motsvarar de förväntade examensmålen.
·         Bedömarna är externt, oberoende sakkunniga lärare och yrkesverksamma inom huvudområdet samt studenter. De föreslår vilka mål som ska utvärderas samt operationella kriterier för bedömning av dessa. Högskoleverket beslutar i frågan.
·         Bedömningen grundas på ett slumpvis urval av studenternas examensarbeten, lärosätets självvärdering, intervjuer med studenter och resultat från en alumnenkät. I de fall bedömarna anser att det behövs görs också platsbesök.
·         Bedömarna avger ett samlat yttrande om hur väl studenterna nått målen för examen på en tregradig skala (mycket hög kvalitet, hög kvalitet och bristande kvalitet).
·         Högskoleverket håller samman utvärderingarna, ansvarar för att bedömningarna görs på ett transparent och likvärdigt sätt samt fattar beslut om vilket samlat omdöme varje utbildning ska få.

… så får det följande effekter på kort sikt…                                    

·         Utbildningar som bedöms ha bristande kvalitet får sitt examenstillstånd ifrågasatt. Efter ett år följer Högskoleverket upp ifrågasättandet och kan då återkalla examenstillståndet.
·         Utbildningar som bedöms ha bristande kvalitet förbättras genom vidtagna åtgärder från lärosätets alternativt läggs ner.
·         Utbildningar som bedöms ha mycket hög kvalitet premieras genom ekonomisk tilldelning. Tilldelningen utgör incitament för andra lärosätens kvalitetsutveckling.
·         Lärosäten får ett underlag som på ett likvärdigt och transparent sätt tydliggör kvaliteten i sitt utbildningsutbud i f.h.t. olika intressenter, främst staten.

… och följande effekter på lite längre sikt

·         Lärosäten i Sverige och andra länder får förtroende för varandras kvalitet, vilket är en förutsättning för ökat samarbete och rörlighet bland studenter och personal. Blivande studenter kan välja mellan olika utbildningar som alla håller hög kvalitet. Arbetsgivare vet att personer de anställer har de kunskaper och färdigheter som en utbildning enligt lagen ska leda till.
·         Sverige ligger vid en internationell jämförelse i den absoluta framkanten vad gäller kvalitetssäkring av högre utbildning.
·         Lärosätenas autonomi ökar, detaljregleringen minskar.
·         Den högre utbildningen vässas kvalitetsmässigt, vilket är en förutsättning för tillväxt, sysselsättning och framtida välstånd.

OM UTVÄRDERINGSSYSTEMET ÄR LÖSNINGEN, VAD ÄR PROBLEMET?
Utgångspunkten för varje programteori, och den åtgärd som programteorin beskriver, är ett problem som behöver lösas eller en situation som behöver förbättras. En programteori tydliggör hur en åtgärd förmodas lösa det eller de underliggande problem som är motivet till åtgärdens existens. I programteorin för Högskoleverkets system för kvalitetsutvärdering finns ingen distinkt och entydig utsaga om problem som ska lösas. Målen i form av förväntade effekter är av flera slag, riktar sig till flera olika målobjekt eller aktörer och beskrivs utan någon tydlig ordning i de policydokument som systemet vilar på. Om det finns någon på förhand tänkt effektkedja är därför svårt att säga. Den effektkedja som den ovan skissade programteorin ger uttryck för utgör min egen tolkning av hur målen förhåller sig till varandra. Om vi i linje med denna tolkning antar att förväntade effekter på lite längre sikt speglar underliggande problem finns det två, interrelaterade problem som Högskoleverkets utvärderingssystem förväntas lösa.

AUTONOMI OCH DETALJSTYRNING
Det ena handlar om att lärosätenas autonomi begränsas av detaljstyrning, vilket anses hämmande för utvecklingen av utbildningskvalitet och i förlängningen för landets förutsättningar för tillväxt, sysselsättning och framtida välstånd. Ökad lokal frihet och ansvar att utforma sin egen verksamhet kräver emellertid ett ändamålsenligt nationellt system för kvalitetsutvärdering, som inte lägger sig i hur resultaten uppnås, för att ansvarsutkrävande ska fungera. Att målet med ökad autonomi kräver ett ändamålsenligt system för kvalitetsutvärdering finns ingen anledning att ifrågasätta. Det är högst rimligt att en verksamhet som till så stor del finansieras med skattemedel regelbundet utvärderas med avseende på vilket resultat som uppnås. Som Riksrevisionen (2012) påpekat i en aktuell granskning av hur universitet och högskolor styrs behövs det också ett välfungerande utvärderingssystem som motkraft till den risk för generösa bedömningar av studenternas resultat som resurstilldelningssystemet innebär. Om Högskoleverkets nya utvärderings-system är ändamålsenligt i förhållande till detta problem är däremot en annan fråga som jag ska återkomma till.

MÖTA OLIKA SLAGS KUNSKAPSBEHOV
Det andra problemet som kan utläsas ur programteorin är ett kunskapsbehov som, om det tillgodoses, tänkes ha flera positiva effekter. På central nivå finns som sagt ett behov av kvalitetsinformation som kan ligga till grund för ansvarsutkrävande. Lärosätena behöver i sin tur kunna förse ledare på olika nivåer med underlag för att kunna styra och utveckla utbildningarna i rätt riktning. I regeringens proposition talas det om behovet av ”ett kvalitets-drivande system för utbildningsresultat av hög kvalitet” (Prop. 2009/10:139, s 7). Lärosätena behöver också ett bättre kunskapsunderlag för att kunna beskriva och marknadsföra sitt utbildningsutbud. Studenter behöver bättre kvalitetsinformation för att känna sig säkra på att utbildningar håller vad de lovar. Personal från olika lärosäten samarbetar inte i tillräcklig utsträckning och studenter är inte nog rörliga därför att kunskapen om andra lärosätens kvalitet är bristande eller saknas. Även arbetsgivare behöver tillförlitlig kvalitetsinformation så att de kan lita på att personer med en viss examen från ett visst lärosäte har de rätta kunskaperna och färdigheterna.

Om de förväntade kunskapsbehoven motsvaras av en reell efterfrågan hos ovan nämnda målobjekt finns inga direkta belägg för och diskuteras inte heller närmare i de policy-dokument som utvärderingssystemet vilar på. Troligtvis finns det ett sådant behov. Det är väl känt att de flesta universitet och högskolor var kritiska mot den tonvikt på förutsättningar och processer som präglade tidigare utvärderingssystem, och därför efterfrågade ett system som lägger tyngdpunkten på utbildningarnas resultat. Och vem skulle för övrigt svara ja på att bättre kvalitetsinformation om utbildningars resultat är en dålig idé? Dagens förvaltningspolitik är som bekant starkt resultatorienterad. Kraven på offentliga verksamheter att visa att de har god kvalitet och så produktivt som möjligt omvandlar insatta resurser till prestationer och – inte minst – att utförda prestationer har avsedda effekter för dem som de riktas till är i de flesta fall stora. Till avvikelserna hör t.ex. försvaret och den kungliga hovstaten som jämfört med politikområden som skola, vård och omsorg, i många länder inklusive Sverige, har mycket begränsade krav på sig att följa upp och utvärdera resultat (se t.ex. Pollitt 2003). Universitet och högskolor placerar sig kravmässigt enligt min mening i en mellankategori.

KONTROLL OCH UTVECKLING
Att behov av bättre kunskapsunderlag för kvalitetsutveckling i policydokumenten anges som motiv för utvärderingssystemets existens är nu lite märkligt med tanke på att systemet enligt samma dokument samtidigt sägs vara inriktat enbart på kontroll. Detta till skillnad från föregående utvärderingsmodeller som var både kontroll- och utvecklingsinriktade. En tolkning av programteorins logik ger emellertid vid handen att det finns vissa mekanismer för kvalitetsutveckling inbyggda i det nya systemet. En sådan mekanism skulle kunna vara att om utbildningsprogram med bristande kvalitet läggs ner, så främjar det kvaliteten i stort hos svensk högre utbildning. En annan, mer tydligt uttryckt mekanism, är att utbildningar som får omdömet mycket hög kvalitet premieras ekonomiskt, vilket antas utgöra incitament för andra utbildningars och lärosätens kvalitetsutveckling. Hur mera exakt som det ska ske, t.ex. om och i så fall hur bedömargruppernas yttranden kan användas på ett konstruktivt sätt på lärosätes- och programnivå för att ”vässa utbildningen kvalitetsmässigt” framgår inte vare sig i regeringens proposition (2009/10:139), regeringens uppdrag till Högskoleverket (Regeringsbeslut 2010-07-08) eller myndighetens anvisningar till lärosätena (Högskoleverket 2012a).

ÄR DEN KUNSKAP SOM UTVÄRDERINGARNA GENERERAR RELEVANT SOM GRUND FÖR ATT VÄSSA UTBILDNINGARS KVALITET?
I Högskoleverkets kvalitetsutvärderingssystem granskas i vilken utsträckning studenternas s.k. faktiska studieresultat motsvarar förväntade resultat, så som de senare kommer till uttryck i ett urval av de mål som anges i examensordningen. Granskningen av statsveten-skapliga utbildningsprogram (och närliggande utbildningar som t.ex. offentlig förvaltning) har genomförts av en bedömargrupp bestående av externa, oberoende sakkunniga. Bedömargruppen har bestämt valet av examensmål som ska granskas och operationaliserat kriterier för att bedöma måluppfyllelse.

Det primära underlaget för bedömning har utgjorts av ett slumpvis urval av avidentifierade examensarbeten (mest 24 minst 5) som examinerats under läsåret 2010, men i vissa fall finns även arbeten från 2009 i urvalet. Beroende på storleken i urvalsramen av uppsatser har det, som diagrammet nedan vill illustrera, varit stora skillnader i urval mellan lärosäten och utbildningsprogram på olika nivåer. Om vi håller oss till masterprogrammen kan vi t.ex. se att kvalitetsbedömningen vid Stockholms universitet har baserats på 16 uppsatser (vilket är knappt hälften av urvalsramen), medan bedömningen vid Göteborgs universitet har baserats på fem uppsatser (som är hela urvalsramen).

Även andra typer av bedömningsunderlag än examensarbeten har också[LL2]  funnits att tillgå men har inte tillmätts någon större betydelse. Alumnenkäter och studentintervjuer har enligt den statsvetenskapliga bedömargruppens egen utsaga i praktiken varit utan värde för för dess omdömen om utbildningarna, medan självvärderingar och platsbesök sägs ha bidragit till gruppens förståelse av hur utbildningarna fungerar. ”Till syvende och sist är det ändå läsningen och bedömningen av enskilda uppsatser som är vårt bästa material” (Högskoleverket 2012b, bilaga 7, s 3).

Uppsatserna har lästs av en särskild grupp uppsatsläsare (35 personer), men även bedömargruppens medlemmar har läst uppsatser. Med undantag för ett mindre antal (cirka 5 procent) som av olika skäl lästs och bedömts av två läsare, har alla uppsatser lästs och bedömts av en enda läsare. För vart och ett av examensmålen har läsaren avgjort i vilken grad en uppsats visar att målet ifråga har nåtts. Resultatet från läsningen har sedan delgetts bedömargruppen som sammanställt det i en matris som möjliggör en helhetsbedömning och därefter avgett ett yttrande om utbildningarnas kvalitet på en tregradig skala. Yttrandet består dels i ett samlat omdöme där uppfyllelsen för de sex mål man valt att granska vägts samman i ett omdöme (mycket hög kvalitet, hög kvalitet, bristande kvalitet), dels i en kort kommentar på några meningar som förklarar hur man bedömt respektive mål.

EXEMPEL PÅ YTTRANDE
Låt mig för att illustrera hur ett yttrande kan se ut ta bedömargruppens utvärdering av Förvaltningshögskolans masterprogram i offentlig förvaltning som exempel: Sammantaget visade underlaget (11 uppsatser av en urvalsram på 21) enligt bedömarna på mycket hög måluppfyllelse för två mål, och hög måluppfyllelse för övriga fyra av de sex utvalda målen. Den samlade bedömningen blev att programmet håller hög kvalitet.

Hur denna samlade bedömning tagits fram framgår inte av utlåtandet. Det är dock uppenbart att det krävts en hel del såväl kvantitativa som kvalitativa överväganden från bedömargruppens sida för att ta ställning till hur den sammanvägda bedömningen ska gå till samt, dessförinnan, hur måluppfyllelse för vart och ett av de sex målen ska fastställas.

För att söka förstå dessa överväganden kan vi måhända lära av masterprogrammet i statsvetenskap vid Göteborgs universitet som, liksom kandidatprogrammet vid samma lärosäte, fick omdömet mycket hög kvalitet. Inte vid något annat lärosäte i Sverige fick de statsvetenskapliga kandidat- eller masterutbildningarna ett så högt omdöme. Av bedömargruppens yttrande framgår att omdömet baseras på betyget mycket hög måluppfyllelse för fyra mål och hög måluppfyllelse för övriga två. Det borde betyda att det krävs mycket hög måluppfyllelse för en majoritet av de sex målen för att få det högsta betyget. Att försöka lista ut hur bedömargruppen dessförinnan kom fram till hur många av de fem uppsatserna i urvalet som fört vart och ett av de sex målen måste ha fått betyget mycket hög kvalitet för att omdömet ska bli mycket hög kvalitet har jag nu inte orkat ägna någon större kraft åt. Här kan vi tursamt nog ta hjälp av bedömargruppens egna betraktelser över sitt arbete där det framgår att knappt hälften av uppsatserna i ett urval måste ha fått betyget omdömet mycket hög kvalitet för vart och ett av de sex målen för att slutomdömet ska bli mycket hög kvalitet (Högskoleverket 2012b, bilaga 7, s 26ff). Det torde betyda att tre av de fem uppsatser som bedömningen av det statsvetenskapliga masterprogrammet grundades på nådde upp till detta riktmärke.

HUR GÖRA FÖR ATT NÅ OMDÖMET MYCKET HÖG KVALITET?
Sedan en tid tillbaka är jag ansvarig för Förvaltningshögskolans masterprogram i vilket bl.a. ingår ett utvecklingsansvar. Omdömet hög kvalitet i Högskoleverkets utvärdering är förvisso acceptabelt, men givetvis vore mycket hög kvalitet långt bättre och mera ärofyllt. Högskole-verkets system för kvalitetsutvärdering är som sagt primärt inriktat på kontroll, inte utveckling även om systemet innehåller mekanismer som förväntas vara kvalitetsdrivande. Myndigheten ger därför inga rekommendationer om hur en utbildning kan förbättra sitt omdöme, eller hur en utbildning som fått betyget bristande kvalitet ska åtgärda bristerna. Den starka kontrollinriktningen följer av regeringsuppdraget till Högskoleverket där det står att: ”Förklaringar till resultat och åtgärder för att utveckla verksamheten ska framöver sökas av lärosätena själva” (Regeringsbeslut 2010).

Men ponera att jag som programansvarig i enlighet med programteorin triggas av det ekonomiska incitament som utlovas som belöning för utbildningar som får det högsta betyget och vill använda bedömargruppens utlåtande för att motivera lärare och hand-ledare till förbättringar. Hur gör jag då för att få svar på vad som behöver göras annorlunda i den kurs där examensarbetena genomförs, och i masterprogrammets kurser i övrigt?

Ett sätt är förstås att lära av egna och andras utbildningars uppsatser som fått högsta betyget och dra varnande exempel av dem som befunnits ha bristande kvalitet. Det förutsätter att uppsatserna och omdömena är offentliga och att systemet erbjuder möjligheter för detta slags benchmarking. Med hjälp av Högskoleverkets (2012b, bil. 5) rapport går det att koppla varje enskild uppsats till en bedömning men uppsatserna är avidentifierade och anges endast med ett nummer. Förvaltningshögskolans egna uppsatser kan sannolikt identifieras på detta sätt, men för att spåra upp hur enskilda uppsatser från andra institutioner bedömts krävs goda kontakter.

Ett alternativt sätt att söka kunskap om vad som krävs för att en uppsats ska få högsta betyg är att göra sig närmare bekant med bedömargruppens kriterier för operationalisering av måluppfyllelse. Dessa finns formulerade i ett dokument där bedömargruppen kommenterar de sex utvalda målen och kriterier, samt ger instruktioner till uppsatsläsarna vad gäller bedömningsgrunder och betygssättning för varje mål (Högskoleverket 2012b, bil.3 och 4). Dock är det inte alldeles lätt att förstå vilka av de inalles nio bedömningsgrunderna som hör till vilket av de sex utvalda målen eftersom några mål är kopplade till flera bedömningsgrunder. Det tycks mig snarare, vilket också framgår av bedömargruppens betraktelse av sitt arbete, som om bedömargruppen först formulerat sina egna grunder och kriterier för hur en uppsats med hög kvalitet, mycket hög kvalitet respektive bristande kvalitet känns igen, och först därefter kopplat dessa grunder och kriterier till målen i examensordningen (Ibid. bilaga 7, s 10 ff).

SVÅRT ATT DRA SLUTSATSER AV YTTRANDEN
Nåväl, som nämnts fick Förvaltningshögskolans masterprogram betyget mycket hög mål-fyllelse för två mål (mål 1 och 6), och hög måluppfyllelse för övriga fyra (mål 2,3, 4 och 5) av de sex utvalda målen. Beträffande t.ex. mål 1 (kunskap och förståelse inom huvudområdet) som fick omdömet mycket hög måluppfyllelse kan vi läsa att: ”samtliga uppsatser har mycket hög nivå vad avser diskurs- och teorianknytning … mycket god fördjupad insikt om aktuella forskningsfrågor inom huvudområdet … mycket god förmåga att formulera en insiktsfull och motiverad problemställning med anknytning till diskursen, lägstanivån är hög.” Mål 2 (fördjupad metodkunskap inom huvudområdet) nådde bara upp till omdömet hög måluppfyllelse. Det förklaras så här: ”… samtliga uppsatser uppfyller de krav som bör ställas på masternivå vad gäller vetenskaplig metodmedvetenhet. Några av uppsatserna bedöms även hålla mycket hög kvalitet. Lägstanivån är hög.” (Högskoleverket 2012b).

Mitt förbättringsintresse gäller naturligt nog de fyra mål där måluppfyllelsen för Förvaltningshögskolans masterprogram inte bedömdes nå upp till betyget mycket hög kvalitet, vilket t.ex. var fallet med mål 2 – fördjupad metodkunskap. Det högsta betyget får här enligt bedömargruppens operationalisering av kriterier för måluppfyllelse uppsatser där den egna metoden är väl utvecklad i något eller några avseenden, och dessutom premieras kreativitet vad gäller materialinsamling (Högskoleverket 2012b, bilaga 4). För att riktigt förstå vad detta innebär måste man därmed nogsamt fundera över hur uppsatsläsaren som ju är den person som i praktiken satt betyg formulerat sin egen förståelse av kriteriernas termer? Jag besitter inte samma expertis, och möjligen är min förståelse av termerna därför en annan. Så hur har uppsatsläsaren gjort för att ta ställning till huruvida en uppsats har en ”väl utvecklad metod” eller tillämpar ”kreativitet i materialinsamling”? Kan en i mitt (och kanske även uppsatsläsarens) tycke långtråkig ”thick description” som sida efter sida tolkar innebörden i t.ex. chefers upplevelser och erfarenheter av självbild, tilltro till det egna ledarskapet och lust och motivation att genom utbildning bli en bättre ledare passera som väl utvecklad metod? Eller krävs det något i mitt (och kanske även uppsatsläsarens) tycke mera utmanande och hårdfört som ett dubbelblint kontrollerat experiment där chefer som vill bli bättre ledare randomiserats till olika typer av chefsutbildning?

Att dra lärdom av bedömargruppens yttrande kräver som synes ett omfattande detektiv- och tolkningsarbete. Det är likväl ett arbete som jag är övertygad om redan har startat på många håll, både av utbildningar som likt Förvaltningshögskolan fått ett mellanbetyg och av de vars utbildning fått betyget bristfällig kvalitet. Vart det arbetet kan leda och vilka konsekvenser det kan få ska jag återkomma till i slutet av denna text.


ÄR DEN KUNSKAP SOM UTVÄRDERINGARNA GENERERAR RELEVANT SOM GRUND FÖR ANSVARSUTKRÄVANDE?
Högskoleverkets system för kvalitetsutvärdering har en stark inriktning mot kontroll och ansvarsutkrävande. Begreppet ansvarsutkrävande (liksom ansvar och ansvarighet) är mångtydigt och används i delvis olika betydelser inom olika ämnen och sammanhang, men denna promemoria är inte rätt plats att reda ut begreppen. Låt oss bara helt kort slå fast att för att någon ska kunna ställas till ansvar måste det finnas en förväntad bild av vad som ska uppnås som en verksamhet kan jämföras mot, samt information i form av saklig och oberoende granskning som kan ligga till grund för bedömningen av huruvida någon fullgjort sitt uppdrag eller inte. Det måste också finnas mekanismer i form av metoder och processer för att i praktiken utkräva ansvar (Lindström 2011).

I vårt fall är det lärosätena som ställs till ansvar för sina utbildningar. Den förväntade bilden av vad utbildningarna ska uppnå utgörs av det urval av mål i examensordningen som bedömargrupperna valt att fokusera sin granskning på. Det är sedan läsargruppens granskning och bedömargruppens yttrande som ligger till grund för ansvarsutkrävandet. Högskoleverket har såvitt går att se bara konstaterat att man ”instämmer i bedömargruppens ställningstagande” (Högskoleverket 2012b). Mekanismer för ansvarsutkrävande kan se ut på olika sätt i den offentliga förvaltningen och vara mer eller mindre skarpa – allvarliga samtal, minskade resurser, entledigande etc. I vårt fall är det fråga om en skarp metod där de lärosäten vars utbildningar bedöms ha bristande kvalitet, dvs. inte når måluppfyllelse, får sitt examenstillstånd ifrågasatt. De kan också få tillståndet indraget om de inte inom ett år har visat förbättringar. Stora värden står således på spel för varje lärosäte och utbildning.

STORA VÄRDEN PÅ SPEL
Vägen fram till Högskoleverkets nuvarande system för kvalitetsutvärdering har varit kantad av många svårigheter och konflikter, vilket föranlett en ansenlig kritisk debatt som jag väsentligen valt att utelämna i denna PM.[3] Den aspekt av systemet som jag själv ställer mig allra mest kritisk till är den ovan nämnda, dvs. att den typ av granskning som bedömarnas yttrande utgör ligger till grund för ansvarsutkrävande där så stora värden står på spel. Hur kan en bedömning som säger sig spegla ett helt utbildningsprograms kvalitet, men som bygger på underlag från en så bitteliten del av denna utbildning tillåtas få så stora konsekvenser? Ett kandidatprogram har exempelvis fått sitt examenstillstånd ifrågasatt därför att tre uppsatser under ett läsår bedömdes ha bristande kvalitet på mer än hälften av nio bedömningsgrunder. Hur kan å andra sidan en hel utbildning få omdömet mycket hög kvalitet, när omdömet i praktiken bygger på att tre uppsatser bedömts ha hög eller mycket hög måluppfyllelse på mer än hälften av nio bedömningsgrunder?

Att bedömarnas yttrande ges denna centrala roll innebär dessutom i praktiken att bedömarna tillskrivs en politisk funktion att lägga ner utbildningsprogram, även om det formellt är Högskoleverkets generaldirektör som fattar beslutet om ifrågasättande och/eller indragning av examenstillstånd. I förbindelse med det kan man också fråga sig hur de vars examenstillstånd ifrågasätts ska kunna åtgärda den bristande kvaliteten inom ett år. Vad kan ha hänt då, och hur ska Högskoleverkets återkontroll fungera? Vad mera exakt är det man ska kontrollera? I Högskoleverkets anvisningar sägs endast att en analys och åtgärdsredovisning per mål ska göras, samt att myndigheten tar hjälp av en bedömargrupp för att ta ställning till om åtgärderna är tillräckliga. Utöver det finns i linje med policyn om lärosätenas autonomi inga preciseringar av vad som ska anses vara tillräckliga åtgärder (Högskoleverket 2012a) Blir det som Nils Brunsson förmodar därmed en återgång till att granska förutsättningar och processer? (SULF tidningen nr 10/2012


STRUKTUR, PROCESS OCH RESULTAT
I utvärderingslitteraturen brukar man tala om kvalitet som egenskaper som kan knytas till olika faser i en verksamhet. På så vis kan en distinktion göras mellan strukturkvalitet som speglar vad en verksamhet har, processkvalitet som handlar om vad en verksamhet gör, och resultatkvalitet som står för vad den/de som är verksamhetens målobjekt får. Resultat är utan tvekan en viktig aspekt av utbildningskvalitet, sannolikt den viktigaste. Drygt 20 års undervisningserfarenhet säger mig emellertid att resultat av högre utbildning är mycket mer än huruvida ett urval av examensarbeten bedöms leva upp till en handfull mål som brutits ner till (eller som i vårt fall i efterhand kopplats ihop med) nio bedömningsgrunder. De bedömningsgrunder som brukats har dessutom en tydlig, forskningsförberedande karaktär som i stort sett uteslutande speglar den akademiska snarare än den praktiska delen av utbildningar. Det som bedöms blir därmed inte givet det som värderas när studenterna kommer ut i arbetslivet.

BEDÖMNINGARNA GÖR INTE RÄTTVISA ÅT HELHETEN
Utbildningsresultat handlar enligt min mening också om förändringar hos studenterna vad gäller attityder, motivation, förmåga, beteende och anställningsbarhet för att nu nämna några exempel. På Förvaltningshögskolan är vi exempelvis omåttligt stolta över hur väl våra masterstudenters kunskaper, färdigheter och beteende skattas av de myndigheter och organisationer där studenterna tillbringar en praktiktermin, och hur lätt det tycks vara för dem att efter examen få kvalificerade arbeten. Även om vi håller oss till de uppsatskurser som leder fram till ett examensarbete, så är dessa kurser en lång process med många komponenter utöver själva slutprodukten. De bedömningar som utgör kärnan i Högskole-verkets nya utvärderingssystem gör med andra ord inte rättvisa åt helheten i utbildningars resultat, och ändå är det dessa bedömningar som ligger till grund för ansvarsutkrävande.

I förbindelse med det nu sagda ställer jag mig också undrande till varför Högskoleverkets system för kvalitetsutvärdering betecknas som utvärdering när det i praktiken så uppenbart är fråga om tillsyn. Det finns förvisso ett nära släktskap, både utvärdering och tillsyn syftar till att främja måluppfyllelse och effektivitet, men det finns viktiga skillnader. Medan tillsy-naren har att utgå från och acceptera den orsakslogik i form av mål, regler etc. som är för handen, så kan utvärderaren mycket väl ifrågasätta densamma samt föreslå förändringar. Av det följer också att tillsynaren inte kan påverka vilka bedömningskriterier som ska brukas, vilket utvärderaren kan. Den viktigaste skillnaden är dock att utvärderaren endast kan rekommendera att åtgärder ska vidtas, till skillnad från tillsynaren som kan lämna bindande förslag och även har sanktionsmöjligheter till sitt förfogande (Johansson 2006). Högskoleverkets system för kvalitetsutvärdering kan dessutom ses som en hård form av tillsyn där den främjande delen tagits bort och det som återstår är tillsynens inspektionsdel, dvs. granskning för att kontrollera om ett tillsynsobjekt uppfyller de krav och villkor som följer av de regler som finns.

Att vi i själva verket har att göra med en tillsynsaktivitet och inte utvärdering kan möjligen förklara att den i utvärderingssammanhang så viktiga frågan om attribution i stor utsträckning ställts i bakgrunden i debatten om utvärderingssystemet. Som programteorin visar tas det i systemet för givet att det av bedömargruppen uppmätta tillståndet av kvalitet hos en utbildnings examensarbeten är en effekt av de kurser och andra aktiviteter som utbildningen inbegriper. Så behöver inte vara fallet.

VILKA ÄR KONSEKVENSERNA AV UTVÄRDERINGSSYSTEMET, UTÖVER DE FÖRVÄNTADE?
Den sista fråga som jag vill diskutera i denna programteorianalys är vilka konsekvenser – utöver de officiellt förväntade (ansvarsutkrävande och vässad kvalitet) – som kan bli följden av Högskoleverkets utvärderingssystem. En enkel tumregel som hjälper oss att besvara frågan är att fundera över vilken effekt de bedömningsgrunder som tillämpas i ett utvärderingssystem skulle kunna ha på den utvärderade verksamheten om de blev använda som mål (Dahler-Larsen 2000). Med andra ord, kan kvaliteten på ett urval av examensarbeten, så som denna definierats i bedömargruppens bedömningsgrunder för måluppfyllelse, stå som mål för resultatet av ett helt utbildningsprogram på kandidat-, magister eller masternivå? Är svaret nej på denna fråga, vilket jag menar är uppenbart i vårt fall, så är det sannolikt att utvärderingssystemet kommer att producera perversa bieffekter, dvs. besvärliga konsekvenser som är rakt motsatta och möjligen motverkar de förväntade. I min bok Utvärderingsmonstret har jag med utgångspunkt i ett femtiotal artiklar och böcker i ämnet beskrivit ett flertal perversa bieffekter och hur de kan tänkas uppstå (Lindgren 2006). Låt oss titta närmre på några av dem i relation till Högskoleverkets utvärderingssystem.

KREATIV BOKFÖRING OCH URVAL
När (som är fallet med det system vi här talar om) lärare, handledare och examinatorer vet att ett dåligt resultat bestraffas, eller rentav att hela utbildningens framtid är beroende av vissa kvalitetsmått är risken för s.k. kreativ bokföring stor. I litteraturen nämns olika strategier för kreativ bokföring. ”Creaming” betyder att man från en organisations sida medvetet väljer ut bara sådana klienter som man vet kommer att prestera bra i vissa avseenden, medan ”referral” innebär att man hänvisar klienter till andra instanser för att de inte ska ödelägga organisationens resultat. Att välja ut studenter eller hänvisa dem till andra utbildningsprogram kanske inte fullt ut låter sig göras inom svensk högre utbildning. Men risken är stor att berörd personal kommer att utveckla strategier för att den grupp av examensarbeten som kan komma att ingå i urvalet ska bli så bra som möjligt. Det kan t.ex. ske genom att undvika eller skjuta upp godkännande av svaga examensarbetena tills Högskoleverkets urval är genomfört (Lindberg Sand 2011). Det behöver nu inte handla om kreativ bokföring i en strategisk mening. Det kan också, vilket bedömargruppen lyfter fram i sin betraktelse, handla om en institutionaliserad kultur med mycket sträng betygsättning som automatiskt gör att svaga uppsatser inte når så långt som till seminariebehandling och därmed inte kan ingå i en urvalsram (Högskoleverket 2012b, bilaga 3).

En annan potentiell konsekvens som jag redan varit inne på är att universitet och högskolor kommer att ha ögonen på vilka utbildningar som lyckats bra, försöka ta reda på hur argumentationen för det högsta betyget ser ut och anpassa sin egen verksamhet till det. ”Teaching to the test” kallas det i litteraturen när personal lärt sig vilka aspekter som räknas (och vilka som inte räknas) och använder denna kunskap för att rikta in sig på det som betalar sig. Lyckas det höjer utbildningen ifråga nivån på sitt resultat i förhållande till en viss kvalitetsdefinition, men andra kvalitetsaspekter lämnas därhän. Det kan i sin tur leda till ”ossification”, utbildningar förstelnas eftersom innovation och nytänkande inte lönar sig.

STANDARDISERADE UPPSATSER
Som sagt är det en komplicerad uppgift att lära av bedömargruppens utlåtande, det kräver ett omfattande detektiv- och tolkningsarbete. Om det lyckas kommer det med stor sannolikhet att bidra till en standardisering av uppsatser i statsvetenskap i förhållande till bedömargruppens traditionellt akademiska kriterier för vad som är ett förstklassigt examensarbete. Enligt uppgift från Högskoleverket finns ingenting mer än tradition som kräver att ett examensarbete i statsvetenskap har denna karaktär, det går att inkludera även andra aspekter. Men så ser nu traditionen ut och inom överskådlig tid framöver kommer det inte att finnas utrymme för ”vilda” uppsatser med snillrika resonemang eller som upptäckt nya saker, men som i övrigt går utanför ramarna. Varje gång vi träffar på en statsvetenskaplig uppsats kan vi istället vara säkra på att den ser ut enligt normen. För mig framstår detta högst tänkbara framtidsscenario inte bara trist utan också inkonsekvent i f.h.t. programteorins förutsättningar och programmakarnas policy att varje lärosäte själv bestämmer hur utbildningen ska utformas och genomföras för att nå målen i examensbeskrivningarna.

TJÄNSTEMÄN SOM ARBETAR PÅ UPPDRAG AV REGERINGEN
I denna promemoria har jag målat upp en i huvudsak mörk och dyster bild av Högskoleverkets system för kvalitetsutvärdering som ger vid handen att systemet: i) gör det mycket svårt för utbildningar som vill förbättra sig, ii) är undermåligt som informationsgrund för ansvarsutkrävande, iii) sannolikt kommer att generera besvärliga konsekvenser som undergräver systemets förväntade effekter, samt iv) borde betecknas som en tillsynsaktivitet och inte ett utvärderingssystem.

Genomgående har jag talat om Högskoleverkets system för kvalitetsutvärdering, vilket inte är helt rättvist. På uppdrag av regeringen utformade Högskoleverket (2009) ett förslag till utvärderingssystem för perioden 2011-2014. Det förslaget kunde regeringen inte acceptera, främst p.g.a. att det inte var tillräckligt entydigt fokuserat på utbildningsresultat vilket antogs stå i motsättning till autonomiprincipen enligt vilken varje lärosäte själv bestämmer om utbildningars utformning och genomförande. Istället formulerade man på egen hand ett nytt system för kvalitetsutvärdering som detaljrikt preciserade systemets egenskaper och tillämpning (Regeringsbeslut 2010). Högskoleverket har haft och har forfrande till uppgift att finputsa och genomföra ett system för kvalitetsutvärdering med osedvanligt stark styrning från regeringen och dessutom på mycket kort tid. Detsamma kan måhända sägas om bedömargruppen vars ledamöter visserligen frivilligt åtagit sig uppgiften att granska utbildningar och examensarbeten, men som av gruppens betraktelser att döma har haft att hantera ett tvetydigt och svårt uppdrag (Högskoleverket 2012b, bilaga 7).

”I DEN ABSOLUTA FRAMKANTEN VAD GÄLLER KVALITETSSÄKRING AV HÖGRE UTBILDNING”
Som framgår av programteorin i början av denna text är ett av regeringens mål att Sverige, med det nya utvärderingssystemet vid en internationell jämförelse ska ligga i den absoluta framkanten vad gäller kvalitetssäkring av högre utbildning. Denna tanke delas nu inte av den europeiska kvalitetssäkringsorganisationen ENQA (2012) som i en aktuell utvärdering av det svenska systemet fastslagit att det har allvarliga brister och inte längre överensstämmer med den gemensamma standarden ESG (Standards and Guidelines for Quality Assurance in the European Higher Education Area). Det svenska systemet har enligt ENQA för mycket av kontroll och för lite av kvalitetssäkring och utveckling. Vidare är det oklart om och hur de olika bedömningsunderlagen ska vägas samman, och dessutom riktas tvivel mot Högskole-verkets självständighet och förutsättningar att fritt fatta beslut. ENQA har ännu inte fattat något beslut i frågan, men risken finns att Högskoleverket riskerar att uteslutas ur ENQA.  Om så sker kan det, som Sveriges universitets- och högskoleförbund nyligen påpekat i ett pressmeddelande, i sin tur innebära att förtroendet för svensk högre utbildning riskerar att devalveras i ett internationellt sammanhang (SUHF 2012). Även det således i motsättning till programteorins förväntade effekter.

Lena Lindgren
Lena Lindgren är fil dr i statsvetenskap och docent i offentlig förvaltning vid Göteborgs universitet


Referenser
Dahler-Larsen, P (2000) Den rituelle reflektion – om evaluering i organisationer.
Odense: Odense universitetsforlag.
ENQA (2012) Swedish National Agency for Higher Education: review of ENQA Membership.
Brussels: European Association for Higher Education.
Funnel, S.C. & Rogers, P.J. (2011) Purposeful program theory. San Fransisco: Jossey-Bass.
Högskoleverket (2009) Kvalitetsutvärdering för lärande. Högskoleverkets förslag till nya kvalitetsutvärderingar för högskoleutbildning.
Högskoleverket (2012a) Högskoleverkets system för kvalitetsutvärdering 2011-2014. Examina på grundnivå och avancerad nivå (fastställd 21/12 2010, reviderad 19/6 2012).
Högskoleverket (2012b) Kvalitetsutvärdering av statsvetenskap, freds- och konfliktstudier, utvecklingsstudier och närliggande huvudområden.
Johansson, V. (2006) Tillsyn och effektivitet. Umeå: Boréa bokförlag.
Lindberg Sand, Å (2011) Koloss på lerfötter? Utveckling av metodik för ett resultatbaserat kvalitetssystem i svensk högre utbildning. CED, Centre for Educational Development, Lunds universitet.
Lindgren, L (2006) Utvärderingsmonstet. Kvalitets- och resultatmätning i den offentliga sektorn. Lund: Studentlitteratur.
Lindström, E. (2012) Statlig styrning och ansvarsutkrävande. Stockholm: Riksbankens Jubileumsfonds områdesgrupp för mål- och resultatstyrning.
Pollit, C. (2003) Performance audit in Western Europé: Trends and choices.
Critical Perspectives on Accounting, vol 14/1-2 (157-170).
Proposition 2009/10:139 Fokus på kunskap – kvalitet i den högre utbildningen.
Regeringsbeslut (2010) Riktlinjer för uppdrag om kvalitetsutvärdering av utbildning på grundnivå och avancerad nivå. Utbildningsdepartementet (2010-07-08)
Riksrevisionen (2012) Att styra självständiga lärosäten.
SUHF (2012) Sveriges utvärderingssystem för högre utbildning underkänns, ENQA-rapport. Pressmeddelande (www.suhf.se/web/Pressmeddelande.aspx).
SULF-tidningen (2012) nr 10.



[1] ”Vill du bli statsvetare ska du förstås läsa bästa statsvetenskapliga utbildningen, vid Göteborgs universitet…” tweet av Henric Oscarsson, 20 juni 2012. ”Utbildningarna i statsvetenskap och i europakunskap i Göteborg bäst i landet…” tweet av Ulf Bjereld, 20 juni 2012.
[2] Lena Lindgren är fil dr i statsvetenskap och docent i offentlig förvaltning vid Göteborgs universitet. Hon har omfattande erfarenhet av undervisning och forskning om utvärdering. Hon har också genomfört ett stort antal utvärderingar på beställning av olika myndigheter, har varit ordförande i Svenska utvärderingsföreningen och är ledamot i Högskoleverkets vetenskapliga råd för utvärderingsfrågor.
[3] En grundlig beskrivning av utvärderingssystemets rötter och framväxt som inkluderar de svårigheter och konflikter som funnits återfinns i Lindberg Sand (2011). Där finns för övrigt också en utförlig analys och kritisk diskussion av validiteten i den sorts bedömningsunderlag som Högskoleverkets utvärderingssystem tillämpar.







Vad finns här?

Vad finns här?
Anoto Pen and Paper