uu.seUppsala University Publications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Utvärderingsmål & medel: kunskap eller kontroll?: En jämförelse av utvärderingsfunktionen i tre statliga förvaltningsmyndigheter
Uppsala University, Disciplinary Domain of Humanities and Social Sciences, Faculty of Social Sciences, Department of Government.
2012 (Swedish)Report (Other academic)
Abstract [sv]

Under senare år har granskningssamhället expanderat rejält med ökande krav på utvärderingsinformation från olika aktörer, däribland beslutsfattare, myndigheter, lokala förvaltningsorgan, professioner, allmänheten och allehanda intresseorganisationer. Utvärderingsenheter inom olika myndigheter producerar betydande information, men det är oklart huruvida olika utvärderingsenheter har likartade roller, organisationer, metoder och användningsfunktioner. Vad kan Naturvårdsverket lära sig av andra myndigheters utvärderingsarbete?

Föreliggande studie fokuserar på utvärderingsfunktionen genom en jämförande analys av tre svenska myndigheter: Naturvårdsverket, Myndigheten för samhällsskydd och beredskap samt Socialstyrelsen. Dessa tre myndigheter arbetar med policyområden som skyddar medborgare mot olika typer av risker, närmare bestämt miljöproblem, krissituationer och hälso- och välfärdsproblem. I samtliga fall implementeras politiken på regional och lokal nivå av diverse offentliga och privata aktörer. Studien är upplagd som en teoristyrd, kvalitativ och jämförande forskningsutredning av myndigheters utvärderingsfunktioner. Den baseras på ett antal strategiska intervjuer samt dokumentstudier.

Resultaten som diskuteras i denna rapport visar att det finns båda likheter och skillnader i myndigheternas praxiser. De flesta utvärderingsenheterna är ”mångsysslare”; de har flera utvärderingsroller och arbetar med olika utvärderingstyper beroende på vilket slags uppdrag det handlar om. Ett betydande fokus riktas mot inlärande, men det förekommer också ett kontrollsyfte, om än i begränsad grad. De undersökta myndigheterna genomför i huvudsak externa utvärderingar, eftersom initiering och finansiering åligger andra än den utvärderade organisationen. Ett visst inslag av internutvärdering förekommer dock ibland. Likheterna är betydande vad gäller utvärderarnas kompetenser. Överlag anställs samhällsvetare och pedagoger. Undantaget är Socialstyrelsen, vars enheter rymmer flera medicinska experter. Några enheter anlitar vid behov externa expertkompetenser. I regel bedrivs arbetet med utvärderingsuppdrag internt inom de olika myndigheternas enheter. Både likheter och skillnader uppdagas med avseende på de olika utvärderingsmetoder som används för att genomföra utvärderingar. Frågemetod och dokumentanalys är populära tillvägagångssätt. MSB:s använder sig också av övningsutvärderingar och simuleringar samt observationsmetoder. Socialstyrelsens utvärderingar av de nationella riktlinjerna för god vård använder å andra sidan statistiska och evidensbaserade metoder. Det finns betydande variationer vad gäller myndigheternas mätningssystem, både vad gäller ambitionsnivå och innehåll. De flesta enheter sysslar med upplysande och beskrivande analyser i syfte att lära mer om arbetet för att kunna initiera förbättringar. Andra har detaljerade specifikationer för hur utvärderingen ska tolka och bedöma resultaten. Hur utvärderingarna till sist kommer till användning rent praktiskt är avhängig av uppdragets natur samt vilka typer av aktörer som kan dra nytta av resultaten. Denna forskningsutredning har tagit fram information som kan användas för Naturvårdsverkets fortsatta arbeten i utvecklande och förbättrande syfte. 

Abstract [en]

The audit society has expanded dramatically in recent years with ever increasing demands for evaluation and auditing information from political decision-makers, executive agencies, implementing organisations at lower levels, professionals, members of the public and other interested groups and organisations. The evaluation departments in Executive Agencies produce a substantial amount of information, yet it is unclear whether the evaluation departments have the same: roles, organisations methods, and measurement systems; uses; and what the Environmental Protection Agency (NVV) can learn from other Executive Agencies’ evaluation functions and strategies.

The study focuses on the evaluation function by comparing three Swedish Executive Agencies: The Environmental Protection Agency (Naturvårdverket), The Civil Contingencies Agency (Myndigheten för samhällsskydd och beredskap) and The National Board of Health & Welfare (Socialstyrelsen). The agencies deal with policy areas relating to protecting citizen against future risks relating to environmental problems, crisis situations and health and social care problems. However, in every case policy implementation occurs at regional or local level by a diverse range of public and private actors. The study is designed as a theoretically guided qualitative and comparative research evaluation of Executive Agencies’ evaluation function. It is based on a number of strategic interviews and document analyses.

The results discussed in this report show that there were both similarities and differences in the practices adopted by the agencies evaluations functions. Most of the evaluation departments were a “Jack of all trades” with several evaluation roles and types depending on the tasks their received. There was a strong focus on “learning” aims but there were also control and compliance based aims to a limited extent. The evaluated agencies carried out mostly external evaluations as initiation and financing was always separate from the evaluation-object, although a certain element of internal evaluation was sometimes present. There were similarities in evaluators’ competence as most came from social science of educational backgrounds, although the National Board of Health & Welfare employed experts in medical and social care. Outside experts were also occasionally employed. The evaluation sections usually worked internally with their remit. There were also similarities and differences relating to the evaluation methods used. It was common that questioning and document analysis methods were used. However, the Civil Contingencies Agency used simulation and observation methods and the National Board of Health & Welfare used statistical and evidence-based methods. There were considerable variations in the measurement systems used by the agencies with differences in ambition and content: most focused on intelligence systems with descriptive analyses whereas others had detailed specifications for interpretation and assessment of findings. Utilization was dependent on the task and which actors could use the findings. This research-based evaluation has created a wealth of information that the Environmental Protection Agency can use in their continued development work.

Place, publisher, year, edition, pages
Stockholm: Naturvårdsverket , 2012. , 93 p.
Keyword [sv]
utvärdering; förvaltningsmyndigheter; utvärderingsmål; utvärderings organisering
National Category
Public Administration Studies
Research subject
Political Science
Identifiers
URN: urn:nbn:se:uu:diva-182926OAI: oai:DiVA.org:uu-182926DiVA: diva2:562345
Available from: 2012-10-24 Created: 2012-10-18 Last updated: 2015-06-30Bibliographically approved

Open Access in DiVA

No full text

Authority records BETA

Maycraft Kall, Wendy Katherine

Search in DiVA

By author/editor
Maycraft Kall, Wendy Katherine
By organisation
Department of Government
Public Administration Studies

Search outside of DiVA

GoogleGoogle Scholar

urn-nbn

Altmetric score

urn-nbn
Total: 411 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf