¡Descarga Apunts classe y más Apuntes en PDF de Ciencias de la Educación solo en Docsity!
Índex
- Justificació i sentit de l’avaluació aplicada a l’educació social:
- 1.1. Concepte d’avaluació.
- 1.2. Modalitats d’avaluació.
- L’avaluació de programes i projectes:
- 2.1. El sentit de l’avaluació en contextos socioeducatius. ................................
- 2.2. Els processos participatius en l’avaluació ................................................
- Instruments per a l’avaluació
- 3.1. Eines per a l’avaluació. ........................................................................
- 3.2. Avaluació i comunicació dels resultats ....................................................
- 3.2.1.1. Elaboració d’informes ..................................................................
- 3.2.1.2 Mètodes/ tècniques per a l’avaluació de programes socioeducatius .....
- Resum examen
- Mòdul 1 ....................................................................................................
- Mòdul 2 ....................................................................................................
- Mòdul 3 ....................................................................................................
1. Justificació i sentit de l’avaluació aplicada a l’educació social:
1.1. Concepte d’avaluació.
Tota avaluació és un procés sistemàtic que ens permet emetre judicis de valor.
Avaluar és diferent a descriure i diferent a mesurar. Avaluar ≠ Mesurar
La mesura la podem utilitzar, però l’avaluació s’inicia quan mobilitzem la mesura. No podem confondre mesura amb avaluació. Mesurar: és quantificar únicament Avaluar: implica formular judicis de valor
El professional que avalua no li és igual com es facin les coses. Qualsevol intervenció no val (vinculat a la idea de qualitat).
També hi ha la idea d’avaluació vinculat a la idea d’utilitat, perquè l’avaluació ha de ser útil pel projecte que durem a terme, pels usuaris, per la comunitat... L’avaluació no ha de ser una eina de control, sinó una eina de millora al servei del grup, que s’ha de dur a terme des del grup. Sovint és una eina per justificar que no es canvien les coses. L’ avaluació ens ha de dir perquè ho hem fet malament i com podem millorar. El dilema control- canvi el trobarem sempre a l’avaluació perquè són les dues cares de la moneda. La utilitat social de l’avaluació no és només una qüestió tècnica, sinó una qüestió de cultura avaluativa.
L’avaluació és una forma d’investigació social aplicada, de caràcter sistemàtic, que vol obtenir informació significativa sobre la planificació, el desenvolupament i els resultats d’un determinat servei o programa socioeducatiu, per tal de valorar-ne el grau d’adequació a les previsions inicials, amb la finalitat d’establir un judici de valor (basat en l’anàlisi comparativa d’allò que s’ha produït respecte a allò que s’havia previst) que han de facilitar els processos de presa de decisions, afecten el servei o programa avaluat, tenint present la seva utilitat social.
Utilitat social de l’avaluació : capacitat de potenciar el bé comú, de potenciar la millorar de la qualitat de vida de les persones. És a dir, el col·lectiu atès d’usuaris és el centre de la intervenció, del procés.
El cercle d’intervenció de Ballesteros ens fa qüestionar l’avaluació de necessitats, si és pertinent fer el que volem fer. Com que l’avaluació es troba present al llarg de tot el procés, el “cercle” ens permet combinar les diferents fases del disseny amb l’avaluació. L’avaluació té dues característiques bàsiques: és un recurs per a millorar les accions que es realitzen en un determinat context social, i és una metodologia científica aplicada que permet emetre judicis sobre un determinat “objecte”.
Començarem per la detecció de les necessitats, establirem uns objectius, dissenyarem un projecte d’intervenció, l’implementarem, i posteriorment, ho avaluarem i prendrem les decisions pertinents.
El cercle d’intervenció social i avaluació es duu a terme mitjançant un procés de presa de decisions a través del qual es defineixen els problemes que afligeixen un determinat col·lectiu.
Avaluació externa però d’iniciativa interna: algú de dins de l’organització ha de creure necessari i important que un avaluador extern dugui a terme l’avaluació. El procés d’avaluació democràtica implica remetre’ns al cercle d’intervenció de Ballesteros.
Per comprendre una realitat o organització, no en tenim prou amb comprendre les parts de la mateixa. També hem de comprendre les relacions/ interaccions que es produeixen entre les diferents parts.
La millor solució possible és aquella que s’ha pres conjuntament, que emergeix del grup. Ex. No és el mateix un divorci de mutu acord que un divorci que du a terme un jutge.
Disseny
Avaluació
Avaluació
Avaluació
Fases de la planificació: Diagnòstic Planificació Execució Valoració L’ eix sobre el que gira el cercle/ espiral és un eix que gira entorn als valors, la ideologia, la política i la ciència. Ciència: des del coneixement Ideologia: des del pensament Política. Des d’on destinem recursos Valors: des de les creences
L’avaluació té una dimensió política. Ens hem de preocupar per conèixer fins quin punt la nostra intervenció és útil.
Ballesteros afegeix el tema dels judicis del valor en el seu discurs. Quin tipus de criteris o judicis podem emetre en un projecte?
Tipus de judicis de valor que podem prendre quan avaluem (Ballesteros)
- Eficàcia: fa referència a la capacitat per aconseguir els objectius desitjats.
L’ avaluació és present en totes les fases!
Conjunt dels actors del projecte
Avaluador
Consulta
Usuaris primaris, beneficiaris directes del servei
Tots els grups afectats en el procés
Intensa en totes les etapes
Eix actors Eix participació
Eix control
- L’avaluació entesa com un procés sistemàtic i rigorós que es preocupa per fer diferents judicis de valor en tots els processos de planificació d’un projecte. L’avaluació com un procés permanent de posada en marxa de les diferents fases per dur a terme un projecte. És un procés integral i global.
Com que l’avaluació també serveix per decidir què fem i què no fem, la suma de tots els judicis ens permet prendre decisions sobre el valor del programa.
Se suposa que al dur a terme cada fase del procés, estem garantint l’acompliment dels diferents judicis de valor.
J. Rovira incorpora una idea més: La voluntat de pagament : és a dir, quants diners està disposada a pagar la gent per aquest servei/recurs. S’ha de tenir en compte el context cultural i social on vivim. La percepció social sobre el tema també s’ha de tenir en compte. En Serveis Socials no es pot parlar només d’impacte en la comunitat, sinó que s’ha de parlar de disponibilitat de la comunitat.
Dimensió de qualitat:
- Avaluació de necessitats
- Definició dels objectius
- Criteris de selecció dels objectius
- Definició del programa
- Grau d’implantació
- Disseny d’avaluació
- Qualitat de les operacions a observar
- Recollida d’informació sobre el context
Dimensió de barreres: té a veure amb els problemes o inconvenients amb els que ens trobem a la intervenció.
- Acceptabilitat de l’avaluació
- Implicació de l’avaluador
- Finalitat de l’avaluador
- Cost de l’avaluació
1.2. Modalitats d’avaluació.
La pregunta al centre de pràctiques hauria de ser: saben amb quina influència juguen? Els és útil? Saber què fer-ne? Els objectius que es planteja responen a les finalitats de les necessitats del barri?
Per tant, les eines no són útils en si mateixes, perquè han d’estar al servei de l’avaluació. Per tant, l’avaluació de programes socioeducatius s’ha de fonamentar en els modalitats següents.
Segons quan s’avalua o Formativa o de procés: es duu a terme durant el procés, però per la voluntat de prendre decisions per tal de re orientar-lo. o Final o Sumativa: es fa al final del procés. Es duu a terme quan ja s’ha executat el projecte per veure si hem aconseguit o no els resultats esperats. o Inicial: és l’avaluació en el diagnòstic. Sospitem que hi ha necessitats i ens endinsem més per conèixer-les. És el pas previ al disseny. Ens permet conèixer la situació actual. Segons l’extensió de l’avaluació o Parcial o Global Segons qui avalua o Avaluació interna: avaluacions que duu a terme la pròpia organització. Poden ser:
- Autoavaluació
- Heteroavaluació: sóc avaluat pels meus iguals Avantatges: és més fàcil optimitzar el procés de l’avaluació perquè nosaltres coneixem amb detall el que s’està fent. Així mateix, tendeix a minimitzar la reactivitat i és més econòmica. Inconvenients : no podem comparar amb d’altres projectes. o Avaluació externa : tendeix a ser més objectiva, però no necessàriament ha de ser així. Ex. “El que paga, mana”. És útil per als polítics i la presa de decisions (lògica del gestor públic). Avantatges: s’acostuma a utilitzar per comparar projectes. o Avaluació mixta o Autoavaluació Segons què s’avalua (objectius) o Avaluació de necessitats
L’avaluació no ha d’estar al servei dels patrocinadors, sinó al dels usuaris, i és un element de control democràtic dels serveis i programes socioeducatius. Parlem d’empoderament perquè està reconeixent a l’altre. Alhora, parlem de participació perquè l’usuari es fa seu el procés. L’avaluació ha d’estar al servei dels usuaris, al servei de la qualitat de vida de les persones. En el món social, on estarem amb persones que tenen dificultats per emprendre autònomament el seu projecte de vida, han de ser aquestes a qui ajudem a capacitar una mica més per enfrontar-se als propis reptes. Avaluació participativa: l’avaluació ha de tenir en compte la participació de tots els sectors implicats (avaluador, patrocinadors, professionals, usuaris implicats i població en general) en totes les fases del procés d’avaluació.
Característiques que no podem ignorar segons March (1997)
Les realitats en les que intervenim són dinàmiques i canviants. Els models estàtics, doncs, no ens poden servir per avaluar una naturalesa canviant. L’avaluació és entesa com un procés analític, permanent, dinàmic, obert i contextualizat. Això és degut a que intervenim sobre realitats dinàmiques i canviants. Per tant, sinó avaluem per reformular i adequar el projecte socioeducatiu, aquest quedarà obsolet. Característiques del dinamisme: o Serveis emergents de nova formació o Resultats a mig-llarg termini. Els projectes socioeducatius no es poden avaluar a curt termini o Perfil professional obert lligat al món canviant
L’avaluació necessita previsió, organització i reflexió per tal que l’avaluació sigui analítica i permanent. La contextualització rau en les característiques específiques i entorn de cada projecte => Perfil professional poc institucionalitzat.
Avaluació permanent, en el sentit que hem d’avaluar l ’impacte de la nostra intervenció a llarg termini, no re avaluar permanentment la mateixa intervenció. És un sector emergent, poc institucionalitzat. Necessitem comprendre el que ha passat i contextualitzar-ho.
Complexitat de la realitat en la qual intervenim. Cal adoptar un punt de vista sistèmic. [Sistema = Part del mateix + Interaccions entre les parts]. No
podem fer només una anàlisi descriptiva de la realitat. Hem de comprendre- la (comprensió del per què passen les coses). Integració de les aportacions dels paradigmes interpretatius i crítics. La realitat sobre la que intervenim és complexa i es comprèn en base a una vessant objectiva i una altra de subjectiva. Aquesta part subjectiva de donada per la història de cada individu, la interpretació de la realitat és diferent en cada persona donat que cadascú parteix de diferents històries. Així, és inevitable la interpretació, i la no negació de la complexitat de la societat i les relacions però cal establir uns objectius de la realitat => Complexitat de la realitat
L’objectiu de l’avaluació no és verificar els resultats objectius, sinó millorar la qualitat del servei (optimització). Els resultats són inseparables del procés (hem de comprendre com s’ ha arribat a aquell resultat). Comprensió dels processos que han tingut lloc al programa. Posar en valor els processos més que els resultats. L’objectiu de l’avaluació és optimitzar el programa o servei avaluat. L’avaluació ha de deixar enrere el simple fet de buscar l’acompliment dels resultats. Cal anar més enllà buscant noves fórmules en els processos. L’avaluació ha d’entendre, ha de buscar l’entesa del procés que s’ha seguit.
Triangulació i flexibilitat metodològiques: qualitatives i quantitatives. Cal contrastar tècniques qualitatives i quantitatives. Cal veure la complementarietat. Si busquem la qualitat de vida com a professionals, no podem deixar de banda la subjectivitat del concepte. No hi uns estàndards de la qualitat de vida. Cada individu té la seva definició. Així, podem mesurar en base dades quantitatives però travessades de qualitatiu doncs el tot és complex i així atenem la complexitat. => Triangulació: qualitatiu + quantitatiu
L’oposició política associada a cada avaluació: l’avaluació ha de comprendre l’objecte de cada programa. Cal comprendre per què s’ha prioritzat l’atenció en una necessitat social i no en una altra. Cal entendre el sentit de cada programa i el fet de posar èmfasi en un tipus de necessitat social o una altra és una opció política. Per exemple, si arribem a la conclusió que hem de retallar, hem de valorar què és el que retallem, d’ on retallem, què és una necessitat i què no ho és...
L’avaluació ha de tenir en compte la participació dels diversos col·lectius afectats. Hi ha informació necessària per l’avaluació que només els col·lectius
2. L’avaluació de programes i projectes:
2.1. El sentit de l’avaluació en contextos socioeducatius.
Text M. Xavier March “la conceptualización política de la evaluación de los servicios sociales”.
En el camp de serveis socials, hi ha dificultats en la realització de processos d’avaluació, no només per qüestions polítiques, tècniques o professionals,, sinó també per la poca tradició que existeix en aquest àmbit. No hi ha experiència d’avaluar, hi ha poca tradició. En canvi, en els àmbits de l’educació i la salut sí que tenen molta tradició. Hauríem de fer avaluació de programes socials, però també de programes socioeducatius. Parlar d’avaluació és parlar també de cultura professional (de com és l’educador/a, de’ n quin model se situa...).
D’aquesta manera, es pot constatar l’existència d’un seguit de moments en el procés d’institucionalització de la cultura de l’avaluació dels serveis socials: L’ inici del procés es concreta amb l’elaboració i la realització de mapes de serveis socials per part de diverses comunitats autònomes i ajuntaments. Es tracta d’instruments que pretenen conèixer l’estat de la qüestió i planificar les accions i els serveis a realitzar. Es tracta, doncs, d’una etapa d’avaluació de necessitats on els diferents àmbits i camps es poden assenyalar. Fa referència a la dimensió quantitativa (no qualitativa ni de resultats). Es tracta d’un procés pel qual es dur a terme l’avaluació dels processos de gestió i d’implementació de serveis, recursos i programes, des d’una perspectiva administrativa, econòmica i professional. Fa referència, també, a la dimensió quantitativa. El 3r indicador del procés d’avaluació dels serveis socials fa referència a l’avaluació dels resultats, a nivell dels productes, dels efectes directes i dels efectes indirectes que els serveis socials estan tenint dins de la societat.
El fet d’avaluar és quelcom de caràcter polític (en totes les fases): L’avaluació dels serveis socials no pot reduir-se a una qüestió tècnica i professional. La mateixa definició del concepte d’avaluació implica necessàriament una concepció “política”, “social” i “ideològica” del tema.
“L’ avaluació és el procés d’identificar, obtenir i proporcionar informació útil i descriptiva sobre el valor i el mèrit de les metes, la planificació, la realització i l’impacte d’un determinat objecte, amb la finalitat de servir de guia per a la presa de decisions, solucionar els problemes de responsabilitat i promoure la comprensió dels fenòmens implicats”.
Figura de l’educador: o Avaluació interna: és més convenient per al següent tipus d’avaluacions. És important garantir la integració de l’avaluador dins del programa, recurs o institució: Avaluació de necessitats Avaluació diagnòstica Avaluació inicial o Avaluació externa: si es fa amb independència, amb ètica, amb professionalitat i amb la participació dels professionals i amb els usuaris, pot ser més eficaç des de totes les perspectives. és més convenient per al següent tipus d’avaluacions: Avaluació del procés Avaluació d’impacte o Avaluació de resultats
L’equip i l’avaluació: fa referència al caràcter participatiu de l’avaluació. És com ha de ser l’avaluació i el seu procés. L’avaluació està present en tots els moments, però tots hem de ser-hi sempre. L’avaluador no és una única persona, però sí ha de tenir unes determinades competències. Per una part, l’equip de professionals ha d’assumir el fet de l’avaluació com un objectiu irrenunciable. És a dir, l’avaluació no ha de ser un afegit a tot el procés d’intervenció dels serveis socials. Tanmateix, l’avaluador ha de possibilitar la participació de tots en el procés avaluador. No pot plantejar-se la figura de l’avaluador extern o de l’avaluació amb un plantejament de supervisió política, de control no tècnic o professional, o fins i tot, de control tecnocràtic.
S’ha de tenir en compte alguns elements: És necessari definir i conèixer l’objectiu final de l’avaluació. S’ha d’explicitar la utilitat de l’avaluació. S’ha de concretar la finalitat última de l’avaluació,
Hem d’estar d’acord amb la finalitat de l’avaluació, amb quins són els objectius.
És necessària una avaluació formativa, que ens permeti modificar i canviar plantejaments i objectius, que ens permeti prendre decisions, que ens permeti rectificar l’execució i la implementació d’un programa. L’avaluació formativa és imprescindible des de totes les perspectives i dimensions.
2.2. Els processos participatius en l’avaluació
(Lectura + Power Point anglès)
Anàlisi de les fases de l’avaluació (Evolució històrica de l’avaluació els últims 20 anys)
4 etapes/corrents:
Inici anys 90 : preocupació per com incorporar en l’àmbit públic el món assistencial o 3r sector. Preocupació, també, per com incorporar elements de rigor. Es busquen models empresarials propers als models benefico- assistencials cap a l’eficiència. Comencen a avaluar a càrrec del finançador extern, no del projecte. L’avaluació és viscuda com un requeriment extern, duta a terme per avaluadors externs. És una lògica de fiscalització, i és viscuda amb oposicions. És una etapa de l’avaluació viscuda per servir al finançador (demanda externa). Establim una lògica de contracte, com una manera de rendir comptes. Per tant, una lògica de control.
Esglaons d’un pla d’avaluació: o Tenir clar quins són els nostres objectius, finalitats i serveis o Construir i triar els propis indicadors d’avaluació (elements objectius) o Recollir la informació o Anàlisi de la informació i interpretació d’aquesta o Ús de la informació
Mitjans dels 90: focus cap als resultats i els efectes. Estem anant cap als efectes reals que tenen pels usuaris. És a dir, passar dels nostres resultats als resultats dels nostres protagonistes. Hi ha, per tant, diferència entre allò que jo faig ( outputs) i aquells canvis que jo provoco en els usuaris/ beneficiaris ( outcomes ).
Per avaluar els canvis, necessitarem d’uns indicadors concrets, com identificar estadis que acaben portant als objectius. Els indicadors han de ser mesurables i observables. A vegades, cal fer canvis/ passos intermitjos per arribar a l’objectiu final (petits passos). Parlem dels beneficis, del canvi produït en els usuaris. Hi ha una preocupació pels fets. És una dimensió més qualitativa. A partir del 2000 : la transparència de recursos del govern cap al 3r sector va creixent. Es posa èmfasi pel pressupost. Sorgeix la lògica de la relació qualitat- preu. Va lligada a un creixement exponencial del 3r sector. Anem a veure com s’adjudiquen els contractes. Comença a ser més important la relació qualitat- preu que els canvis produïts. El preu cobra molta importància, i els efectes la perden. Hi ha una anàlisi del propi producte de nou, com en la primera onada. Passem molt temps recollint informació per justificar la relació qualitat- preu. És una dimensió més quantitativa. Situació actual : retorn de la inversió social:. Cada diner invertit com repercuteix, quan em permetrà estalviar. El meu treball genera un benefici o un estalvi present o futur, que em permet dir que cada euro em reporta tants euros de beneficis. Intenta aconseguir posar en valor els efectes aconseguits. Intenta, doncs, sortir de la lògica cost- benefici, una lògica més lineal. Ex. Cas dels fumadors: inicialment, el tabac reportava molt beneficis, fins que es van adonar que hi havia més despesa que benefici, perquè la factura sanitària pujava molt. Fan una campanya en pro de la salut i en contra de les tabaqueres. D’aquesta manera, hi ha una reducció de la despesa pública. També es millora en salut. Hi ha un equilibri entre la dimensió qualitativa i la quantitativa.
Hi ha un conjunt d’autors anglesos i nord-americans (1992): No ens serveix avaluar una part. Hem d’avaluar el tot. El programa és un tot, necessitem la visió de totes les persones implicades: globalitat. No podem mirar només les diferents parts del projecte. L’avaluador rep i aprèn. L’avaluador aporta coneixement als altres, però també n’aprèn. La comunicació i el diàleg han d’estar presents i han de permetre que aflorin els fluxos de relació i confiança. L’avaluador ha de ser un bon comunicador. Ha d’haver-hi comunicació entre iguals en un entorn on, tant l’avaluador com l’altre, aprenen junts.
L’ avaluació és posar en comunicació tots els agents que intervenen en el programa. L’avaluació és entesa com a procés de relacions entre participants, gestors, professionals... del programa.
L’avaluació dels serveis és un exercici de diàleg per aconseguir comprendre (comprensió dialògica).
Seguint les aportacions d’aquest autor, pensem que l’avaluació de serveis ha de ser: independent i compromesa, qualitativa i no únicament quantitativa, pràctica i no merament especulativa, democràtica i no autocràtica, processal i no final, participativa, col·legiada i no individual, i externa, encara que d’iniciativa interna.
Principis model democràtic i participatiu:
Independència: és una avaluació lliure d’interessos individuals. L’avaluador està només per la millora dels programes. Tothom ha d’assumir els resultats de l’avaluació. El procés avaluatiu ha de ser imparcial. Comunicació: els canals de comunicació han de ser honestos per tal de posar en contacte diferents elements que fan possible el reconeixement de certes coses. Cal que la comunicació sigui fluïda i honesta. Ha d’haver-hi una gestió adequada dels fluxos de comunicació que s’estableixen entre les parts. Representació: l’avaluació ha de representar totes les opinions o sensibilitats de les persones que participen del programa. Ha de representar l’opinió de tots. Participació: hem de garantir que en el procés tothom participi.
Publicitat/ Transperència: els resultats de l’avaluació han de poder ser transferibles/ comunicables a la comunitat.
Característiques principals del model democràtic i participatiu: El diàleg i la negociació entre els diversos col·lectius implicats Incorporar i representar els interessos plurals i no sempre coincidents de les diferents parts afectades La difusió pública dels resultats i conclusions de l’avaluació
15 principis de l’avaluació de programes i serveis: Avaluem el procés, no només el producte Avaluació externa, però d’iniciativa interna, i amb participació de tots els implicats Quantitat i qualitat, dimensions complementàries Pluralitat metodològica: ens interessa trobar la informació útil. La metodologia és l’ instrument per arribar a la informació. Contra els dissenys estandarditzats i estereotipats, a favor de dissenys específics i contextualitzats. Pluralitat de dissenys, a causa de la pluralitat de serveis i programes. Avaluació també dels efectes secundaris, no desitjats, no previstos: avaluació de l’eficàcia i dels resultats, de l’efectivitat i de l’ impacte. Avaluació dels efectes a llarg termini. Evolució de les avaluacions mitjançant series temporals llargues. Avaluació aproximativa, no absoluta ni definitiva. Complementarietat entre les avaluacions de necessitat, de disseny, de procés i de producte, i també del cost de la no- intervenció. Disseny avaluatiu segons criteris i requisits científics, però d’aplicació flexible i dinàmica. L’avaluació s’ha de poder aplicar: els resultats han de servir per aplicar-los a la realitat pràctica. Avaluació com a element de canvis i transformació, no de control. Visió democràtica, social i participativa de l’avaluació.
L’avaluació és un contrast entre allò real i allò previst. Avaluar suposa comparar.
Hi ha diferents fases de l’avaluació: Concretar el tipus d’informació necessària
