Rúbricas de evaluación de competencias
7
DISEÑO Y VALIDACIÓN DE UNA RÚBRICA
Herman, Aschbacher y Winters (1992) explican, como sigue, el proceso de diseño de cualquier instrumento de evaluación del aprendizaje, que, obviamente, es de aplicación, también, en la construcción y validación de las rúbricas.
Especificar la naturaleza de las destrezas y de los logros que el/a aprendiz ha de conseguir.
Detallar las tareas del/a aprendiz, requeridas para alcanzar las metas.
Elaborar un instrumento de evaluación fiable.
Reunir pruebas de evidencia acerca de la validez de las inferencias derivadas del proceso de evaluación.
Utilizar los resultados para mejorar la evaluación y el procedimiento de feedback de los resultados.
Las tareas de diseño y validación de una rúbrica se centran en los pasos tercero y cuarto del anterior proceso. En los dos métodos analizados en una sección precedente, sobre las escalas conductuales (Smith y Kendall, 1963; Latham y Wesley, 1977), las pruebas de evidencia se eligieron previamente para acumular contenidos que permitieran realizar el propio diseño. Sin embargo, en el ámbito de la Enseñanza o la Formación, por la inmediatez que necesita la evaluación de los aprendizajes, es más recomendable un método de aproximaciones repetidas, al objeto de facilitar la operatividad del sistema.
I
Aproximaciones sucesivas para la construcción de rúbricas
La situación de partida, que indica la necesidad de una rúbrica de evaluación de competencias sobre tareas nuevas, en un dominio de conocimiento concreto, se inicia con una buena definición de las tareas y de los criterios de evaluación del desempeño de las mismas, al menos en términos de leyes.
En un segundo momento, atendiendo a los diversos componentes de la temática y, adoptando los distintos grados del conocimiento experto, se procede a una primera descripción de las operaciones o dimensiones a evaluar y de los cuatro niveles de complejidad, más el estadio inicial, o sea, un grado de competencia en desarrollo, un grado aceptable de competencia, un grado avanzado de competencia y un grado de competencia ejemplar.
En tercer lugar, conviene contrastar este primer protocolo, al menos, con dos expertos para alcanzar un consenso sobre las dimensiones a evaluar y los términos descriptivos de cada uno de los cuatro grados de la rúbrica.
La fase siguiente tiene por finalidad acumular pruebas de evidencia, recogiendo todo tipo de observaciones, ejemplos de operaciones de tarea, ejercicios e incidentes críticos para cada uno de los cuatro grados de competencia señalados.
Tras el análisis pormenorizado de todas las evidencias, se incorporarán las enmiendas, en forma de especificaciones diferentes de las dimensiones y nuevos estándares e indicadores del desempeño de las tareas en cada uno de los grados.
Los dos últimos pasos, de acumulación de evidencias y de revisión de los descriptores de la rúbrica deben repetirse, periódicamente, al menos una vez por curso o en todas las nuevas ediciones del programa.
II
Procedimientos de validación de la rúbrica
En una sección anterior se había comentado que la diferenciación precisa entre los distintos niveles o grados de la escala de evaluación (Tierney y Simon, 2004), la dificultad de comprensión de los términos o su ambigüedad (Andrade, 2000), son los problemas principales de validación de las rúbricas.
Por consiguiente, los procedimientos más recomendables de validación de una rúbrica se basan en el acuerdo entre varias personas expertas, el cual suele operativizarse con ayuda de determinados índices estadísticos.
Además, la fiabilidad y la validez de una rúbrica se ven afectadas por múltiples sesgos o inexactitudes, alguno de los cuales podría ocurrir durante el proceso de diseño (Morgeson y Campion, 1997). Los principales sesgos de naturaleza cognitiva, que habrían de evitarse necesariamente son los derivados de: la categorización de la información, los descuidos, la información superflua, la información inadecuada, el contraste de efectos, el halo o las actitudes de indulgencia y severidad.
Ante la eventualidad de un valor reducido de cualquiera de los índices estadísticos empleados, una buena medida de validación es analizar atentamente si ha ocurrido alguno de estos tipos de distorsión, que pueda ser corregido.
Existe una notable variedad de métodos estadísticos para la validación de una rúbrica. Entre ellos, se propone iniciar el proceso con el análisis de fiabilidad, con ayuda del índice kappa de Cohem (1960) o el promedio de desviaciones, AD, de Burke y Dunlap (2002), cuyas especificaciones se acompañan (fig., 1).
Figura 1: Métodos de fiabilidad o acuerdo entre evaluadores
Los análisis de fiabilidad o el grado de acuerdo entre evaluadores/as se hace aplicando una de las dos fórmulas ─o las dos, una tras otra, para poder hacer comparaciones─ a las calificaciones que un mínimo de 3 jueces independientes obtengan de la evaluación de más de 30 casos en los que se haya utilizado la rúbrica.
Si no se hubieran obtenido las puntuaciones mínimas, los contenidos de la rúbrica deben ser necesariamente revisados. En caso de haber obtenido una buena puntuación, podrá de decirse que, al menos, la rúbrica es fiable, siendo éste el primer indicador de su validez.
Por razones de eficiencia, estas pruebas de validación no es práctico realizarlas antes de las segunda o tercera revisión/aproximación.
Cualquier otro estudio posterior de validez de contenido, validez predictiva, etc., requiere de operaciones más complejas, que se aplazan para otra ocasión. En cierto sentido, una buena puntuación de fiabilidad, de donde se deduce que varios jueces han coincidido en considerar que la rúbrica es coherente, permite, al menos, suponer la validez hipotética del contenido de la misma.
8
EJEMPLO
Ejemplo de los primeros pasos del diseño de una rúbrica
El objeto de este ejemplo es la rúbrica de evaluación de un curso de formación continua a distancia, mediante la plataforma Moodle, sobre Análisis del Trabajo en la Administración Pública.
La tarea a evaluar consistió en: “Analizar puestos de trabajo, elaborando un informe exhaustivo de aplicación en los distintos ámbitos de la gestión de los recursos humanos”. La figura nº 2 ofrece en miniatura los contenidos del protocolo inicial, que sirvió para la evaluación de 22 alumnos/as en la primera edición del referido programa de aprendizaje.
Figura, 2: Ejemplo de rúbrica de evaluación de competencias
Seguidamente, se compararán los enunciados de este primer protocolo (A) con los del segundo protocolo (B), previsto para la edición siguiente, tras incorporar los cambios derivados del análisis de los informes y los comentarios recogidos en el foro del curso.
Primera operación
Anteproyecto del plan de análisis de puestos (A.P):
Realizar un informe de unas 5 páginas para argumentar la necesidad de revisar las estructuras de organización del personal y diseñar una nueva Relación de Puestos de trabajo (RPT).
Estadio inicial (0-1) A | B |
No es posible evaluar ningún nivel de competencia, por no resultar observable o manifestar información totalmente insuficiente sobre contexto, agentes, metodología, etc. | (Sin cambios) |
Competencia en desarrollo (2-4) | B |
Se limita a analizar los elementos jurídico normativos de la R.P.T, y las soluciones que aporta no son asimilables al marco de referencia de las metodologías del A. de Puestos. No contempla ni todos los agentes, ni las necesidades principales que dan origen al proyecto de A.P | Destaca, más bien, los elementos jurídico normativos de la R.P.T, y las soluciones que aporta son poco asimilables al marco de referencia de las metodologías del A. de Puestos. Explica escasamente los agentes o las fases del proyecto. Apenas alude a los recursos y herramientas o los que cita son inadecuados. |
Nivel competente (5-6) | B |
Identifica la problemática de la R.P.T. vigente. Reconoce los diversos agentes, los datos del contexto y las necesidades. Maneja un marco de referencia coherente sobre el A. de Puestos. Propone alguna solución metodológica adecuada, pero no ha visualizado las posibles ganancias. | Realiza un análisis de contexto algo general, pero identifica la problemática de la Relación de Puestos vigente. Identifica agentes, explica fases y recursos. Maneja un marco de referencia coherente sobre el A. de Puestos. Propone alguna solución metodológica adecuada, pero solamente ha visualizado alguna de las principales ganancias. |
Nivel avanzado (7-8) | B |
Identifica el modelo organizativo para las entidades burocráticas, los datos del contexto y los principales agentes. Tal vez no distinga adecuadamente las funciones de las tareas de los puestos. Identifica la problemática de la R.P.T. vigente. Maneja un marco de referencia coherente sobre el A. de Puestos. Propone variadas soluciones, tanto provisionales como definitivas y visualiza las posibles ganancias. | Realiza un análisis de contexto completo. Identifica el modelo organizativo para las entidades burocráticas, los datos del contexto y los principales agentes. Maneja un marco de referencia coherente sobre el A. de Puestos. Explica detalladamente las fases el tipo de recursos y herramientas, tal vez, aún un poco generales. Propone variadas soluciones, tanto provisionales como definitivas y visualiza las posibles ganancias. |
Competencia ejemplar (9-10) | B |
Identifica el modelo organizativo para las entidades burocráticas, los datos del contexto y todos los agentes. Distingue las políticas de las funciones y de las tareas de los puestos. Identifica la problemática de la R.P.T. vigente. Maneja un marco de referencia experto sobre el A. de Puestos. Propone variadas soluciones, tanto provisionales como definitivas para varios ámbitos de los recursos humanos. | Realiza un análisis de contexto completo, incluido el modelo organizativo y los principales agentes. El marco de referencia es muy riguroso y todo el anteproyecto es coherente. Explica detalladamente las fases el tipo de recursos y herramientas. Propone variadas soluciones, tanto provisionales como definitivas y visualiza las posibles ganancias. Alude, además, a diversas consecuencias positivas o negativas y visualiza, incluso, otros proyectos derivados. |
Segunda operación
Redactar incidentes críticos (I.C.) para las funciones de un puesto
Redactar, por lo menos, 2 incidentes críticos para cada función (de 5 a 8) de un puesto de trabajo conocido. Los I.C. serán 1 positivo y otro negativo.
Estadio inicial (0-1) A | B |
No es posible evaluar ningún nivel de competencia, por no resultar observable o manifestar desconocimiento de la técnica de I.C. o falta de destreza en la redacción de los incidentes. | (Sin cambios) |
Competencia en desarrollo (2-4) | B |
Los I.C. son poco trascendentes, o están incompletos o es difícil distinguir los que corresponden a un desempeño positivo o a un desempeño negativo. Los enunciados de función no se diferencian de los de tarea. En alguna de las funciones falta algún incidente crítico. | Los I.C. son poco trascendentes, o están incompletos o es difícil distinguir los que corresponden a un desempeño positivo o a un desempeño negativo. En alguna de las funciones puede faltar algún incidente crítico. O bien, se trata de incidentes críticos, cuya resolución fue imputada a otras personas ajenas. |
Nivel competente (5-6) | B |
Son, al menos, 10 incidentes, algunos positivos y otros negativos y todos significativos, aunque la redacción de varios de ellos es incompleta. Alguno de los enunciados de función no se diferencian de los de tarea y, por tanto, la relación entre incidentes y funciones es poco clara en estos casos. | Son, al menos, 6 incidentes, algunos positivos y otros negativos y todos significativos. La redacción de ellos ha de ser completa, aunque haya alguno incompleto. Algún otro puede haberse redactado aludiendo a la responsabilidad de un tercero, ajeno al sujeto del incidente. |
Nivel avanzado (7-8) | B |
Ha presentado al menos 10 incidentes, la mitad de cada categoría. Todos son significativos de un desempeño competente o incompetente. La redacción de cada uno es muy detallada en todos sus apartados. No obstante, algunos son escasamente denotativos de la dimensión de competencia que debieran identificar. | (sin cambios) |
Competencia ejemplar (9-10) | B |
Ha presentado al menos 14 incidentes, la mitad de cada categoría. Todos son significativos de un desempeño competente o incompetente. La redacción de cada uno es muy detallada en todos sus apartados y coherente respecto de la tarea relacionada con su función correspondiente. Todos los incidentes denotan con claridad una dimensión de competencia evaluable. | (sin cambios) |
Tercera operación
Realizar el análisis de un puesto de trabajo de la Admón. Pública
Elegir la metodología idónea y elaborar un informe que permita extraer inferencias para varios ámbitos de recursos humanos: Organización, valoración de puestos, selección, formación y carrera administrativa.
Estadio inicial (0-1) A | B |
No es posible evaluar ningún nivel de competencia, por no resultar observable o manifestar desconocimiento de los métodos distintos de A.P., según las necesidades. | (sin cambios) |
Competencia en desarrollo (2-4) | B |
Ha elegido un método de análisis idóneo, pero su informe refleja escasos datos e información que permitan extraer conclusiones operativas suficientes para cualquiera de los ámbitos de los recursos humanos. | Puede haber elegido un método de análisis idóneo, pero su informe refleja escasos datos e información que permitan extraer conclusiones operativas significativas para cualquiera de los ámbitos de los recursos humanos. Su proyecto es demasiado general, más propio de una etapa anterior del mismo curso. |
Nivel competente (5-6) | B |
Ha seleccionado un único método de análisis, pero lo ha aplicado con esmero, de modo que, de su informe, cabe extraer inferencias, al menos, para valorar el puesto y para seleccionar personal competente. | Ha identificado las necesidades y propuesto medidas oportunas. El informe incluye el análisis de funciones, de tareas o de criterios del desempeño, aunque apenas ha hecho referencias concretas a las diversas técnicas de análisis del trabajo específicas. |
Nivel avanzado (7-8) | B |
Ha identificado, por lo menos, necesidades de organización, valoración del puesto, selección y formación del personal. Ha elegido el método adecuado a cada necesidad, pero no ha cuidado demasiado los posibles sesgos de cada uno. Ha descrito someramente las tareas y algunos recursos de competencia. | Ha identificado, por lo menos, necesidades de organización, valoración del puesto, selección y formación del personal. Ha elegido un método útil, aunque se adecúe mejor a unas necesidades que a otras. No parece haber cuidado demasiado los posibles sesgos de la metodología. Ha descrito someramente las tareas y algunos recursos de competencia. |
Competencia ejemplar (9-10) | B |
Ha identificado, por lo menos, necesidades de organización, valoración del puesto, selección, formación del personal y carrera. Ha elegido el método adecuado a cada necesidad y cuidado los posibles sesgos de cada uno. Ha descrito exhaustivamente tareas y recursos de competencia. | (sin cambios) |
La dificultad que, en la práctica, dentro de un sistema reglado de enseñanza, supone la acumulación previa de evidencias suficientes para diseñar y probar la idoneidad de una rúbrica, nos obliga a optar por algún otro método sustitutorio, como puede ser éste de aproximaciones sucesivas.
No obstante, el ejemplo explicado pone de manifiesto la necesidad de recoger evidencias, dado que, a pesar de haber elaborado una propuesta razonada y muy centrada en los contenidos de las tareas, los distintos comentarios del alumnado, a través del foro, así como los diversos contenidos de los trabajos objeto de evaluación han dado origen a los cambios propuestos para la segunda versión.
Con toda probabilidad, un análisis análogo, realizado después de la segunda edición del programa, permitiría mejorar aún más los criterios de evaluación contenidos en los distintos niveles de la rúbrica. Los resultados de una tercera edición ya serían objeto de un procedimiento de análisis estadístico para la validación definitiva del instrumento de evaluación de esta competencia.
9
CONCLUSIONES
Este estudio se ha centrado en analizar y describir las rúbricas para la evaluación de competencias, así como en proponer una metodología práctica para su diseño.
Como principales conclusiones se apuntan las siguientes:
1
No es admisible cualquier tipo de rúbrica para la evaluación de competencias, por muchas coincidencias superficiales que pudieran existir en la comparación entre varias propuestas.
2
El elemento esencial de cualquier rúbrica de evaluación de competencias es su validez probada, mediante evidencias acerca del desempeño de las tareas y sus indicadores de fiabilidad.
3
Disponer de un marco de referencia teórico riguroso, que en el caso de la evaluación de competencias no puede se otro que el de las teorías del desempeño de tareas, el aprendizaje de destrezas o el desarrollo del conocimiento experto, favorece la elaboración de propuestas de rúbricas idóneas, por los recursos que ofrecen y las reglas que sugieren las referidas teorías.
4
De todos modos, con el fin de evitar una cierta parálisis de la ejecución de los programas de aprendizaje, por las necesidades de la validación de la rúbrica, se ha propuesto una metodología de aproximaciones sucesivas para la acumulación de las obligadas evidencias para su validación.
5
Por último, cualquier pretensión de generalizar el empleo de una rúbrica de evaluación de competencias, exige la descripción exacta y exhaustiva de los procedimientos utilizados para su diseño y validación.
Bibliografía
Anderson, J.R. (1982). Acquisition of cognitive skills. Psychological Review, 89(4), 369-406.
Andrade, H.G. (2000). Use rubrics to promote thinking and learning. Educational Leadership, 57(5), 13-18-
Alsina M, J. (2013). Rúbricas de evaluación de competencias. Cuadernos de docencia universitaria, nº 26. Barcelona: ICE-UB/Octaedro.
Basoredo L., C. (2013). Revisión del concepto de competencia para el desempeño de tareas, a la luz de algunas teorías sobre los estilos psicológicos. Quaderns Digitals, 75.
Basoredo L., C. (2016). Construyendo una didáctica sobre la estrategia de la competencia. INED 21 Consultado el 26-04-2016.
Berliner, D.C. (1994). Expertice, The wonder of exemplary performances. En J.N. Mangieri & C. Colins: Creating powerful thinking in teachers and students. Ft. Worth, (TX): Holt, Rinehart & Winston.
Bloom, B.S. (1956). Taxonomy of Educational Objectives, Handbook I: The cognitive domain. New York: David McKay Co Inc.
Borman, W.C. (1986). Borman, W. C., (1986). Behavior-based rating scales. En R. A. Berk (Ed.), Performance Assessment: Methods and Applications (pp. 100-120). Baltimore MD: Johns Hopkins University Press.
Borman, W. C., White, L. A., Pulakos, E. D. & Oppler, S. H., (1991). Models of supervisory job performance ratings. Journal of Applied Psychology, 76(6), 863-872.
Burke, M. & Dunlap, W. (2002). Estimating interrater agreement with the average deviation index: A user’s guide. Organizational Research Methods, 5(2), 159-172.
Campbell, J. P., Gasser, M. B. & Oswald F. L., (1996). The substantive nature of job performance variability. En K. R. Murphy (Ed.), Individual differences and behavior in organizations (pp. 258-299). San Francisco: Jossey Bass.
Cohen, J. (1960). A coefficient of agreement for nominal sacales. Educational and Psychological Measurement, 20, 37-46.
Denbat, S.C., Lee, B.B. & Tandon, S. (2015). Fifty years and going strong: What makes Behaviorally Anchored Rating Scales so perennial as an appraisal method? International Journal of Bussines and Social Science, 6(2), 16-25.
Dreyfus, H. & Dreyfus, S. (1986). Mint over machine. New York: The Free Press.
Ericsson, K. A. & Charness, N., (1994). Expert Performance. American Psychologist, 49(8), 725-747.
Ericsson, K.A. (2005). Recent advances in expertise research: A commentary on the contributions to the special issue. Applied Cognitive Psychology, 19, 233-241.
Flanagan, J. C. (1954). The critical incident technique. Psychological Bulletin, 51(4), 327-358.
Gatica-Lara, F. & Uribarren B. T.(2013). ¿Cómo elaborar una rúbrica? Investigación en Educación Médica, 2(1), 61-65.
Gorriti, M. López Basterra, J. (2010). Análisis de puestos de trabajo en la Administración Pública. Oñati (GI): IVAP.
Green, R. & Bowser, M. (2006). Observations from the field: Sharing a literature review rubric. Journal of Library Administration, 45-1(2), 185-202.
Herman, J., Aschbacher, P. & Winters, L. (1992). A practical guide to alternative assessment. Alexandria (VA): ASCD.
Jonsson, A. & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consecuences. Educational Researchs Review, 2, 130-144.
Kanfer, R & Ackerman, P.L. (1989). Motivation and cognitive abilities: An integrative/aptitude-treatment interaction aproach to skill acquisition. Journal of Applied Psychology, 74, 657-690.
Klehe, U.C. & Anderson, N. (2007). El rol del desempeño típico y máximo en selección de personal. Revista de Psicología del Trabajo y de las Organizaciones, 23 (1), 151-178.
Landy, F.J. & Farr, J.L. (1980). Performance rating. Psychological Bulletin, 87(1), 72-107.
Latham, G.P. & Wexley, K.N. (1977). Behavioral Observation Scales for performance appraisal purposes. Personnel Psychology, 30, 255-268.
López Carrasco, M.(2007). Guía básica para la elaboración de rúbricas. Universidad Iberoamericana Puebla. México.
Malini, R. & Andrade, H.G. (2010). A review of rubric usue in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448.
Marina, A., Pellicer, C. & Manso, J. (2015). Libro blanco de la profesión docente y su entorno escolar. Madrid: Ministerio de Educación Cultura y Deporte.
Mertler C, A. (2001). Designing scoring rubrics for your classroom. Practical Assessment Research & Evaluation, 7(25).
Morgeson, F. & Campion, M. (1997). Social and cognitive sources of potential inaccuracy in job analysis. Journal of Applied Psychology, 82(5), 627-655.
Moskal, B.M. (2000). Scoring rubrics: what, when and how?. Practical Assessment Research & Evaluations, 7(3).
Motowidlo, S. J., Borman, W. C. & Schmit, M. J., (1997). A theory of individual differences in task and contextual performance. Human Performance, 10(2), 71-83.
Murphy, K. R. & Constans, J. I., (1987). Behavioral anchors as a source of bias in rating. Journal of Applied Psychology, 72(4), 573-577.
Oakleaf, M. (2009). Using rubrics to assess information literacy: An examination of methodology and interrater reliability. Journal of the American Society for Information Science and Technology, 971-973.
Popham, W.J. (1997). The role of instructional rubrics and self-assessment in learning to write: A snorgasbord of finding. A paper presentedat the anual meting of the American Educational Research Association. April, 21. Montreal, Canada.
Sackett, P. R. & DeVore, C. J., (2001). Counterproductive behaviors at work. En N. Anderson, D. S. Ones, H. K. Sinangil & C. Viswesvaran (Edts.), Handbook of Industrial Work & Organizational Psychology (pp. 145-163). London: SAGE.
Schmidt, F. L. & Hunter, J. E., (1992). Development of Causal Model of Processes Determining Job Performance. Current directions in Psychological Sciencie, 1-3, 89-92.
Smith, P. C. & Kendall, L. M., (1963). Retranslation of expectations: An approach to the construction of unambiguous anchors for rating scales. Journal of Applied Psychology, 47(2), 149-155.
Titone, R. (1979). Metodología didáctica. Madrid: Rialp.
Tierney, R. & Simon, M. (2004) . Whats still wrong with rubrics focusing on the consistency of performance criteria across scale levels. Practical Assessment Research and Evaluation, 9(2).
Tziner, A., Kopelman, R. E. & Livneh, N., (1993). Effects of performance appraisal format on perceived goal characteristics, appraisal process satisfaction and changes in rated performance: A field experiment. Journal of Psychology, 127(3), 557-574.
Tziner, A., Kopelman, R. E. (2002). Is there a preferred performance rating format? A non-psychometric perspective. Applied Psychology, an international review, 51(3), 479-503.
Van Merriënboer, J.J.G. & Kirschner, P. (2007). Ten step to complex learning: A systematic approach to Tour-Component Instructional Design. Hillsdale (NJ): Lawrence Erlbaum Associates, Inc., Publishers.
Viswesvaran, C., (2001). Assessment of individual job performance: A review of the past century and a look ahead. En N. Anderson, D. S. Ones, H. K. Sinangil & C. Viwesvaran (Edts.), Handbook of Industrial Work & Organizational Psychology (pp. 110-125). London: SAGE.
