La validez por juicio de expertos en investigación

 

Jacqueline Hurtado de Barrera, 2021

La validez es la cualidad de un instrumento que permite afirmar que éste cumple al menos tres condiciones: que mide realmente el evento que pretende medir, que mide todos los aspectos que conforman el evento que se pretende medir, y que mide exclusivamente el evento que se desea medir, sin que se filtren características de otros eventos (Thorndike, 1980).

La validez se logra inicialmente en el proceso de construcción del instrumento, pero luego existen algunas técnicas para corroborar que se logró realmente un índice aceptable de validez, y que además proporciona información sobre algunos aspectos que habría que modificar en el instrumento en caso de que este índice no se logre. Para construir un instrumento válido es necesario comprender que cada atributo de la validez corresponde a un tipo particular de ésta y se logra mediante ciertos procedimientos: el hecho de que el instrumento mida el evento que se quiere medir corresponde a la validez de constructo y se intenta logra con la tabla de operacionalización; el medir todo lo que abarca el evento se refiere a la validez de contenido (Anastasi y Urbina,1998; Corbetta, 2007), y se trabaja a través de la tabla de especificaciones; y la cualidad de medir sólo lo que se pretende medir es la confiabilidad (Magnusson, 2005), y es una consecuencia de las dos anteriores, más el cuidado de excluir  cualquier indicio que pudiera pertenecer a otro evento diferente al que se desea estudiar.

Ahora bien, para calcular el índice de validez de un instrumento existen diferentes técnicas, y la mayoría de ellas son complementarias. La que vamos a abordar en este artículo es la técnica de validación por juicio de expertos, que es una de las más utilizadas, más eso no significa que sea suficiente para garantizar la validez de un instrumento. Esta técnica se puede utilizar para calcular un índice de validez de constructo, y también para la validez de contenido. En este caso la explicación se centrará en la validez de constructo.

Para comprender la lógica de la validación por juicio de expertos es importante entender en qué se basa la validez de constructo. La validez de constructo se va configurando en el proceso de elaboración del instrumento, cuando se crea la tabla de operacionalización, en la medida que se identifican sinergias e indicios pertinentes al concepto del evento. Si este proceso no se cumple adecuadamente, cualquier técnica de validación que se aplique arrojará que el instrumento no es válido.

Un constructo es un concepto. Por lo tanto, la validez de constructo parte del principio de que el investigador, cuando formula su pregunta de investigación escoge los eventos que pretende estudiar, y durante la elaboración de su fundamentación teórica precisa cómo los va a definir. Estos conceptos, que en realidad son abstracciones del investigador o de un grupo de teóricos, se denominan constructos (Nunnally, 1987). Un instrumento tiene validez de constructo cuando sus ítems están en correspondencia con las sinergias -o dimensiones- y con los indicios que se derivan del concepto del evento que se va a medir.

La validación por juicio de expertos es una técnica basada en la correspondencia teórica entre los ítems del instrumento y el concepto del evento, y busca corroborar si existe consenso, o por lo menos un porcentaje aceptable de acuerdo, entre el investigador y los expertos, con respecto a la pertenencia de cada ítem a las respectivas sinergias del evento; por eso no requiere de aplicación a una muestra piloto.

Esta técnica sólo indica si la selección de los ítems que hizo el investigador para cada sinergia, concuerda con el criterio de los expertos, pero no garantiza que, en la realidad, al ser aplicado a la muestra, el instrumento funcione adecuadamente. Por esa razón, la validez por juicio de expertos es sólo una prueba preliminar que indica si es necesario eliminar, reformular o reubicar algunos ítems para mejorar el instrumento, y además aporta un primer índice de validez teórica, pero debe ser complementada con otros procedimientos de validez empírica, que requieren de una prueba piloto, pero muestran si, en el campo, el instrumento realmente está midiendo lo que se pretende medir.

Para hacer la validación por juicio de expertos es necesario que el investigador haya precisado cuáles indicios son manifestación de cada sinergia o dimensión del evento y cuáles ítems corresponden a cada indicio (tabla de operacionalización).

Luego se requiere seleccionar a los jueces que van a validar el instrumento: Los jueces deben ser expertos conocedores del tema y del evento a estudiar. No es necesario que sean metodólogos, investigadores, ni expertos en redacción. Debe seleccionarse un número impar de jueces. Lo conveniente es entre tres y cinco, según sea el nivel de exigencia del investigador. Aunque en algunos contextos se sugiere 10 expertos, si realmente son expertos no se requiere más de tres, porque no es un tema de votaciones con base en una preferencia, sino de conocimiento del evento.

El tercer paso es elaborar el paquete de validación que se le va a entregar al experto, que consta de una carta explicativa donde se solicita su apoyo para la validación, copia del instrumento a validar y constancia de validación que debe firmar. La carta dirigida al experto debe contener:

-    Información básica sobre la investigación a realizar.

-    El evento que se pretende estudiar con su definición.

-    Las sinergias que conforman el evento con su respectiva definición.

-    Las instrucciones acerca de cómo el experto va a asignar cada ítem a cada sinergia.

Es muy importante que las definiciones colocadas en la carta, tanto del evento como de sus sinergias, sean claras y precisas. Además, no se le deben entregar al experto los objetivos de la investigación porque no se requieren y pueden generar confusión, porque los objetivos pueden contener otros eventos de estudio diferentes a los del instrumento que se está validando, pero que también forman parte de la investigación. Tampoco se le debe entregar al experto la tabla de operacionalización, porque ya se le estarían dando las opciones que se supone él debe identificar por su cuenta. La idea es que el experto, sin ver la tabla pueda identificar a cuál sinergia pertenece cada ítem.

La carta va acompañada, además, con una copia de los ítems del instrumento, en la cual las alternativas a seleccionar son cada una de las sinergias del evento. El trabajo del juez consiste en marcar con una X la sinergia a la cual considera que pertenece cada ítem. Por último, la carta debe ir también con una constancia de validación que el experto debe llenar con sus datos personales y profesionales, su apreciación general acerca de aspectos formales como la redacción, la coherencia, la claridad..., y su firma.

Se debe entregar a cada experto validador el kit de documentos (carta, instrumento, constancia), y acordar un tiempo prudencial para que los expertos realicen la validación. Es fundamental que los expertos no comenten entre ellos ningún aspecto relacionado con el instrumento, ni con la validación, mientras dure el proceso.

Una vez recogidos los paquetes de validación, el investigador debe registrar las respuestas de los expertos en una tabla de acuerdos y desacuerdos: En esta tabla debe haber una columna para colocar las respuestas de cada experto, pero además debe haber una columna adicional en la que se coloca la sinergia que el investigador asignó originalmente al ítem. Esto permite visualizar los acuerdos y desacuerdos entre los expertos, pero también si sus apreciaciones coinciden o no con las del investigador. En este caso, lo más importante no es que los expertos estén de acuerdo entre ellos, sino que la mayoría de los expertos esté de acuerdo con el investigador en cuanto a la sinergia a la que pertenece cada ítem.

Luego de vaciar las respuestas en la tabla de acuerdos, es necesario examinar los acuerdos y desacuerdos para introducir modificaciones al instrumento. Algunas situaciones relacionadas con las respuestas de los jueces, que se pueden presentar, son las siguientes:

-  Que los tres expertos coincidan en la sinergia a la cual pertenece el ítem, y además coincidan con la apreciación del investigador. En este caso se considera que el ítem está bien formulado y se registra como un acuerdo en la columna respectiva.

- Que la mayoría de los expertos coincidan entre sí y además coincidan con el investigador. En este caso, se considera que se trata de un acuerdo. Especialmente hay que prestar atención a si el experto que está en desacuerdo es siempre el mismo, pues podría ocurrir que esa persona no comprendió bien las instrucciones o no está familiarizada con los conceptos. Por esa razón es muy importante que los jueces sean muy conocedores del evento y de la temática.

-   Que la mayoría de los expertos, o todos, coincidan entre sí, pero estén en desacuerdo con el investigador. En este caso puede ocurrir que la pregunta fue formulada de tal manera que genera confusión en cuanto a la sinergia a la que pertenece, o que realmente ese ítem no pertenece a la sinergia que el investigador le asignó. Entonces hay que revisar con cuidado el ítem. Si se trata de la primera situación, se reformula para que se perciba con claridad el concepto que está midiendo. Si se trata del segundo caso, se reubica el ítem en la sinergia que marcaron los expertos.

-    Que todos los expertos asignen sinergias distintas, o que manifiesten abiertamente que no saben en cuál sinergia ubicar el ítem, o que indiquen que el ítem podría pertenecer a más de una sinergia. En ese caso es probable que el ítem realmente no esté midiendo el evento de estudio, es decir, que exprese un evento diferente, o también, que pertenezca a una nueva sinergia que el investigador no había detectado. Si esto ocurre, hay que revisar el ítem con mucho cuidado, revisar también los conceptos de las sinergias y el concepto del evento, indagar acerca de otras teorías y evaluar si se debe eliminar el ítem, o si se justifica crear una nueva sinergia, en cuyo caso habría que definirla, desarrollarla conceptualmente en la fundamentación, detectar sus indicios y formular ítems adicionales que sean parte de ella.

El último paso consiste en calcular el índice de validez: par ello se cuentan los acuerdos y se divide ese valor por el total de ítems. El índice obtenido debe ser superior a 0,75 -o por mucho 0,70-, en el caso de instrumentos que miden eventos de las ciencias sociales. Cuando se trata de eventos de la física, la biología o las ciencias naturales en general, el criterio debe ser mucho más estricto (0,99). Si el índice es aceptable, se hacen las modificaciones sencillas que el instrumento amerite y se pasa a las siguientes etapas de la validación (arreglos de redacción, presentación, orden en las preguntas, eliminación de ítems…). Si el índice está por debajo de lo aceptable, seguramente el instrumento requiere cambios más profundos, así que se pueden eliminar los ítems no pertinentes, se reubican los que haya que reubicar, se formulan nuevos ítems o se crea una nueva sinergia, si es necesario, y, una vez hecho todo esto, se hace una nueva validación de expertos, pero con otras personas diferentes a las que hicieron la primera validación.

Infograma 1. Ejemplo de tabla de acuerdos y cálculo de la validez por juicio de expertos

 

En el infograma 1 se puede ver que, si se elimina el ítem 3, el cual parece tener poca claridad en relación a lo que mide, el índice de la validez por expertos aumenta a 0,85. Si se tiene un número considerable de ítems, el hecho de eliminar uno o dos de ellos, que no estén en concordancia con el evento, no afecta la obtención de información, pero, si el instrumento tiene pocos ítems, es recomendable reemplazar los que se eliminen.

Es importante recalcar que la validación por expertos sólo proporciona una idea del acuerdo entre investigadores, con respecto a los indicios de un evento, más no permite detectar cómo funciona el instrumento en la realidad, puesto que no requiere la aplicación del mismo. Sin embargo, permite identificar aquellos ítems que no se corresponden con el concepto del evento, y, en consecuencia, tampoco con las sinergias, de tal manera que el investigador puede mejorar considerablemente el instrumento. Es recomendable aplicar esta técnica como una primera estimación de la validez, y hacer los cambios necesaris antes de realizar cualquier prueba piloto.

Referencias

Anastasi, A y Urbina, S. 1998. Test Psicológicos. México: Prentice Hall

Corbetta, P. 2007. Metodología y técnicas de investigación social. México: McGraw Hill.

Magnusson, D. 2005.. Teoría de los tests. México: Trillas

Nunnally, J. 1987. Teoría Psicométrica. México: Trillas