Jacqueline Hurtado de Barrera, 2021
La validez es la
cualidad de un instrumento que permite afirmar que éste cumple al menos tres
condiciones: que mide realmente el evento que pretende medir, que mide todos
los aspectos que conforman el evento que se pretende medir, y que mide exclusivamente
el evento que se desea medir, sin que se filtren características de otros
eventos (Thorndike, 1980).
La validez se
logra inicialmente en el proceso de construcción del instrumento, pero luego
existen algunas técnicas para corroborar que se logró realmente un índice
aceptable de validez, y que además proporciona información sobre algunos
aspectos que habría que modificar en el instrumento en caso de que este índice
no se logre. Para construir un instrumento válido es necesario comprender que
cada atributo de la validez corresponde a un tipo particular de ésta y se logra
mediante ciertos procedimientos: el hecho de que el instrumento mida el evento
que se quiere medir corresponde a la validez
de constructo y se intenta logra con la tabla de operacionalización; el
medir todo lo que abarca el evento se refiere a la validez de contenido (Anastasi y Urbina,1998; Corbetta, 2007), y se trabaja a través de la tabla de especificaciones;
y la cualidad de medir sólo lo que se pretende medir es la confiabilidad (Magnusson, 2005), y es una consecuencia de las dos anteriores, más
el cuidado de excluir cualquier indicio
que pudiera pertenecer a otro evento diferente al que se desea estudiar.
Ahora bien, para
calcular el índice de validez de un instrumento existen diferentes técnicas, y
la mayoría de ellas son complementarias. La que vamos a abordar en este artículo
es la técnica de validación por juicio de expertos, que es una de las más
utilizadas, más eso no significa que sea suficiente para garantizar la validez
de un instrumento. Esta técnica se puede utilizar para calcular un índice de
validez de constructo, y también para la validez de contenido. En este caso la
explicación se centrará en la validez de constructo.
Para comprender
la lógica de la validación por juicio de expertos es importante entender en qué
se basa la validez de constructo. La validez de constructo
se va configurando en el proceso de elaboración del instrumento, cuando se crea
la tabla de operacionalización, en la medida que se identifican sinergias e
indicios pertinentes al concepto del evento. Si este proceso no se cumple
adecuadamente, cualquier técnica de validación que se aplique arrojará que el
instrumento no es válido.
Un constructo es un concepto. Por lo tanto, la validez
de constructo parte del principio de que el investigador, cuando formula su
pregunta de investigación escoge los eventos que pretende estudiar, y durante
la elaboración de su fundamentación teórica precisa cómo los va a definir.
Estos conceptos, que en realidad son abstracciones del investigador o de un
grupo de teóricos, se denominan constructos (Nunnally, 1987). Un
instrumento tiene validez de constructo cuando sus ítems están en
correspondencia con las sinergias -o dimensiones- y con los indicios que se
derivan del concepto del evento que se va a medir.
La validación
por juicio de expertos es una técnica basada en la correspondencia teórica
entre los ítems del instrumento y el concepto del evento, y busca corroborar si existe consenso, o por lo menos un
porcentaje aceptable de acuerdo, entre el investigador y los expertos, con
respecto a la pertenencia de cada ítem a las respectivas sinergias del evento; por
eso no requiere de aplicación a una muestra piloto.
Esta técnica
sólo indica si la selección de los ítems que hizo el investigador para cada
sinergia, concuerda con el criterio de los expertos, pero no garantiza que, en
la realidad, al ser aplicado a la muestra, el instrumento funcione adecuadamente.
Por esa razón, la validez por juicio de expertos es sólo una prueba preliminar
que indica si es necesario eliminar, reformular o reubicar algunos ítems para
mejorar el instrumento, y además aporta un primer índice de validez teórica,
pero debe ser complementada con otros procedimientos de validez empírica, que
requieren de una prueba piloto, pero muestran si, en el campo, el instrumento
realmente está midiendo lo que se pretende medir.
Para hacer la
validación por juicio de expertos es necesario que el investigador haya
precisado cuáles indicios son manifestación de cada sinergia o dimensión del
evento y cuáles ítems corresponden a cada indicio (tabla de operacionalización).
Luego se requiere seleccionar a los jueces que van a validar el
instrumento: Los jueces deben ser expertos conocedores del tema y del evento a estudiar. No es
necesario que sean metodólogos, investigadores, ni expertos en redacción. Debe
seleccionarse un número impar de jueces. Lo conveniente es entre tres y cinco,
según sea el nivel de exigencia del investigador. Aunque en algunos contextos
se sugiere 10 expertos, si realmente son
expertos no se requiere más de tres, porque no es un tema de votaciones con
base en una preferencia, sino de conocimiento del evento.
El tercer paso es elaborar el paquete de validación que se le va a
entregar al experto, que consta de una carta
explicativa donde se solicita su apoyo para la validación, copia del
instrumento a validar y constancia de validación que debe firmar. La carta
dirigida al experto debe contener:
- Información básica sobre la investigación a
realizar.
- El evento que se pretende estudiar con su
definición.
- Las sinergias que conforman el evento con su
respectiva definición.
- Las instrucciones acerca de cómo el experto
va a asignar cada ítem a cada sinergia.
Es muy importante que las definiciones colocadas en
la carta, tanto del evento como de sus sinergias, sean claras y precisas.
Además, no se le deben entregar al
experto los objetivos de la investigación porque no se requieren y pueden generar
confusión, porque los objetivos pueden contener otros eventos de estudio
diferentes a los del instrumento que se está validando, pero que también forman
parte de la investigación. Tampoco se le debe entregar al experto la tabla de
operacionalización, porque ya se le estarían dando las opciones que se supone
él debe identificar por su cuenta. La idea es que el experto, sin ver la tabla
pueda identificar a cuál sinergia pertenece cada ítem.
La carta va acompañada, además, con una copia de los
ítems del instrumento, en la cual las alternativas a seleccionar son cada una
de las sinergias del evento. El trabajo del juez consiste en marcar con una X
la sinergia a la cual considera que pertenece cada ítem. Por último, la carta
debe ir también con una constancia de validación que el experto debe llenar con
sus datos personales y profesionales, su apreciación general acerca de aspectos
formales como la redacción, la coherencia, la claridad..., y su firma.
Se
debe entregar a cada experto validador el
kit de documentos (carta, instrumento, constancia), y acordar un tiempo prudencial para que los expertos realicen la validación. Es
fundamental que los expertos no comenten entre ellos ningún aspecto relacionado
con el instrumento, ni con la validación, mientras dure el proceso.
Una vez
recogidos los paquetes de validación, el investigador debe registrar las
respuestas de los expertos en una tabla de acuerdos y desacuerdos: En esta tabla debe haber una columna para colocar las respuestas de
cada experto, pero además debe haber una columna adicional en la que se coloca
la sinergia que el investigador asignó originalmente al ítem. Esto permite
visualizar los acuerdos y desacuerdos entre los expertos, pero también si sus
apreciaciones coinciden o no con las del investigador. En este caso, lo más
importante no es que los expertos estén de acuerdo entre ellos, sino que la mayoría
de los expertos esté de acuerdo con el investigador en cuanto a la sinergia a la
que pertenece cada ítem.
Luego
de vaciar las respuestas en la tabla de acuerdos, es necesario examinar los acuerdos y desacuerdos para introducir modificaciones al
instrumento. Algunas situaciones relacionadas con las
respuestas de los jueces, que se pueden presentar, son las siguientes:
- Que los tres expertos coincidan en la
sinergia a la cual pertenece el ítem, y además coincidan con la apreciación del
investigador. En este caso se considera que el ítem está bien formulado y se
registra como un acuerdo en la columna respectiva.
- Que la mayoría de los expertos coincidan
entre sí y además coincidan con el investigador. En este caso, se considera que
se trata de un acuerdo. Especialmente hay que prestar atención a si el experto
que está en desacuerdo es siempre el mismo, pues podría ocurrir que esa persona
no comprendió bien las instrucciones o no está familiarizada con los conceptos.
Por esa razón es muy importante que los jueces sean muy conocedores del evento
y de la temática.
- Que la
mayoría de los expertos, o todos, coincidan entre sí, pero estén en desacuerdo
con el investigador. En este caso puede ocurrir que la pregunta fue formulada
de tal manera que genera confusión en cuanto a la sinergia a la que pertenece,
o que realmente ese ítem no pertenece a la sinergia que el investigador le
asignó. Entonces hay que revisar con cuidado el ítem. Si se trata de la primera
situación, se reformula para que se perciba con claridad el concepto que está
midiendo. Si se trata del segundo caso, se reubica el ítem en la sinergia que
marcaron los expertos.
- Que todos los expertos asignen sinergias
distintas, o que manifiesten abiertamente que no saben en cuál sinergia ubicar
el ítem, o que indiquen que el ítem podría pertenecer a más de una sinergia. En
ese caso es probable que el ítem realmente no esté midiendo el evento de
estudio, es decir, que exprese un evento diferente, o también, que pertenezca a
una nueva sinergia que el investigador no había detectado. Si esto ocurre, hay
que revisar el ítem con mucho cuidado, revisar también los conceptos de las
sinergias y el concepto del evento, indagar acerca de otras teorías y evaluar
si se debe eliminar el ítem, o si se justifica crear una nueva sinergia, en
cuyo caso habría que definirla, desarrollarla conceptualmente en la
fundamentación, detectar sus indicios y formular ítems adicionales que sean
parte de ella.
El
último paso consiste en calcular el índice de validez: par ello se cuentan los acuerdos y se divide ese valor por el total de
ítems. El índice obtenido debe ser superior a 0,75 -o por mucho 0,70-, en el
caso de instrumentos que miden eventos de las ciencias sociales. Cuando se
trata de eventos de la física, la biología o las ciencias naturales en general,
el criterio debe ser mucho más estricto (0,99). Si el índice es aceptable, se
hacen las modificaciones sencillas que el instrumento amerite y se pasa a las
siguientes etapas de la validación (arreglos de redacción, presentación, orden
en las preguntas, eliminación de ítems…). Si el índice está por debajo de lo
aceptable, seguramente el instrumento requiere cambios más profundos, así que
se pueden eliminar los ítems no pertinentes, se reubican los que haya que reubicar,
se formulan nuevos ítems o se crea una nueva sinergia, si es necesario, y, una
vez hecho todo esto, se hace una nueva validación de expertos, pero con otras
personas diferentes a las que hicieron la primera validación.
Infograma 1. Ejemplo de tabla de acuerdos y cálculo de la validez por juicio
de expertos
En el infograma 1 se puede ver que, si se elimina el ítem 3, el cual
parece tener poca claridad en relación a lo que mide, el índice de la validez
por expertos aumenta a 0,85. Si se tiene un número considerable de ítems, el
hecho de eliminar uno o dos de ellos, que no estén en concordancia con el evento, no afecta la obtención de información, pero, si el
instrumento tiene pocos ítems, es recomendable reemplazar los que se eliminen.
Es importante recalcar que la validación por expertos sólo proporciona una idea del acuerdo entre investigadores, con respecto a los indicios de un evento, más no permite detectar cómo funciona el instrumento en la realidad, puesto que no requiere la aplicación del mismo. Sin embargo, permite identificar aquellos ítems que no se corresponden con el concepto del evento, y, en consecuencia, tampoco con las sinergias, de tal manera que el investigador puede mejorar considerablemente el instrumento. Es recomendable aplicar esta técnica como una primera estimación de la validez, y hacer los cambios necesaris antes de realizar cualquier prueba piloto.
Referencias
Anastasi, A y Urbina, S. 1998. Test Psicológicos. México: Prentice Hall
Corbetta, P. 2007. Metodología y técnicas de investigación social. México: McGraw Hill.
Magnusson, D. 2005.. Teoría de los tests. México: Trillas
Nunnally, J. 1987. Teoría Psicométrica. México: Trillas
No hay comentarios:
Publicar un comentario