Transcript Presentación Construcción Items

TALLER REGIONAL
CONSTRUCCION DE ITEMS
ECAES DE ADMINISTRACIÓN
Abril de 2010
Contrato
•Objeto: construir doscientos noventa y dos (292) ítems para el
ECAES de Administración, según la distribución balanceada por
componentes, competencia, afirmaciones, evidencias y complejidad,
relacionada en el texto de este contrato; dichos ítems serán
utilizados junto con otros, para evaluar a los estudiantes que cursan
último año de educación superior en Administración.
•Producto: 292 ítems debidamente revisados y aprobados por un
Comité de Expertos.
•Plazo: Agosto 7 de 2010
Estructura
COMPONENTE
ITEMS
Administración y Organizaciones
82
Finanzas
42
Mercadeo
42
Producción y operaciones
42
Electivo
• Internacional
42
• Servicios
42
TOTAL
292
Equipo de trabajo
• Coordinador Académico
• Coordinador Logístico
• Coordinadores Regionales
• Grupo base
• Grupo de expertos
• Constructores
• Coordinador ICFES
Proceso
Ajuste 30% y nueva
selección 30%
Constructor
Coordinador Regional
Constructor
ICFES
Coordinador Nacional
y Grupo Base
Revisión
Selección
y
Envío 30%
Coordinador Nacional
y Grupo Base
Revisión
100%
ICFES
Grupo de Expertos
Revisión
Revisión
Coordinador Nacional
y Grupo Base
Entrega
Final
¿Qué es una evaluación?
Una evaluación es un proceso por medio del
cual se llega a inferencias sobre los logros,
conocimientos, habilidades y competencias de una
población objetivo, basado en una serie de
observaciones.
¿Qué es una prueba?
Una prueba es un instrumento de medición
que debe ser coherente con el propósito que se ha
establecido.
Validez:
Que mida lo
que pretende medir
Condiciones
de una Prueba
Confiabilidad:
Que se obtengan medidas
precisas y repetitivas.
Objetividad:
Independiente de la población
a evaluar y del ente evaluador.
Modelo de diseño
basado en evidencias - MBE
• Es una metodología para diseñar y estructurar
pruebas, la cual permite determinar de manera clara y
precisa lo que se pretende medir con ella.
•
Asegura la validez, confiabilidad y objetividad.
• Permite contar con un fundamento sólido para las
distintas inferencias que se hagan con base en los
resultados obtenidos en la prueba.
Elementos del MBE
Analizar Dominio
(Componentes)
Propósito
Definir Tareas
Construir
Actividades
Afirmaciones
Plantear
Evidencias
Propósito: Requiere responder a las preguntas:
¿Qué?
¿A quienes?
¿Para qué?
¿Cómo?
¿Cuándo?
Dominio: Permite contar con diversas perspectivas teóricas acerca de lo
que se pretende evaluar. Es importante preguntarse en esta etapa qué
conocimientos, habilidades o competencias deben ser medidos?
Requiere:
•Recolectar información sobre lo que se quiere evaluar (Planteamientos
teóricos).
•Definir y caracterizar los componentes a evaluar.
•Especificar una perspectiva psicológica para el aprendizaje y para la
evaluación.
•Representar lo que los expertos, docentes, etc., consideran valioso evaluar.
Afirmaciones: Son enunciado sobre lo que se espera que hagan los
evaluados en relación con el dominio a evaluar.
Requiere:
• Coherencia con el propósito.
• Claridad sobre lo que se quiere decir de la población evaluada con
base en las respuestas a la prueba.
Evidencias : Descripción de conductas o productos observables que
apoyan las afirmaciones, permiten inferir si el evaluado se ha apropiado o
no de las conocimientos, habilidades o competencias sobre el Dominio
evaluado.
Requiere:
• Que cada afirmación tenga como mínimo una evidencia.
• Estar ligadas a uno o más productos observables.
Tareas: Descripción de tipos de situaciones que es necesario incluir
para obtener las evidencias requeridas; es decir, que “cosas” le debemos
pedir a los examinados que hagan de tal forma que éstos exhiban sus
conocimientos, habilidades o competencias (Dominio evaluado).
Requieren:
• Estar ligadas a una evidencia.
• Responder a las preguntas:
¿Qué tareas se deben diseñar para recolectar la o las evidencias
planteadas?;
¿Qué características de las tareas afectan la validez y la dificultad?;
¿Pueden las tareas cubrir todos los aspectos de los conocimientos,
habilidades y competencias que se pretenden medir (Dominio evaluado)?
Modelo
DOMINIO
Componente 1
Afirmación 2.1
Componente 2
Afirmación 2.2
Tarea
2. 3. 1. 1
Componente 3
Afirmación 2.3
Evidencia
2. 3. 1
Evidencia
2. 3. 2
Tarea
2. 3. 1. 2
Tarea
2. 3. 1. 3
Evidencia
2. 3. 3
Matriz de especificaciones de prueba
Afirmaciones
Evidencias
Evidencia 1,1
Afirmación 1
Evidencia 1,2
Componente I
Evidencia 1,3
Evidencia 1,4
Evidencia 2,1
Afirmación 2
Evidencia 2,2
Evidencia 2,3
Componente II
Evidencia 1,1
Afirmación 1
Evidencia 1,2
Evidencia 2,1
Afirmación 2
Evidencia 2,2
Tareas
Tarea 1,1,1
Tarea 1,1,2
Tarea 1,1,3
Tarea 1,1,4
Tarea 1,2,1
Tarea 1,2,2
Tarea 1,3,1
Tarea 1,3,2
Tarea 1,3,3
Tarea 1,4,1
Tarea 1,4,2
Tarea 2,1,1
Tarea 2,1,2
Tarea 2,1,3
Tarea 2,1,4
Tarea 2,2,1
Tarea 2,2,2
Tarea 2,2,3
Tarea 2,2,4
Tarea 2,2,5
Tarea 2,3,1
Tarea 2,3,2
Tarea 2,3,3
Tarea 1,1,1
Tarea 1,1,2
Tarea 1,2,1
Tarea 1,2,2
Tarea 1,2,3
Tarea 2,1,1
Tarea 2,1,2
Tarea 2,1,3
Tarea 2,2,1
Tarea 2,2,2
Que debe saber Que no debe saber
Componente
Sub-componente
Afirmaciones
Evidencias
1
3
2
3
3
3
4
5
5
7
6
2
1
4
2
2
Comprender consumidores
1
3
Conquistar compradores
2
5
Conservar clientes
3
2
Dirección de organizaciones
Administración y
organizaciones
Gerencia de organizaciones
Gestión humana
Finanzas
Mercadeo
Componente
Sub-componente
Producción y
operaciones
Electiva Internacional
Electiva Servicios
Conceptualización del
servicio
Monitoreo de servicio
Afirmaciones
Evidencias
1
5
2
4
3
7
1
3
2
3
1
4
2
1
3
1
4
3
1
5
Matriz de Evidencias
Afirmaciones
Evidencia
Tareas
Al finalizar el programa de
administración el evaluado
debe ser capaz de
El evaluado
Situaciones que le permitan
Alcance
Qué debe saber
Qué no debe saber
I. Dirección de organizaciones
1. Definir estrategias
que busquen
equilibrar intereses a
corto plazo con
objetivos de
sostenibilidad de la
organización en el
largo plazo y la
conduzcan a la
perdurabilidad
1.1 Identifica los
elementos del
entorno que son
relevantes para
la gestión
estratégica
1.1.1 Identificar las fuerzas
del mercado y su impacto en
la organización
1.1.2 Identificar el marco en
el que actúa la organización
(PEST+LA)
Elementos del
entorno que
resultan relevantes
para definir la
estrategia de la
organización
1.1.3 Identificar
oportunidades de mercado
1.2 Integra las
áreas
funcionales
de la
organización
para tomar
decisiones
1.2.1 Identificar fortalezas y
debilidades en la
organización
1.2.2 Proponer líneas de
acción que permitan integrar
eficientemente las áreas
funcionales
1.2.3 Integrar la estrategia
con las áreas funcionales
Analizar las
fortalezas y
debilidades de una
organización en el
marco de un
análisis tipo DOFA.
Detalles del entorno
económico que no
impactan directamente
los resultados de la
organización.
Afirmaciones
Evidencia
Tareas
Al finalizar el
programa de
administración el
evaluado debe ser
capaz de
El evaluado
Situaciones que le permitan
Alcance
Qué debe saber
I. Dirección de organizaciones
1.3.1 Identificar el sector en
el que opera la
organización
1.3 Define la
estrategia
organizacional
integrando factores
internos y externos
1.3.2 Formular propuestas
para la generación de
ventajas competitivas
sostenibles
1.3.3 Formular una
estrategia organizacional
que le permita ser
competitiva y perdurable
Los elementos relevantes
del entorno y las
características internas de
la organización, y cómo
esta relación influye sobre
los resultados de la
organización.
Qué no debe saber
Ejemplo
COMPONENTE DE ADMINISTRACION Y ORGANIZACIONES
AFIRMACION: Definir estrategias que
busquen equilibrar intereses a corto
plazo con objetivos de sostenibilidad
de la organización en el largo plazo y
lo conduzcan a la perdurabilidad.
EVIDENCIA: Identifica los elementos
del entorno que son relevantes para la
gestión estratégica.
TAREA: Identificar las fuerzas del
mercado y su impacto en la
organización.
AUTOR(A): Pares Académicos
COMPETENCIA: Interpretativa
COMPLEJIDAD: Media
TIPO: I
FECHA ELABORACIÓN: Diciembre
2009
Un joven empresario ha creado una firma de prestación de servicios por internet.
Considerando los elementos del entorno que son relevantes para tomar
decisiones estratégicas, el mayor reto que deberá enfrentar este empresario
durante los próximos años es la
a.
b.
c.
d.
competencia creciente en un mercado globalizado
cualificación y desarrollo de sus técnicos programadores
capacidad financiera para apalancar su crecimiento
obsolescencia de sus equipos y recursos tecnológicos
Clave: a
JUSTIFIQUE LA CLAVE Y LAS DEMÁS OPCIONES DE RESPUESTA
a. Aunque todas las opciones son potencialmente relevantes para un
proceso de planeación estratégica, sólo esta opción es una condición del
entorno externo, y por lo tanto reviste el mayor reto a futuro dada la
incertidumbre y creciente competitividad de los mercados globales.
b. Esta es una condición propia de la organización, y por lo tanto está sujeta
al control o influencia directa por parte de la gerencia.
c. Aunque esta opción involucra aspectos externos, tales como las
condiciones macroeconómicas y las alternativas externas de financiación,
estos son normalmente aspectos coyunturales que permiten un mayor
margen de maniobra por parte de una empresa, a diferencia de una
realidad incuestionable de un mercado crecientemente competitivo.
d. Esta es una condición propia de la organización, y por lo tanto está sujeta
al control o influencia directa por parte de la gerencia.
Elementos técnicos para la construcción
• Preguntas a construir : 292
• Tipo: selección múltiple con única respuesta
• Valores taxonómicos: Componentes, afirmaciones,
evidencias y tareas.
• Competencias a evaluar: Interpretativa, Argumentativa y
Propositiva.
• Niveles de complejidad: alto, medio y bajo
SITUACIÓN O CONTEXTO PARA LA TAREA
Se desprenden varias preguntas
que se componen de
UN ENUNCIADO
CUATRO OPCIONES DE RESPUESTA
Competencias
Un Saber-hacer en contexto; es decir, la articulación y uso de saberes, de formas
de razonar y proceder para comprender situaciones o solucionar problemas.
Interpretar:
Acciones que realiza una persona con el propósito
de comprender una situación en un “contexto” específico.
La interpretación implica dar cuenta del sentido de un texto, proposición,
problema, evento, gráfica, mapa, esquema o símbolo. Igualmente, permite
reconocer los argumentos propios de un referente teórico.
Argumentar:
Acciones que realiza una persona, con el propósito de
fundamentar o sustentar un planteamiento, una decisión o un evento.
La argumentación implica explicitar los por qué de un planteamiento, articular
conceptos o teorías para justificar afirmaciones, hacer demostraciones
matemáticas, vincular premisas para sustentar conclusiones y establecer relaciones
de causalidad.
Proponer:
Acciones que realiza una persona, con el propósito de
plantear alternativas de decisión o de acción y de establecer nuevas relaciones o
vínculos entre eventos o perspectivas teóricas.
La proposición implica plantear alternativas de solución a problemas, establecer
regularidades y generalizaciones, plantear hipótesis, elaborar diseños y establecer
tendencias de funcionamiento de un sistema.
Reglas generales para construcción de Items
•Verificar que el ítem corresponda con los propósitos de la evaluación, la estructura de la
prueba y los valores taxonómicos definidos.
•Todas los ítems de una prueba deben ser independientes entre sí. La información de
uno no debe servir de pauta para contestar otro, ni la respuesta a un ítem debe
depender de haber encontrado primero la de uno anterior.
•Evitar los ítems que pueden contestarse por sentido común y aquellos cuya respuesta
depende únicamente de recordar un término, un símbolo, un dato o la fecha en que
ocurrió un evento.
•Evitar expresiones rebuscadas que puedan confundir. Se recomienda emplear un
lenguaje directo, sencillo y comprensible.
•Los ítems no deben contener juicios de valor explícitos o implícitos .
•Realizar una revisión gramatical y ortográfica de cada uno de los ítems
Reglas específicas sobre los enunciados
•Los enunciados deben ser afirmativos, en caso de ser necesaria la
negación , se debe llamar la atención hacia la formulación negativa.
•La doble negación puede afectar la comprensión, p.e. : “No es cierto
que no procedan los recursos”.
•Evitar enunciados demasiado extensos y poco atractivos ya que
desmotivan la lectura, disminuyen el tiempo de respuesta y fatigan.
•Garantizar la coherencia interna del enunciado y de este con las
opciones de respuesta.
Reglas sobre las opciones
•Deben pertenecer al mismo campo semántico.
•No deben dar indicaciones sobre la clave por ofrecer un cierto contraste en cuanto a
 longitud
 precisión / imprecisión
 uso común / técnico
 generalización / particularización
• No se deben repetir expresiones si éstas se pueden incluir en el enunciado del ítem;
repetir una palabra del enunciado, en cualquiera de las opciones, puede llevar a que
sea elegida como respuesta, sin serlo.
•Se deben evitar expresiones como “todas o ninguna de las anteriores”, en su lugar
construir alternativas de respuesta plausibles.
Como garantizar la Confidencialidad
•Comprometer a los participantes con el proceso (firma del acta).
• Diseñar, seguir y documentar procedimientos para la
construcción, archivo, utilización y transporte de materiales
confidenciales.
• Asegurar que únicamente las personas autorizadas tengan
acceso al material de examen.
• Destruir copias de material de examen una vez concluido el
proceso.
FICHA TÉCNICA DE
CONSTRUCCIÓN DEL
ÍTEM
Código: C1.1.F05
Nº ÍTEM:
Versión: 3
Página 1 de 2
DATOS DEL ÍTEM
DATOS DEL AUTOR
Programa:
Prueba:
Competencia:
Componente:
Valor taxonómico 1
Valor taxonómico 2
Valor taxonómico 3
Nombre:
Institución:
Teléfonos:
e-mail:
Fecha:
Versión del ítem:
ÍTEM: CONTEXTO, ENUNCIADO Y OPCIONES DE RESPUESTA
CLAVE
Alta
JUSTIFICACIÓN DE LA CLAVE:
DIFICULTAD ESPERADA
Media
Baja
JUSTIFICACIÓN DE OPCIONES NO VALIDAS:
ESPECIFICACIONES DE DISEÑO: DIBUJOS, ECUACIONES Y/O GRÁFICAS
NOMBRE DEL REVISOR:
ASPECTOS QUE DEBEN SER AJUSTADOS:
Aspecto
Elemento del ítem
Contexto
Enunciado
Opciones de respuesta
Clave
Opciones no válidas
Fecha:
Técnico de
construcción
Conceptual
Sesgo
SUGERENCIAS PARA MEJORAR EL ÍTEM:
APROBAD
MODIFICADA
A
OBSERVACIONES:
RECHAZADA
Fecha:
NOMBRE Y FIRMA PROFESIONAL ENCARGADO
Redacción u
ortografía
ACTA DE COMPROMISO DE CONFIDENCIALIDAD
PROGRAMA DE EVALUACIÓN ______________________________________
PRUEBA _________________________________________________________
INSTITUCIÓN _____________________________________________________
CIUDAD __________________________________________________________
Yo,___________________________________________________, identificado(a) con cédula de ciudadanía número
____________________ de _______________ me comprometo a cumplir con las labores asignadas en el proceso de
construcción de pruebas de evaluación educativa, con los más altos estándares de competencia ética e integridad profesional,
teniendo debida consideración a la naturaleza y propósito del trabajo desarrollado. También me comprometo a no revelar directa o
indirectamente a ninguna persona, durante la vigencia de este trabajo, ni después de su terminación, ninguna información que
hubiera obtenido durante el mismo y que no sea de dominio público.
___________________________
Firma
CC. No.
_____________________________
Fecha
Taller
• Elaboración de un ítem en forma individual .
• Trabajo por grupos según componente.
Administración y Organizaciones
Finanzas
Mercadeo
Producción y operaciones
Electiva Internacional
Electiva Servicios
• Selección preguntas
• Plenaria
La infraestructura es el desafío para los líderes de Latinoamérica: Pricewaterhouse Coopers
Daniel España - [email protected]
Publicado: 06.04.2010
La Pricewaterhouse Coopers (PWC) presentará mañana en Cartagena los resultados de la
encuesta anual de CEO, realizada a más de 1.198 directivos de 52 países del mundo durante el
último trimestre de 2009.
Ésta se refiere a los desafíos que enfrenta la economía en América Latina y el mundo,
destacando las oportunidades, obstáculos y escenarios después de la crisis global.
Uno de los apartes más importantes del estudio es el que tiene que ver con las necesidades
de los gobiernos y empresas de la Región, denominado "Más allá de la supervivencia,
reposicionando América del Sur".
Allí se relaciona con las perspectivas para mantener el crecimiento regional, basadas en
datos de 194 entrevistas realizadas a diferentes líderes empresariales latinoamericanos.
Uno de los indicadores más destacados es el de insuficiencia de la infraestructura básica (que
integra componentes como electricidad, agua y transporte), donde 65 por ciento de los CEO
regionales cree que es fundamental para ser más competitivos tras la crisis económica, dato
que el año anterior (encuesta para el último trimestre de 2008) mostraba esta necesidad
latente en apenas 32 por ciento de los casos.
"Una de las mayores trabas es la infraestructura, que aumenta los costos que están
reduciendo la competitividad. Es necesario que deje de ser un tema de gobierno y se
convierta en un tema de Estado", explicó el socio senior para América Latina de la PWC, Luis
Frissoni.
El dato contrasta con que en la región sólo 27 por ciento de los gobiernos está tomando las
medidas que los líderes corporativos consideran necesarias en infraestructura, según lo
revela el estudio.
Por su parte, con 76 por ciento de la muestra regional, la mayor preocupación para América
Latina tras la crisis radica en la reglamentación excesiva, donde además se considera que en
63 por ciento de los casos es un factor de causa o incentiva de la corrupción.
Al respecto, informes del Doing Business señalan que la región es la que mayor tiempo
demanda por año en el mundo para cancelar impuestos, con 385 horas invertidas en
promedio. Lo anterior, según el estudio Paying Taxes, deja a Colombia en la posición 115 en
este aspecto, detrás de países como Paraguay (110), Perú (86) y Ecuador (55).
Sobre la corrupción, la organización internacional Transparency International señala que
Colombia tiene un índice de 3,7 sobre 10 (siendo 10 altamente honesto y cero altamente
corrupto). Chile y Uruguay son los mejor puntuados de América Latina con 6,7 puntos,
mientras Brasil también tiene 3,7 puntos y Venezuela alcanza apenas 1,9.
"Mi percepción es que el gran problema de nuestros países es el patrimonialismo del Estado,
la falta de percepción entre lo que es público y lo que es privado. Hace falta fortalecer
aspectos como la rendición de cuentas y mejorar la transparencia. Esto se puede combatir.
La educación también es clave", agregó Frissoni.
De igual manera, siguen siendo preocupando temas como la volatilidad en el tipo de cambio
(60 por ciento), una posible prolongación de la recesión mundial (54 por ciento), cambio
climático (46 por ciento), y la seguridad en la cadena de suministro (44 por ciento).
INSTRUCCIÓN
1.
Teniendo en cuenta la información que le brinda el texto anterior y
haciendo uso de la ficha técnica, construya un ítem que pueda servir para
evaluar un saber hacer en la disciplina en el componente de su especialidad.
2.
Haga la caracterización del ítem atendiendo a la información que
exige la ficha técnica.
¡ Gracias por su atención !