Evaluation of a STEAM m-learning training strategy for science teachers using Kirkpatrick
Abstract
The objective of this research was to implement and evaluate a STEAM training strategy for natural science teachers using the Kirkpatrick model. The sample consisted of 20 in-service teachers. Once the design was finalized and using a quantitative approach, the teachers participated in an intervention of six m-learning sessions using WhatsApp. At the end of the intervention, they completed a survey and an interview. With the data obtained, the strategy was evaluated at the reaction, learning and behavioral levels. The results show that about 80 % of the teachers were satisfied with the perceived quality of the strategy, which reflects a high level of pedagogical reflection. In addition, they reported high confidence in their ability to apply the knowledge acquired. Teachers recognized STEAM as a comprehensive vision with great potential to enrich their classes. In addition, they considered that this approach could transform their classroom practices to face new scientific challenges. In conclusion, this study demonstrates that the use of e-learning through WhatsApp can be an effective and efficient strategy for the continuous training of natural science teachers in the STEAM approach, providing them with tools and knowledge to transform their pedagogical practices and face the current challenges of science teaching.
Downloads
References
Acosta, J. M., & Repullo, S. (2019). Elaboración y validación de un cuestionario para evaluar la satisfacción de los trabajadores con la vigilancia de la salud. Revista Enfermería del Trabajo, 9, 72–93. https://r.issu.edu.do/1V
Acosta, M. Z., Canto Herrera, P. J., & Quintero Mármol, N. L. R. (2018). The quality of teacher education postgraduates in Mexico. Publicaciones de La Facultad de Educacion y Humanidades Del Campus de Melilla, 48(1), 155–170. https://doi.org/10.30827/publicaciones.v48i1.7333
Alghamdi, A. A. (2022). Exploring Early Childhood Teachers’ Beliefs About STEAM Education in Saudi Arabia. Early Childhood Education Journal, 0123456789. https://doi.org/10.1007/s10643-021-01303-0
Alvarez, M., Torres, B., & Medina, I. (2022). Effective Feedback with Positive Emotional Stimuli. Revista Internacional de Educación y Aprendizaje, 10(1), 47–62. https://doi.org/https://doi.org/10.37467/gkarevedu.v10.3171
Amortegui Cedeño, E. F., Mayoral García-Berlanga, O., & Gavidia Catalan, V. (2017). Aportaciones de las Prácticas de Campo en la formación del profesorado de Biología: un problema de investigación y una revisión documental. Didáctica de Las Ciencias Experimentales y Sociales, 4379(32), 153. https://doi.org/10.7203/dces.32.9940
Asunción, S. (2019). Metodologías Activas: Herramientas para el empoderamiento docente. Revista Tecnológica-Educativa Docentes 2.0, 7(1), 65–80. https://doi.org/10.37843/rted.v7i1.27
Boude, O. R. (2021). Design of mobile learning strategies in higher education through a professor training process. Formacion Universitaria, 14(2), 181–188. https://doi.org/10.4067/S0718-50062021000200181
Bravo-Reyes, C. (2018). Un sistema de Wooc para la actualización docente. RFCE, 20, 75. https://doi.org/10.30972/rfce.0203255
Bravo Reyes, C., Apaza Zegarra, F., & Orozco Aldana, J. (2015). Metodología para el desarrollo de cursos en la modalidad de M-Learning a través de mensajería instantánea. Revista de La Facultad de Ciencias Económicas, 15, 43. https://doi.org/10.30972/rfce.015343
Buils, S., Llopis-Nebot, M. . Á., Valdeolivas-Novella, G., & Esteve-Mon, F. M. (2023). Análisis de una intervención educativa basada en ACAD Toolkit para la mejora del diseño didáctico en futuros docentes. Educar, 59(2), 315–331. https://doi.org/10.5565/rev/educar.1701
Camacho-Tamayo, E., Bernal-Ballén, A., & González-Fernandez, M. O. (2024). Análisis de la autopercepción sobre el uso del enfoque steam en las estrategias de aula de docentes de ciencias naturales de méxico y colombia. 8(1), 117–143. https://doi.org/https://doi.org/10.32541/recie.2024.v8i1.pp117-143
Cardona Toro, H. L., & Rodríguez Hernández, N. (2021). Enfoque STEAM. Una posibilidad para la formación de maestros en Educación Infantil. http://repository.pedagogica.edu.co/handle/20.500.12209/13516
Carmona-Mesa, J. A., & Villa-Ochoa, J. A. (2019). Formación inicial de profesores basada en proyectos para el diseño de lecciones STEAM. In Revolución en la Formación y la Capacitación para el Siglo XXI (pp. 483–493). https://doi.org/10.5281/zenodo.3524356
Chiriguaya, A., & Morquecho, A. (2020). Producción animada de cápsulas informativas sobre herramientas tecnológicas para la educación a distancia [Escuela superior politécnica del Litoral http://www.dspace.espol.edu.ec/handle/123456789/56260
Corzo, M. A., Chacón, C. T., & Alcedo, Y. A. (2012). Los proyectos de aprendizaje interdisciplinarios en la formación docente. Revista Mexicana de Investigación Educativa, 17(54), 877–902. https://www.redalyc.org/articulo.oa?id=14023127009
Creswell, J. W. (2012). Educational Research Planning, conducting and evaluating quantitative and quailitative research. In Pearson (Ed.), News.Ge (4th ed.). University of Nebraska–Lincoln.
Danley, A., McCoy, A., & Weed, R. (2016). Exit Tickets Open the Door to University Learning. InSight: A Journal of Scholarly Teaching, 11, 48–58. https://doi.org/10.46504/11201603da
Darling-Hammond, L., Hyler, M. E., Gardner, M. (2017). Effective Teacher Professional Development. Palo Alto, CA: Learning Policy Institute.
DeCoito, I., & Estaiteyeh, M. (2022). Online teaching during the COVID-19 pandemic: exploring science/STEM teachers’ curriculum and assessment practices in Canada. Disciplinary and Interdisciplinary Science Education Research, 4(1). https://doi.org/10.1186/s43031-022-00048-z
Domènech-Casal, J., Lope, S., & Mora, L. (2019). Qué proyectos STEM diseña y qué dificultades expresa el profesorado de secundaria sobre Aprendizaje Basado en Proyectos. Revista Eureka Sobre Enseñanza y Divulgación de Las Ciencias, 16(2), 2203. https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2019.v16.i2.2203
Domènech-Casal, J., Lope, S., Mora, L., & others. (2019). Qué proyectos STEM diseña y qué dificultades expresa el profesorado de secundaria sobre Aprendizaje Basado en Proyectos.
Domenici, V. (2022). STEAM Project-Based Learning Activities at the Science Museum as an Effective Training for Future Chemistry Teachers. Education Sciences, 12(30), 1–32. https://doi.org/10.3390/educsci12010030
Espinosa-Ríos, E. A. (2016). La formación docente en los procesos de mediación didáctica. Praxis, 12, 90. https://doi.org/10.21676/23897856.1850
Giraldo-Macías, C. F., Caballero-Sahelices, M. C., & Meneses-Villagrá, J. Á. (2020). Una experiencia de práctica pedagógica con docentes en formación en ciencias naturales apoyada en el aprendizaje basado en proyectos (ABPy). Uni-Pluriversidad, 20(1), 39–60. https://doi.org/10.17533/udea.unipluri.20.1.3
Greca, I., Ortiz-Revilla, J., & Arriassecq, I. (2021). Design and evaluation of a STEAM teaching-learning sequence for primary education | Diseño y evaluación de una secuencia de enseñanza-aprendizaje STEAM para Educación Primaria. Revista Eureka, 18(1). https://doi.org/10.25267/REV_EUREKA_ENSEN_DIVULG_CIENC.2021.V18.I1.1802
Harris, A., & de Bruin, L. (2017). Secondary school creativity, teacher practice and STEAM education: An international study. Journal of Educational Change, 19(2), 153–179. https://doi.org/10.1007/S10833-017-9311-2
Hernández Sampieri, R., Fernández Collado, C., & Baptista Lucio, P. (2014). Metodología de la investigación. McGraw-Hill..
Holguin, J., P. Baldeón, Pérez, G., Riascos, J., González, B., Campechano, E., Ulloa, B., & Opazo, J. (2021). Educación, actualidad y perspectivas en países de América Latina. In Repositorio Institucional - UCV. https://repositorio.ucv.edu.pe/handle/20.500.12692/71061
Jordan, K. (2023). How can messaging apps, WhatsApp and SMS be used to support learning? A scoping review. Technology, Pedagogy and Education, 32(3), 275–288. https://doi.org/10.1080/1475939X.2023.2201590
Juškevičienė, A., Dagienė, V., & Dolgopolovas, V. (2021). Integrated activities in STEM environment: Methodology and implementation practice. Computer Applications in Engineering Education, 29(1), 209–228. https://doi.org/10.1002/cae.22324
Kirkpatrick, D., & Kirkpatrick, J. (2006). Evaluating training programs: The four levels. Berrett-Koehler Publishers.
Lee, Y., Paik, S.-H., & Kim, S.-W. (2018). A Study on Teachers Practices of STEAM Education in Korea. International Journal of Pure and Applied Mathematics, 118(19), 2339–2365. http://www.ijpam.eu
Leytón-Yela, G. V., Bucheli Guerrero, V. A., & Ordoñez Erazo, H. A. (2021). Revisión sistemática de literatura: MOOC K-12 y STEAM. Investigación e Innovación En Ingenierías, 9(3), 57–81. https://doi.org/10.17081/invinno.9.3.5546
López-Gamboa, M. V. (2021). Curso virtual: educación STEM/STEAM, concepción e implementación. Experiencias de su ejecución con docentes costarricenses. Innovaciones Educativas, 23(Especial), 163–177. https://doi.org/10.22458/ie.v23iEspecial.3620
Marcelo, C., & Zapata, M. (2008). Cuestionario para la evaluación. “Evaluación de la calidad para programas completos de formación docente a través de estrategias de aprendizaje abierto y a distancia”. Metodología de uso y descripción de indicadores. RED, Revista de Educación a Distancia, 2–31. http://www.um.es/ead/red/M7/cuestionario.pdf
Martínez-Álvarez, I., Alonso-de-Mena, E., Lucas-Barcia, E., & García-Barrera, A. (2023). Utilidad de un curso personalizado en H5P para la mejora de la formación docente en evaluación educativa. Revista Tecnología, Ciencia y Educación, 25, 7–28. https://doi.org/10.51302/tce.2023.3389
Martínez Navarro, J. A. (2021). Indicadores de abandono en contextos MOOC, una aproximación pedagógica desde la literatura. Universitas Tarraconensis. Revista de Ciències de l’Educació, 1(3), 36. https://doi.org/10.17345/ute.2020.3.3031
MEN. (2004). Estándares Básicos de Competencias. Área Ciencias Naturales y Ciencias Sociales. Colombia. Ministerio de Educación Nacional. Estandares Básicos de Competencias., 96–147.
Morales, D. A. (2018). La salida de campo como recurso didáctico para enseñar ciencias. Una revisión sistemática. Revista Eureka Sobre Enseñanza y Divulgación de Las Ciencias, 15(3), 3103. https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2018.v15.i3.3103
Motteram, G., Dawson, S., & Al-Masri, N. (2020). WhatsApp supported language teacher development: A case study in the Zataari refugee camp. Education and Information Technologies, 25(6), 5731–5751. https://doi.org/10.1007/s10639-020-10233-0
Muñoz-García, E. (2014). Uso didáctico de las infografías. JEspiral. Cuadernos Del Profesorado, 7(14), 7(14), 37–43. http://www.cepcuevasolula.es/espiral
OCDE. (2023). PISA 2022 Results (Volume I): The State of Learning and Equity in Education, PISA, OECD Publishing. https://doi.org/10.1787/53f23881-en
Olascoaga, A. C. (2020). Teaching course for residents: Evaluation of a program. Educacion Medica, 21(3), 187–192. https://doi.org/10.1016/j.edumed.2018.07.010
Ortiz-Revilla, J., Greca, I. M., & Meneses-Villagrá, J.-Á. (2021). Effects of an integrated STEAM approach on the development of competence in primary education students ( Efectos de una propuesta STEAM integrada en el desarrollo competencial del alumnado de Educación Primaria ). Journal for the Study of Education and Development, 44(4), 838–870. https://doi.org/10.1080/02103702.2021.1925473
Ortiz-Revilla, J., Sanz-Camarero, R., & Greca, I. (2021). Una mirada crítica a los modelos teóricos sobre educación STEAM integrada. Revista Iberoamericana de Educación, 87(2), 13–33. https://doi.org/10.35362/rie8724634
Park, H. J., Byun, S. Y., Sim, J., Han, H., & Baek, Y. S. (2016). Teachers’ perceptions and practices of STEAM education in South Korea. Eurasia Journal of Mathematics, Science and Technology Education, 12(7), 1739–1753. https://doi.org/10.12973/eurasia.2016.1531a
Pratidhina, E., Rosana, D., & Kuswanto, H. (2021).Implementation of a tracker-assisted modeling activity in an online advanced physics experiment course. Journal of Education and E-Learning Research, 8(2), 222–229. https://doi.org/10.20448/JOURNAL.509.2021.82.222.229
Rojas Reyes G. (2023). Estrategia mediada por tecnologías de la información y la comunicación para mejorar la ortografía de estudiantes universitarios. I+D Revista de Investigaciones, 18(2), 50–58. https://doi.org/http://dx.doi.org/10.33304/revinv.v18n2-2023005
Romero-Ariza, M., Quesada, A., Abril, A.-M., & Cobo, C. (2021). Changing teachers’ self-efficacy, beliefs and practices through STEAM teacher professional development. Journal for the Study of Education and Development. https://doi.org/10.1080/02103702.2021.1926164
Ryu, M., Mentzer, N., & Knobloch, N. (2019). Preservice teachers’ experiences of STEM integration: challenges and implications for integrated STEM teacher preparation. International Journal of Technology and Design Education, 29(3), 493–512. https://doi.org/10.1007/s10798-018-9440-9
Soto-Calderón, A., Paz-Delgadillo, J. M., Domínguez-Osuna, P. M., Valdez-Oliveros, L. H., Coronado-Ortega, M. A., Oliveros-Ruiz, M. A., & Roa- Rivera, R. I. (2024). Marie Curie Lab STEAM Room: Una experiencia educativa de inmersión. Revista Eureka Sobre Enseñanza y Divulgación de Las Ciencias, 13(3), 617–627. https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2024.v21.i1.1201
Soto Calderón, A., Oliveros Ruiz, M. A., & Roa Rivera, R. I. (2022a). Curso Taller STEAM para Docentes: una evaluación formativa. Entreciencias: Diálogos en la Sociedad del Conocimiento, 0(24), 1–19. https://doi.org/10.22201/enesl.20078064e.2022.24.82377
Stacey, M., Wilson, R., & McGrath-Champ, S. (2020). Triage in teaching: the nature and impact of workload in schools. Asia Pacific Journal of Education, 42(4), 1–14. https://doi.org/10.1080/02188791.2020.1777938
Toma, R., & García-Carmona, A. (2021). Of STEM we like everything but STEM. A critical analysis of a buzzing educational trend. Enseñanza de las Ciencias, 39(1), 65–80. https://doi.org/10.5565/REV/ENSCIENCIAS.3093
Vargas-Neira, S., Bernal-Ballén, Á., & Briceño-Martínez, J. J. (2024). Desarrollo Profesional Docente en trabajos prácticos de química: PCK declarativo vs PCK en acción. REVISTA INTERNACIONAL DE PEDAGOGÍA E INNOVACIÓN EDUCATIVA, 4(2), 73–107.
Wei, B., & Liu, H. (2018). An experienced chemistry teacher’s practical knowledge of teaching with practical work: The PCK perspective. Chemistry Education Research and Practice, 19(2), 452–462. https://doi.org/10.1039/c7rp00254h
Wong, J. T., Bui, N. N., Fields, D. T., Hughes, B. S., Wong, J. T., Bui, N. N., Fields, D. T., A, B. S. H., & Wong, J. T. (2022). A Learning Experience Design Approach to Online Professional Development for Teaching Science through the Arts : Evaluation of Teacher Content Knowledge , Self-Efficacy and STEAM Perceptions A Learning Experience Design Approach to Online Professional Dev. Journal of Science Teacher Education, 00(00), 1–31. https://doi.org/10.1080/1046560X.2022.2112552
Yakman, G., & Lee, H. (2012). Exploring the Exemplary STEAM Education in the U.S. as a Practical Educational Framework for Korea. Journal of The Korean Association For Science Education, 32(6), 1072–1086. https://doi.org/10.14697/jkase.2012.32.6.1072
Zambrano, A. (2012). Formación docente en Colombia: Arqueología de la política pública y del escenario internacional. Educere, 16(54), 11–19. https://r.issu.edu.do/Tdb
Downloads
Published
How to Cite
Issue
Section
License

This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
This journal provides immediate free access to its content under the principle of making research available to the public free of charge, which fosters a greater exchange of global knowledge. This work is under a Licencia Creative Commons Atribución-NoComercial-CompartirIgual 4.0 Internacional (Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License) However, any request by the author to obtain permission for their reproduction will be evaluated.