ACLARACIONES INICIALES

En el año 2021 divulgamos a la comunidad académica las nuevas prácticas editoriales de la revista Ensaio Pesquisa em Educação em Ciências, basada en el movimiento ciencia abierta (^{Mendonça & Franco, 2021}). Nuestra consonancia con el paradigma de la ciencia abierta se justifica debido al carácter social de la producción del conocimiento científico, sea porque el progreso de la ciencia depende del acceso al depósito del conocimiento (revistas, anales de congreso, libros etc.), sea porque los trabajos académicos logran el estatus de científicos cuando se revisan por pares. El escrutinio de las producciones académicas es fundamental en el desarrollo del conocimiento, pues se basa en criterios compartidos y públicos que sostienen la aprobación o el rechazo de ciertas investigaciones, haciendo inviable la descalificación tendenciosa de esas producciones a partir del uso de patrones arbitrarios.

Es el acceso al conocimiento, así como la comunicación y el juicio justo y transparente de los procesos y resultados de las investigaciones por pares, que mantiene los investigadores en constante intercambio, producción y desarrollo de la ciencia. En ese sentido, defendemos que la ciencia sea desarrollada y comunicada de manera eficaz, permitiendo que otras personas puedan contribuir y colaborar en los esfuerzos de investigación (^{Albagli, Clinio & Raytoch, 2014}; ^{Longino, 2002}).

A pesar de eso, reconocemos que la compresión plena de los procesos relacionados con la vida de una revista (e.g. sumisión, evaluación, edición de artículos científicos) suele ser inaccesible a la mayoría de las personas autoras e incluso a los revisores y editores. Es poco común que los revisores tengan acceso al informe de arbitraje de otro evaluador, lo que podría contribuir a una formación mutua y al diálogo más intenso en el área. También son raras las situaciones en las cuales los editores comparten informaciones sobre los procesos internos y muy variados de evaluación que ocurren en sus revistas. Por último, las personas autoras generalmente solo tienen acceso a un sistema al cual someten sus textos y a un correo electrónico con el resultado de la evaluación.

En este editorial, tenemos como objetivo presentar el modus operandi de la revista según las prácticas editoriales de la ciencia abierta, buscando evaluar las experiencias vividas en los últimos dos años y delineando perspectivas para su profundización. Explicitamos los criterios que sostienen la revisión abierta por pares (OPR, open peer review) y la elaboración de artículos a partir del informe de arbitraje, como frutos de las experiencias de 2021 y 2022. A final, presentamos los futuros desafíos relacionados con la práctica de intercambio de datos suplementarios a la investigación, que comenzó a implementarse a final del año de 2022, y que tenemos la intención de ampliar en 2023.

Para buscar las mejores estrategias de desarrollo de las prácticas basadas en la ciencia abierta, tuvimos como punto de partida promover la formación del propio equipo editorial. Ese equipo está compuesto por recién doctores que actúan en la evaluación técnica de los artículos, enviándolos al sector editorial adjunto y al sector editorial jefe. El sector editorial adjunto acompaña la tramitación de los artículos en colaboración con el sector editorial jefe. Por fin, el editorial jefe finaliza el proceso y envía los artículos aceptados a la edición.

Quincenalmente, durante los años de 2021 y 2022, el sector editorial adjunto y el editorial jefe se reunieron para tratar de los siguientes temas relacionados con la ciencia abierta: revisión abierta por pares, intercambio de datos suplementarios a la investigación, preprints, autoria y colaboración,¹ criterios para el análisis de trabajos empíricos y teóricos, características de los informes de arbitraje constructivos, lenguaje inclusiva en los relatos científicos y la editoria científica. Los debates se establecieron basados en la lectura y discusión de referenciales, los intercambios con otros equipos editoriales científicos y la participación en seminarios realizados por entidades científicas, como SciELO (Brazil Scientific Electronic Library Online), Abec (Associação Brasileira de Editores Científicos), entre otras.

APRENDIZAJES SOBRE LA REVISIÓN ABIERTA EN LA ENSAIO

Con relación a revisión por pares abierta, identificamos, en nuestros estudios, que ese es un término que comprende diversos modelos de revisión por pares basados en la propuesta de la ciencia abierta. En resumen, abrir la revisión consiste en exponer, en cualesquiera etapas de la revisión/comunicación científica y con diferentes niveles de acceso al público, las identidades y argumentos de personas autoras y revisoras. Los principales modos de revisión por pares abierta identificados fueron (consultar ^{Shintaku, Brito, Ferreira Jr., Barraviera, 2020}; ^{Pedri & Araújo, 2021}; ^{Ross-Hellauer & Görögh, 2019}; Ross-Hellauer, Deppe, & Schmidt, 2017):

La revista Ensaio adopta el primer y el segundo modelos de revisión abierta mencionados. El primer punto que se debe considerar en la apertura de identidad en el proceso editorial de la revista es la conformidad de la persona autora con la revelación y interacción con los revisores. Cuando someten el manuscrito a la evaluación, las personas autoras dirigen una carta a la revista, contestando algunos ítems relacionados con las prácticas de la ciencia abierta, entre los cuales está el interés en revelar su identidad si el manuscrito sea aceptado. Esa es, por lo tanto, la condición inicial para la quiebra del doble ciego en la revista Ensaio. Además, elegimos revelar la identidad de la autoría y revisores a final del proceso evaluativo, lo que nos pareció más coherente, porque es una forma de introducción gradual a la OPR. Es importante destacar que se invitan a la publicación del artículo a partir del informe de arbitraje solamente trabajos aceptados y cuyos revisores elaboran informes de arbitraje constructivos (discutido a seguir). Presentamos en el diagrama de flujos (Figura 1) esas etapas de tramitación:

Fuente: Elaboración propia.

Figura 1 Diagrama de flujos representativo del proceso OPR 

Sabemos que el modelo doble ciego es el más utilizado en las revisiones científicas de manera general y en la Didáctica de las Ciencias de manera específica. De ningún modo estamos cuestionando la calidad que muchos procesos de revisión cerrada presentan. La literatura evidencia las varias ventajas de esa metodología, como también señala fragilidades de ese proceso de evaluación (para más detalles consultar ^{Mendonça & Franco, 2021}). Idealmente debería ocurrir en las comunidades científicas una distribución igualitaria de la autoridad intelectual, de manera que el posicionamiento en relación con la investigación, el diálogo y las críticas constructivas, que intentan mejorar las propuestas de la investigación, fueran elementos centrales en la producción y comunicación del conocimiento científico, y no solamente el estatus de autoridad de determinado investigador o grupo de investigación. En contraposición, de modo general, las personas autoras y los revisores prefieren no revelar su identidad debido a conflictos interpersonales y políticos (^{Shintaku, Brito, Ferreira Jr., Barraviera, 2020}; ^{Pedri & Araújo, 2021}; ^{Ross-Hellauer & Görögh, 2019}, Ross-Hellauer, Deppe & Schmidt, 2017).

El principal motivo para que se mantenga el anonimato de las personas autoras es evitar sesgos de publicación como autoridad en el área, género y autoría de instituciones de prestigio. Se protege el anonimato de los revisores, posibilitando que puedan evaluar el artículo de manera sincera, sin el riesgo de represalias de los autores (^{Shintaku, Brito, Ferreira Jr., Barraviera, 2020}; ^{Pedri & Araújo, 2021}; ^{Ross-Hellauer & Görögh, 2019}, Ross-Hellauer, Deppe, & Schmidt, 2017). Debido a tales controversias, tenemos cautela al abrir las identidades, lo que es hecho a final del proceso evaluativo, excepto para los trabajos reprobados, teniendo en cuenta la incomodidad involucrada en la situación, así como la falta de experiencia y familiaridad de nuestra área con ese proceso.

Con relación al texto del artículo a partir del informe de arbitraje, este debe basarse en el informe del propio revisor, en la carta de respuesta de las personas autoras y en el artículo original aceptado para publicación. En ese texto es importante la retomada de los puntos principales destacados en su análisis del manuscrito bajo evaluación y de la manera cómo las personas autoras manejaron eses aspectos en la carta de respuesta y en el artículo aceptado, es decir, si se presentan detalles del proceso de evaluación. Los revisores, expertos en los temas tratados en el artículo original evaluado, deben aún profundizar la discusión de la relación entre el artículo original y el campo del conocimiento bajo una cierta óptica, de manera a ofrecer una contribución original de naturaleza teórica y/o metodológica al campo de la investigación de la Didáctica de las Ciencias y/o a la enseñanza.

Por medio de la OPR, la revista Ensaio ha buscado proporcionar mayor valorización de los revisores, mediante la invitación para la publicación de un artículo basado en el informe de arbitraje, y mayor transparencia en el proceso evaluativo (debido a la naturaleza del texto del artículo) y estimular la autoformación de revisores debido a la oportunidad de comprender aspectos de la evaluación realizada por revisores experimentados, teniendo en cuenta que las prácticas sociales de las comunidades científicas se aprenden a partir de la participación. Además, ^{Varas Espinoza (2015}) considera que la implicación de los revisores con la revista (participación como persona evaluadora y autora que publica en la revista) es un factor importante para el desarrollo de buenos informes de arbitraje, repercutiendo directamente en la calidad de las investigaciones publicadas.

ALGUNOS CASOS DE INFORMES DE ARBITRAJE ABIERTOS PUBLICADOS EN LA ENSAIO

A lo largo de 2021 y 2022, tuvimos la oportunidad de publicar siete artículos a partir del informe de arbitraje identificados en la sección Perspectivas de la revista Ensaio. Todos ellos fueron frutos de un proceso colaborativo con el cual aprendemos y reflexionamos juntos.

En nuestra revista, ese tipo de publicación comienza a partir de un acuerdo entre las personas participantes del flujo de producción de los artículos: las personas autoras, que están de acuerdo con la publicación de los artículos a partir del informe de arbitraje; los revisores y el equipo editorial. Por medio de una reunión con el equipo, presentamos a los revisores invitados la propuesta de producción del artículo a partir del informe de arbitraje y también los criterios para la elaboración del texto (según presentado en este editorial).

Las personas autoras participan menos de ese proceso, una vez que la decisión de invitar para la producción de los artículos a partir del informe de arbitraje es una atribución del equipo editorial. En los diálogos con autores de los artículos aceptados, les aseguramos que el artículo a partir del informe se desarrolla desde una nueva mirada sobre el informe de arbitraje original y, aunque ellos tengan contribuido a modificaciones substanciales en los textos, no hay un enfoque en la comparación entre las versiones del artículo que se evaluaron, pero en la presentación final y, más aún, en los temas provocados por él para reflexión. Sin embargo, entendemos que el proceso también es productivo y formativo para las personas autoras, que tienen con esa publicación la oportunidad de que su texto sea leído y comentado, lo que amplía mucho la divulgación y el debate respecto a sus ideas.

En nuestras experiencias, tuvimos tres casos en los cuales el artículo a partir del informe de arbitraje se elaboró por dos revisores juntos. Son ellos: El instante de ver, el tiempo de comprender y el momento de concluir: notas sobre Psicoanálisis y Educación Científica, escrito por Wilson Elmer Nascimento y Alberto Villani, y publicado en 2021, Lo subjetivo y lo operacional en el aprendizaje de las ciencias: una articulación entre tipos de aprendizaje y tipos de contenido, escrito por Amanda Medeiros y Daniel Goulart, publicado en 2022, y La dialéctica consciente/no consciente en la concepción del mundo: implicaciones teóricas, metodológicas y prácticas para la enseñanza de las Ciencias de la Naturaleza en una perspectiva histórico-crítica, escrito por Hélio da Silva Messeder Neto y Júlia Mazinini Rosa, publicado en 2022. En los demás, solamente una de las personas revisoras aceptó producir el texto con las mencionadas características.

De manera general, la respuesta de las personas revisoras es muy positiva; se tratan de informes de arbitraje constructivos y con diálogos amplios que, de ninguna forma, critican de modo peyorativo el trabajo de las personas autoras. Por lo contrario, expanden las fronteras de sus textos para otros temas importantes en el área. Las personas revisoras tienen la oportunidad de reflexionar tanto sobre su actuación como evaluadoras cuanto sobre el tema del artículo, una vez que se tratan de expertos en las perspectivas teóricas y/o metodológicas de los estudios que tienen en ese texto la oportunidad de desarrollar hipótesis y argumentos en diálogo con el artículo original.

Un ejemplo importante para ilustrar esas experiencias es el artículo a partir del informe de arbitraje Reflexiones sobre el compromiso (engagement) de los estudiantes en la Enseñanza Remota de Emergencia, de autoría de Tobias Espinosa. Ese fue el primer artículo a partir del informe publicado en nuestra revista (Espinosa, 2021). El texto es fruto del diálogo producido a partir del informe de arbitraje elaborado para el artículo Participación de los estudiantes en una Enseñanza Remota de Emergencia de Física, también publicado en 2021, de los autores Helder de Figueiredo e ^{Paula, Sérgio Luiz Talim, Cecília Siman Salema y Vinícius Reis Camillo (Paula et al., 2021}). Ese artículo fue significativo para el equipo editorial porque reflejó todo el proceso formativo en preparación para una experiencia con revisiones abiertas y, al mismo tiempo, alcanzó objetivos que esperábamos para aquel momento de nuestra revista.

El informe de arbitraje original trajo contribuciones a los autores, que avanzaron en sus análisis y construcciones teóricas. En el artículo a partir del informe de arbitraje, por su parte, el revisor discutió dos aspectos: i) diferentes perspectivas teóricas e indicadores del constructo compromiso; ii) factores que pueden influir en el compromiso de los estudiantes en la Enseñanza Remota de Emergencia. A lo largo del texto, el revisor retomó propuestas importantes para el campo, buscó diálogos entre diferentes teorías y metodologías, profundizando aquellas contribuciones ya presentes en el artículo de ^{Paula et al. (2021}). Otro aspecto importante, de acuerdo con la expectativa acerca de las publicaciones de nuestros artículos a partir del informe de arbitraje, es que el texto de Espinosa se basó en los elementos más relevantes de su informe de arbitraje original, que además de promover una buena contribución a los autores, se ampliaron y se publicitaron a otros lectores del área. A lo largo de 2021 y 2022, otros artículos a partir del informe se publicaron, cada uno enfatizando determinados aspectos y sin una fórmula o guion preestablecido. En todos los casos, tenemos observado la producción de textos de alta calidad que recibe apreciación positiva en el campo.

APRENDIZAJES SOBRE INFORMES DE ARBITRAJE CONSTRUCTIVOS

La evaluación o revisión por pares es una práctica fundamental en el proceso de publicación de artículos en revistas científicas. Basados en eses informes de arbitraje, tomamos la decisión editorial final de la aprobación o del rechazo del manuscrito y, en eses dos años de organización de nuestro trabajo editorial mediado por el proceso de revisión por pares abierta, son ellos que orientan el sector editorial adjunto a invitar a los revisores para la publicación de los artículos a partir del informe de arbitraje.

En diversos momentos nos preguntamos: ¿Lo que es un informe de arbitraje de calidad? ¿Cuáles elementos deben ser considerados en la elaboración de buenos informes de arbitraje? En esta sección discutimos lo que nuestro equipo editorial ha pensado sobre esas cuestiones.

Independientemente de la decisión editorial, un buen informe de arbitraje debe contribuir al avanzo de la calidad de un artículo, por eso, durante el proceso de evaluación, una pregunta que debe orientar la persona revisora es: “Como o artigo poderia ser melhor? Sendo assim, o parecer deve ser redigido de forma construtiva, evitando hostilidade” (^{Hohendorff, 2021}, p. 2)². El autor señala que la mejor forma de un informe de arbitraje ser constructivo es presentar sugerencias de modificación en forma de acción, o sea, evidenciando claramente lo que debe ser hecho. La directividad de los comentarios y de las correcciones de los revisores también es señalada por ^{Varas Espinoza (2015}) como un aspecto fundamental para un informe de arbitraje constructivo. Eso significa que, en lugar de solamente mencionar que un párrafo, argumento o idea deben ser mejorados, es importante que señalemos de manera más específica los aspectos que la autoría del texto debe considerar para su reestructuración.

Además de la directividad y claridad, ^{van Rooyen, Black e Godlee (1999}) destacan que las sugerencias y correcciones se presenten con explicaciones basadas en evidencias y exponen otros aspectos fundamentales para estructurar el texto del informe de arbitraje: discusión de los aspectos estructurales del artículo; presentación de la relevancia y originalidad de la investigación; problematización de los aspectos teóricos, metodológicos y analíticos del estudio y discusión de los resultados de la investigación. Las modificaciones realizadas en los formularios de evaluación de la revista Ensaio direccionan a las personas revisoras para que contemplen los aspectos destacados por van Rooyen, Black e Godlee (1999) en sus informes de arbitraje. Ellos también se ampliaron para que sean incorporadas reflexiones sobre las implicaciones del estudio para la investigación en didáctica de las ciencias y los cuidados éticos de la investigación.

A pesar del tiempo ser un factor que impacta en la circulación del conocimiento y en las evaluaciones de las revistas, ^{Cabezas Del Fierro y colaboradores (2018}) consideran que esa variable y la extensión del texto no definen la calidad de un informe de arbitraje. A partir de nuestros estudios, comprendemos que un buen informe de arbitraje debe ser constructivo. Para que él presente esa característica, los comentarios y las sugerencias de las personas revisoras deben ser realizados con claridad y con un buen nivel de direccionamiento en relación con aspectos estructurales del artículo y de los elementos centrales de la investigación científica.

DE LA OPR A LOS DATOS ABIERTOS: NUESTRAS PERSPECTIVAS

En la carta dirigida a la Ensaio por las personas autoras, hay informaciones sobre la disponibilidad de datos suplementarios a aquellos ya presentados en el cuerpo del manuscrito en evaluación (por ejemplo, datos brutos organizados en archivos .csv para análisis estadísticas, transcripciones de entrevistas garantizando el anonimato de los participantes de la investigación). Las excepciones son permitidas en casos de cuestiones legales y éticas y deben ser expuestas por las personas autoras como restricciones para poner a disposición la base de datos. El objetivo es facilitar la evaluación del manuscrito y, si aceptado, contribuir a la preservación y el reúso de los contenidos y la reproducibilidad de las investigaciones (SciELO, 2018).

Aclaramos a la comunidad que datos suplementarios se entienden como fuentes primarias, que deben estar organizados, sistematizados y registrados en bibliotecas de datos, estando plenamente accesibles o parcialmente accesibles (a depender de cuestiones éticas y legales) al público en general. Los datos abiertos se refieren a materiales textuales o de otra naturaleza, incluyendo productos y/o componentes de investigaciones ya realizadas o en curso, que están disponibles abiertamente a través de licencia (DOI) que permitan la descarga, la copia, el análisis y el reprocesamiento. La disponibilidad de bases de datos permite que una investigación pueda ser rehecha y que se pueda evaluar su reproducibilidad, verificar se los resultados son compatibles con los datos y las fuentes de las evidencias utilizados para las conclusiones expuestas en el artículo y que sean hallados errores o incluso que las personas lleguen a nuevos hallazgos (reúso de dados) (^{Clinio & Albagli, 2017}; Albagli, Clinio & Raytoch, 2014).

La Ensaio ya tiene un repositorio de datos (Dataverse SciELO), disponible en https://data.scielo.org/dataverse/brepec. El repositorio SciELO es multidisciplinario y tiene como objetivo el deposito, la preservación y la difusión de datos de investigación de manuscritos sometidos o aceptados para la publicación o ya publicados en revistas de la red SciELO. Las revistas SciELO operan juntamente con el repositorio SciELO para la indexación, preservación y difusión de datos relacionados con los artículos allí publicados, ofreciendo a las personas autoras la garantía de estabilidad en el locus del depósito de datos.

En su equipo, la Ensaio cuenta con la actuación de una editora que es responsable por la curaduría de los datos depositados en el repositorio, en paralelo con el análisis técnico realizado por el equipo SciELO Data. Para obtener más detalles sobre el proceso de sumisión de datos al repositorio, accese los documentos disponibles en https://scielo.org/pt/sobre-o-scielo/scielo-data-pt/.

En la edición de 2022, inauguramos el proceso de open data con la difusión de datos anonimizados del artículo Validación de prueba en tres niveles para mapear perfiles epistemológicos de densidad, escrito por Viviane Florentino de Melo y Amanda Amantes, disponible en https://data.scielo.org/dataset.xhtml?persistentId=doi:10.48331/scielodata.G7PNYG.

Destacamos que la sugerencia para la publicación de los datos partió de uno de los revisores, Cláudio J. Cavalcanti, que atentamente observó la política de implementación de la ciencia abierta de la revista y sugirió que se volvieran disponible los datos. Cláudio fue invitado a producir un artículo a partir del informe de arbitraje sobre el proceso, que también será publicado en la edición de 2023. Las autoras aceptaron la sugerencia del revisor y retiraron todas las formas de identificación de los participantes de la investigación; él revisó los datos - lo que nos alertó de la necesidad de un sector editorial de datos, para no sobrecargar el proceso de evaluación -, y las autoras publicaron sus datos en la plataforma de SciELO.

Siguiendo con ese proceso, aclaramos a la comunidad que, a final del texto de los manuscritos aceptados a partir del año de 2023, se especificarán las siguientes condiciones de disponibilidad de datos (basados en https://wp.scielo.org/wp-content/uploads/Guia_TOP_pt.pdf) (SciELO, 2018):

1. Datos no disponibles: El conjunto de datos que apoya los resultados de este estudio no está disponible públicamente.

2. Datos disponibles:

2.1. Todo el conjunto de datos que apoya los resultados de este estudio se publicó en el propio artículo.

2.2. Todo el conjunto de datos que apoya los resultados de este estudio está disponible en SciELO Dataverse y se puede accesar en [URL ou DOI].

2.3. Todo el conjunto de dados anonimizados que apoya los resultados de este estudio está disponible en SciELO Dataverse y se puede accesar en [URL ou DOI].

3. Datos disponibles bajo petición:

3.1. Todo el conjunto de datos que apoya a los resultados de este estudio está disponible bajo petición del autor(a) correspondiente.

3.2. El conjunto de datos no está públicamente disponible debido a… [detallar el motivo de la restricción, por ejemplo, contener información que compromete la privacidad de los participantes de la investigación].

3.3. Todo el conjunto de datos que apoya los resultados de este estudio está disponible bajo petición a… [nombre de la organización].

Llegamos a final de este editorial, y narrar este proceso nos permitió compartir aprendizajes sobre diversos aspectos relacionados con las prácticas de la ciencia abierta, que hemos asumido desde 2021, y señalar perspectivas para nuestro trabajo en 2023 en la composición del volumen 25 de la revista. Aprovechamos la oportunidad para agradecer a las personas autoras que han optado compartir sus investigaciones en nuestra revista y a las personas evaluadoras por el trabajo imprescindible que han realizado en la construcción de informes de arbitraje constructivos. Nos gustaría ampliar esa red dialógica y, por eso, invitamos a la comunidad académica del área de la didáctica de las ciencias a publicar y también emitir informes de arbitraje en nuestra revista. Entendemos, principalmente a partir de nuestra articulación con las prácticas de la ciencia abierta, que esa vinculación como persona autora y revisora implica procesos evaluativos más consistentes, contribuyendo a la calidad de las publicaciones de la Ensaio, lo que nos parece un camino promisor para la investigación en Didáctica de las Ciencias.