Estudos em Avaliação Educacional

Apresentação: Contribuições das pesquisas educacionais à educação brasileira

Formação inicial de professores para a educação básica: pesquisas e políticas educacionais

O artigo aborda a relação complexa entre pesquisa e políticas educacionais e propõe-se a fazer uma síntese do estado do conhecimento sobre formação inicial de professores nos cursos de graduação. Com base em pesquisas e ensaios relevantes sobre o tema, discute os aspectos que mais recorrentemente emergem nesses trabalhos, a saber: improvisação de professores; ausência de uma política nacional específica para as licenciaturas; pouca atenção às pesquisas sobre o tema; diretrizes curriculares isoladas por curso; currículos fragmentados; estágios sem projeto e acompanhamento; aumento da oferta de cursos a distância; despreparo de docentes das instituições de ensino superior para formar professores; e características socioeducacionais e culturais dos estudantes, permanência e evasão nos cursos. Conclui que os impasses encontrados chamam por novas posturas institucionais e políticas mais vigorosas, e que as pesquisas têm muito a contribuir para isso.

El artículo aborda la compleja relación entre la investigación y políticas educativas y se propone a efectuar una síntesis del estado del conocimiento sobre la formación inicial de profesores en los cursos de graduación. En base a investigaciones y ensayos relevantes sobre el tema, discute los aspectos que de forma más recurrente emergen en estos trabajos, a saber: la improvisación de los profesores; la ausencia de una política nacional específica para las licenciaturas; poca atención a las investigaciones sobre el tema; directivas curriculares aisladas por curso; currículos fragmentados; pasantías sin proyecto y seguimiento; aumento de la oferta de cursos a distancia; falta de preparación de docentes de las Instituciones de Enseñanza Superior para formar profesores; y características socioeducativas y culturales de los estudiantes, permanencia y evasión en los cursos. Concluye que los impasses encontrados demandan nuevas posturas institucionales y políticas más vigorosas, y que las investigaciones pueden contribuir mucho para ello.

This paper presents the complex relationship between research and education policies, and is intended to provide a round-up of what is known about teachers education in Brazil. Based on researches and essays pertaining to the subject, we discuss the most recurring aspects on such works, namely, impromptu teachers, absence of a nation-wide policy specific for teaching degree type courses, lack of attention to researches on the subject, curriculum directives segregated by course, internships lacking in both supervision and a project, increased availability of long distance courses, unprepared professors in higher education institutions who educate future teachers as well as the cultural and social-educational characteristics of the students and whether they stay in school or become drop-outs. We have concluded that the obstacles we found demand a new institutional stance and more vigorous policies, not to mention that further studies can assist in dealing with those issues.

A didática de professores referenciais e suas contribuições para a formação docente

Este artigo discute o papel da didática na formação de professores para a escola contemporânea. O objetivo do estudo consiste em analisar as visões de estudantes sobre as práticas didáticas de professores formadores indicados por eles como referenciais. Para atender ao proposto, foi produzido um questionário com questões abertas e fechadas, disponibilizado virtualmente aos estudantes do curso de Pedagogia da Faculdade de Educação da Universidade Federal do Rio de Janeiro. Os dados foram examinados de acordo com a análise de conteúdo e discutidos a partir do que defendem Shulman (2005), em seus estudos sobre a base de conhecimentos profissionais da docência, e Cunha (2012) e André (1995), no que tange às práticas do bom professor.

Este artículo discute el papel de la didáctica en la formación de profesores para la escuela contemporánea. El objetivo del estudio consiste en analizar las visiones de los estudiantes sobre las prácticas didácticas de profesores formadores indicados por ellos como referentes. Para atender a lo propuesto, se produjo un cuestionario con preguntas abiertas y cerradas, que se puso a disposición virtualmente a los estudiantes del curso de Pedagogía de la Facultad de Educación de la Universidad Federal de Rio de Janeiro. Los datos fueron examinados de acuerdo con el análisis de contenido y discutidos a partir de lo que defienden Shulman (2005), en sus estudios sobre la base de conocimientos profesionales de la docencia, y Cunha (2012) y André (1995), en lo que atañe a las prácticas del buen profesor.

This paper discusses the role of didactics in the education of teachers for the contemporary school. The objective of the study consists in analyzing how the students perceive the didactic practices of those they regard as reference professors. To that end, we have prepared a questionnaire comprising open and closed questions, available online to be accessed by the students of the Faculty of Education of the Federal University of Rio de Janeiro. We have analyzed the data according to content analysis and we have discussed them based on those who side with Shulman (2005), in his studies about the basis of teachers professional knowledge, as well as Cunha (2012) and André (1995), regarding good teacher practices.

Redação no vestibular: Perspectivas de reorientação da prática escolar

Para compreender como escrevem os alunos no final da educação básica, analisou-se, na pesquisa, a redação dissertativa do vestibular com base no referencial sócio- histórico, em particular, os postulados de Bakhtin, assim como nos preceitos da linguística textual. O corpus reuniu uma amostra de 374 redações produzidas no Vestibular Fuvest-2007, que foi analisada pelos critérios da norma culta, expressividade, configuração organizacional e remissão extratextual. Os resultados revelam dificuldades de interlocução: a língua cindida entre um saber-dizer e um dever-dizer, o que fundamenta iniciativas para a reorientação do ensino da língua escrita e para a formação de professores.

Para comprender cómo escriben los alumnos al final de la educación básica, se analizó en la investigación la redacción disertativa del examen de ingreso a facultad (vestibular) en base al referente socio-histórico, en particular los postulados de Bakhtin, así como a los preceptos de la lingüística textual. El corpusQ reunió una muestra de 374 redacciones producidas en el Vestibular Fuvest-2007, que fue analizada según los criterios de la norma culta, expresividad, configuración organizacional y remisión extratextual. Los resultados revelan dificultades de interlocución: la lengua escindida entre un saber-decir y un deber-decir, lo que fundamenta iniciativas para la reorientación de la enseñanza de la lengua escrita y para la formación de profesores.

In order to comprehend how students write by the end of basic education, in this research we have analyzed short essays in an entrance examination in light of the social-historical framework, especially Bakhtins postulates as well as text linguistics principles. The corpus comprised a sample consisting of 374 short essays produced during the Fuvest-2007 entrance examination, and was analyzed under the criteria of the educated standard, expressiveness, organizational configuration, and extratextual referencing. The results reveal interlocution-related difficulties: language torn between a know-how-to-say and a must-say, which serve as basis for initiatives meant to reorient written language teaching and teacher education.

Os efeitos da inserção escolar para alunos pouco convencionais

Neste artigo, discutimos questões relacionadas à inserção escolar de alunos considerados pouco convencionais, procurando destacar o quanto a convivência entre colegas pode ser uma dimensão a ser considerada no trabalho educativo. Para tanto, retomamos pesquisas que focalizam os efeitos da escolarização para esses alunos. Em seguida, apresentamos dados de um estudo sobre os efeitos da convivência entre pares na escola, quando uma criança apresentava fragilidades em sua constituição como sujeito. Para realização deste trabalho, adotamos como procedimentos metodológicos o registro sistemático dos dados levantados no trabalho de campo, a prática de entrevistas e a realização de filmagens. A partir desses dados, procuramos indicar o quanto a entrada na escola pode superar a transmissão formal de conhecimentos, operando, para algumas crianças, como um fator de estruturação subjetiva.

En este artículo discutimos cuestiones relacionadas con la inserción escolar de alumnos considerados poco convencionales, tratando de destacar cuánto la convivencia entre colegas puede ser una dimensión a considerar en el trabajo educativo. Para ello, retomamos investigaciones que abordan los efectos de la escolarización para estos alumnos. En seguida, presentamos datos de un estudio sobre los efectos de la convivencia entre pares en la escuela, cuando un niño presentaba fragilidades en su constitución como sujeto. Para la realización de este trabajo, adoptamos como procedimientos metodológicos el registro sistemático de los datos levantados en el trabajo de campo, la práctica de entrevistas y la realización de filmaciones. A partir de tales datos, intentamos indicar cuánto el ingreso a la escuela puede superar la transmisión formal de conocimientos, operando, para algunos niños, como un factor de estructuración subjetiva.

In this paper, we discuss questions relating to the school insertion of students regarded as being not so conventional. We intend to highlight how much the daily interaction with their colleagues can be an aspect to be considered in the educational work. Therefore, we revisit researches focusing on the effects of schooling on those students. After that, we present data from one study about the effects of social interaction among peers in school, when a child showed vulnerabilities in his/her constitution as a subject. For this work to be carried out, we have adopted the following methodological steps: systematic logging of the data collected in field work; interview sessions; videotaping. From those data, we intend to predict by how much school enrollment itself can be better than formal learning as well as serve as a factor in the subjective structuring of some children.

Incongruências no discurso sobre qualidade da educação brasileira

Este artigo analisa, por um viés foucaultiano, as incongruências do discurso sobre qualidade da educação no Brasil a partir de dois instrumentos de aferição: o Índice de Desenvolvimento da Educação Básica e o Programa Internacional de Avaliação de Estudantes. Apesar do destaque para a necessidade de melhoria dos processos de escolarização, com avanço de discussões e sua constante inserção na agenda das políticas públicas em diversas esferas, o próprio sistema cria ciladas que podem comprometer a sua viabilização. Quando se simplifica a questão, por uma ênfase discursiva na mensuração do desempenho de alunos, corre-se o risco de responsabilizá-los (bem como a seus professores e a suas escolas), obliterando o dever do Estado em garantir uma educação de qualidade. Tal movimento é reforçado por uma leitura psicologizante do desenvolvimento e apresenta-se como um mecanismo de segregação e exclusão pedagógica.

Este artículo analiza, por medio de un enfoque foucaultiano, las incongruencias del discurso sobre la calidad de la educación en Brasil a partir de dos instrumentos de verificación: el Índice de Desarrollo de la Educación Básica y el Programa Internacional de Evaluación de Estudiantes. A pesar del destaque para la necesidad de mejorar los procesos de escolarización, con un avance de las discusiones y su constante inserción en la agenda de las políticas públicas en diversas esferas, el propio sistema crea celadas que pueden comprometer su viabilización. Cuando se simplifica la cuestión, por un énfasis discursivo en la mensuración del desempeño de los alumnos, se corre el riesgo de responsabilizarlos (así como a sus profesores y a sus escuelas), obliterando el deber del Estado de garantizar una educación de calidad. Tal movimiento es reforzado por una lectura psicologizante del desarrollo y se presenta como un mecanismo de segregación y exclusión pedagógica.

This paper analyzes, under a foucauldian framework, the incongruences of the discourse on education quality in Brazil, based on two assessment tools: the Basic Education Development Index and the Programme for International Student Assessment. Despite the emphasis on the need for improvements on the schooling processes, given how the discussions have advanced and how they are often part of the agenda pertaining to public policies in numerous spheres, the system itself sets pitfalls that can jeopardize their implementation. When the issue is simplified, by means of a rhetoric emphasis placed on measuring the students performance, there is a risk of putting the blame on them (as well as their teachers and schools), negating the states duty in guaranteeing quality education. Such movement is reinforced by a psychologizing take on development, presenting itself as a way of pedagogical exclusion and segregation.

Avaliação de professores: uma questão de escolhas

O artigo apresenta uma revisão da literatura sobre a avaliação de professores, destacando os diferentes objetivos, critérios e instrumentos que podem ser utilizados na construção de novas propostas. As alternativas disponíveis refletem concepções muitas vezes divergentes, o que pode repercutir em enfrentamentos durante o processo de tomada de decisões. Ainda assim, é grande o consenso em relação à necessidade desse processo ser o mais participativo possível, sendo ressaltada a importância do envolvimento dos professores. Outro consenso encontrado na bibliografia refere-se à superioridade das iniciativas que empregam mais de um instrumento avaliativo, possibilitando uma análise mais completa do trabalho docente.

El artículo presenta una revisión de la literatura sobre la evaluación de profesores, destacando los distintos objetivos, criterios e instrumentos que es posible utilizar en la construcción de nuevas propuestas. Las alternativas disponibles reflejan concepciones muchas veces divergentes, lo que se puede convertir en enfrentamientos durante el proceso de toma de decisiones. Aun así, es grande el consenso en relación a la necesidad de que este proceso sea lo más participativo posible, subrayándose la importancia del involucramiento de los profesores. Otro consenso encontrado en la bibliografía se refiere a la superioridad de las iniciativas que emplean más de un instrumento evaluativo, posibilitando un análisis más completo del trabajo docente.

This paper presents a literature review on teacher evaluation, highlighting the different objectives, criteria, and tools that can be used in elaborating new proposals. The available alternatives will oftentimes reflect diverging conceptions, which may result in conflicts during the decision-making process. Despite that, there is considerable consensus as to the necessity for such process to be as participative as possible, the teachers involvement being paramount. Another consensus found in the bibliography refers to the superiority of ideas that make use of more than one evaluation tool, allowing for a more thorough analysis of the teachers work.

Indicadores e avaliação educacional: percepções e reações a políticas de responsabilização

Este artigo analisa oito grupos focais, dos quais participaram 27 gestores escolares e 36 professores das redes municipais de ensino dos municípios vizinhos Rio de Janeiro e Duque de Caxias, no Estado do Rio de Janeiro. O objetivo é conhecer a percepção dos profissionais do ensino fundamental acerca das influências das avaliações externas no currículo escolar. Além de participar da Prova Brasil, ambos os municípios implementaram um sistema próprio de avaliação. O Rio de Janeiro tem uma política de bonificação salarial para os profissionais cujas escolas atingirem metas estabelecidas pela Prefeitura, ao passo que Duque de Caxias não promove políticas de alto impacto. Abordamos a discussão atual sobre as avaliações externas, bem como a discussão sobre o currículo nesse contexto. Ao final, problematizamos as abordagens que sugerem que as avaliações vêm constrangendo o trabalho docente e promovendo o estreitamento do currículo escolar.

Este artículo analiza ocho grupos focales, en los cuales participaron 27 gestores escolares y 36 profesores de las redes municipales de enseñanza de los municipios vecinos Rio de Janeiro y Duque de Caxias, en el estado del Rio de Janeiro. El objetivo es conocer la percepción de los profesionales de la educación básica acerca de las influencias de las evaluaciones externas en el currículo escolar. Además de participar en la Prueba Brasil, ambos municipios implementaron un sistema propio de evaluación. Rio de Janeiro posee una política de bonificación salarial para los profesionales cuyas escuelas alcancen metas establecidas por la Alcaldía, al paso que Duque de Caxias no promueve políticas de alto impacto. Abordamos la actual discusión sobre las evaluaciones externas, así como la discusión sobre el currículo en dicho contexto. Al final, problematizamos los abordajes que sugieren que las evaluaciones vienen perjudicando el trabajo docente y promoviendo el estrechamiento del currículo escolar.

This paper analyzes eight focal groups, comprising 27 school managers and 36 teachers from public schools of the Rio de Janeiro state municipalities of Rio de Janeiro and Duque de Caxias. The objective is to know how elementary school professionals perceive the influences of external evaluations on the school curriculum. Besides taking part in the Prova Brasil nationwide test, both municipalities have implemented their own assessment system. Rio de Janeiro offers a bonus payment to professionals whose school meets the goals set by the local prefecture, whereas Duque de Caxias does not promote high impact policies. We approach the current discussion on external evaluations as well as the one on the curriculum in such context. Lastly, we discuss the approaches that suggest that those evaluations have been restricting teachers and narrowing the curriculum.

Rankings na educação superior: As melhores faculdades do Brasil (1982-2000)

Este artigo aborda o estudo do extinto ranking Melhores Faculdades, o primeiro no campo da educação superior brasileira, criado em 1981 e editado anualmente, por dezenove anos, pela revista masculina Playboy. Foca o funcionamento e a metodologia desse ranking a partir de uma revisão bibliográfica e documental, envolvendo artigos científicos, notícias de jornal, depoimentos de autoridades universitárias publicados em portais da internet e, sobretudo, a análise de suas edições. Partindo da contextualização teórica sobre os rankings acadêmicos, o artigo revela a metodologia adotada pelo ranking em questão, baseada principalmente nas opiniões de chefes de recursos humanos de grandes empresas e diretores dos cursos avaliados, demonstrando a predominância de um grupo de instituições da região Sudeste como responsáveis pelos cursos de melhor qualidade e acenando para, apesar das críticas, a aceitação dos rankings como referenciais de qualidade pelos gestores universitários.

Este artículo aborda el estudio del extinto ranking Melhores Faculdades, el primer en el campo de la educación superior brasileña, creado en 1981 y editado anualmente, durante 19 años, por la revista masculina Playboy. Enfoca el funcionamiento y la metodología de dicho ranking a partir de una revisión bibliográfica y documental, involucrando artículos científicos, noticias de periódicos, testimonios de autoridades universitarias publicados en portales de Internet y, sobre todo, el análisis de sus ediciones. Partiendo de la contextualización teórica sobre los rankings académicos, el artículo revela la metodología adoptada por el mencionado ranking, basada principalmente en las opiniones de jefes de recursos humanos de grandes empresas y directores de los cursos evaluados, demostrando el predominio de un grupo de instituciones de la región Sudeste como responsable por los cursos de mejor calidad y señalando, a pesar de las críticas, la aceptación de los rankings como referentes de calidad por los gestores universitarios.

This paper presents a study on the now defunct ranking Melhores Faculdades (Best Colleges), the first of its kind in the Brazilian higher education field, created in 1981 and issued on an yearly basis, over the course of 19 years, by the Playboy mens magazine. We focus on the workings and the methodology of said ranking, based on a bibliography and literature review, comprising scientific papers, newspaper articles, university authorities accounts published on web portals, and, most importantly, the magazine issues themselves. Following the theoretical contextualization of the academic rankings, this paper reveals the methodology adopted by the ranking in question, based primarily on the opinions of chief human resources officers of large companies as well as the headmasters of the evaluated courses, highlighting a group of institutions from Brazils Southeast Region as the one with the highest quality courses, paving the way for the acceptance of rankings as quality assessment tools by university managers, despite the criticism.

Fatores associados ao desempenho dos concluintes de Engenharia no Enade 2011

Este artigo busca identificar, com dados do Enade (Exame Nacional de Desempenho de Estudantes) 2011 e por meio de modelagens hierárquico-lineares, fatores associados ao desempenho dos novos engenheiros formados no Brasil. Objetiva-se fornecer aos gestores das instituições e aos formuladores de política de ensino superior indícios sobre o que se mostra mais relevante na formação nas engenharias, principalmente no que concerne a fatores suscetíveis à tomada de decisão. Os resultados reforçam a percepção geral de que cursos seletivos de instituições públicas se destacam na formação de engenheiros, mas também apontam a importância, em muitos cursos, da disponibilidade do professor para atendimento fora do horário de aula. Na média, aferiram desempenho melhor os alunos que cursaram o ensino superior na idade correta e que fizeram o ensino médio em escolas públicas, os alunos do sexo masculino e os que se declararam brancos.

Este artículo intenta identificar, con datos del Enade (Exame Nacional de Desempenho de Estudantes) 2011 y por medio de modelos jerárquico-lineales, factores asociados al desempeño de los nuevos ingenieros graduados en Brasil. El propósito es el de ofrecer a los gestores de las instituciones y a los formuladores de políticas de educación superior indicios sobre qué se muestra más relevante en la formación en las ingenierías, sobre todo en lo que concierne a factores susceptibles a la toma de decisión. Los resultados refuerzan la percepción general de que cursos selectivos de instituciones públicas se destacan en la formación de los ingenieros, pero también en muchos cursos se pone de manifiesto la importancia de la disponibilidad del profesor para atender a los estudiantes fuera del horario de clase. En su promedio, demostraron mejor desempeño los alumnos que frecuentaron la educación superior en la edad correcta y que hicieron su educación media en escuelas públicas, los alumnos del sexo masculino y los que se declararon blancos.

This article seeks to identify, based on the Enade (Exame Nacional de Desempenho de Estudantes) 2011 and by using hierarchical linear modelling, factors associated to new graduate engineers achievements. Our objective is to provide both institution managers and higher education policymakers with evidence on what is most relevant over the course of the Engineering course, especially with regard to factors relevant to decision-making. The results reinforce the general perception that the higher entry-level courses found in public universities stand out when it comes to how qualified the engineers are when they get their degree, but the results also point to the importance, in many courses, of how available professors are to meet students during off-class time. On average, the students that achieved the best results were the ones who attended college while in the correct age group and went to public high schools, who were male and who reported to be white.

Aplicação da Teoria da Resposta ao Item uni e multidimensional

Este trabalho mostra a aplicação de modelos da teoria da resposta ao item unidimensional e multidimensional numa prova multi e interdisciplinar usada em um processo seletivo de ingresso na universidade. Mesmo sendo esta uma prova composta por itens das diversas disciplinas do ensino médio, foi possível ajustar um modelo unidimensional da teoria da resposta ao item e construir uma escala pedagogicamente interpretável. Entretanto, com a abordagem multidimensional, foi possível identificar três traços latentes predominantes: raciocínio lógico, compreensão de texto e proficiência em inglês. O artigo relata também alguns ensaios realizados com o posicionamento e avaliação de itens no plano formado pelos traços latentes raciocínio lógico e compreensão de texto, assuntos ainda incipientes nos estudos de avaliação educacional.

Este trabajo muestra la aplicación de modelos de la teoría de la respuesta al ítem unidimensional y multidimensional en un test multi e interdisciplinario utilizado en un proceso selectivo de ingreso a la universidad. Aunque el test estuviera compuesto de ítems de las diversas asignaturas de la educación media, fue posible ajustar un modelo unidimensional de la teoría de la respuesta al ítem y construir una escala pedagogicamente interpretable. Sin embargo, con el abordaje multidimensional, fue posible identificar tres rasgos latentes predominantes: razonamiento lógico, comprensión de texto y dominio en idioma inglés. El artículo relata asimismo algunos ensayos realizados con la posición y evaluación de ítems en el plano formado por los trazos latentes razonamiento lógico y comprensión de texto, temas todavía incipientes en los estudios de evaluación educacional.

This paper presents the application of unidimensional and multidimensional item response theory models on a multi- and interdisciplinary test that was part of a college admission process. Even though the test comprised contents from the many high school subjects, we have managed to set up a unidimensional model of the item response theory and establish a pedagogically sound scale. However, by using the multidimensional approach, we have managed to identify three predominant latent traits: logical reasoning, reading comprehension and proficiency in English. This paper also reports on some trials carried out with the positioning and the assessment of items in the intersection of the logical reasoning and reading comprehension latent traits, both still recent additions to the educational assessment studies.

Avaliação de aulas por crianças: reflexões sobre suas aprendizagens

O objetivo deste estudo foi analisar quais tipos de aprendizagens foram valorizados por estudantes que participaram de uma sequência didática com o gênero reportagem. Com base na perspectiva sociointeracionista de ensino da língua, defendemos a avaliação na perspectiva formativa-reguladora, focando o aluno como agente da avaliação. Foram observadas 23 aulas de duas professoras e realizadas entrevistas com 51 estudantes. Foram identificados seis tipos de respostas relativas aos conteúdos/habilidades apreendidos (aprendizagens efetivadas), sendo quatro mais relacionados aos eixos do ensino da língua e dois mais gerais, relativos à ampliação de conhecimentos e à aprendizagem da importância de aprender. Observamos que as crianças refletiram sobre suas próprias aprendizagens e avaliaram de forma relevante os conhecimentos apropriados e habilidades desenvolvidas durante a sequência.

El objetivo de este estudio fue analizar qué tipos de aprendizajes fueron valorizados por estudiantes que participaron en una secuencia didáctica con el género reportaje. En base a la perspectiva sociointeraccionista de enseñanza de la lengua, defendemos la evaluación desde la perspectiva formativareguladora, enfocando al alumno como agente de la evaluación. Se observaron 23 clases de dos profesoras y se realizaron entrevistas con 51 estudiantes. Se identificaron seis tipos de respuestas relativas a los contenidos/habilidades aprehendidos (aprendizajes efectuados), siendo cuatro de ellos más relacionados con los ejes de la enseñanza de la lengua y dos más generales, relativos a la ampliación de conocimientos y al aprendizaje de la importancia de aprender. Observamos que los niños reflexionaron sobre sus propios aprendizajes y evaluaron de forma relevante los conocimientos apropiados y las habilidades desarrolladas durante la secuencia.

The objective of this study was to analyze which types of learning were valued by students participating in a didactic sequence on the report genre. Based on the social interactionist theory for language teaching, we defend evaluation under formative assessment and self-regulated learning, focusing on the learner as the agent of evaluation. We have observed 23 classes of two teachers and carried out interviews with 51 students. We have identified six types of answer pertaining to the contents/skills learned (effectively learned), of which four were more closely related to language learning and two were more general (about furthering ones knowledge and learning the importance of learning). We have noted that the children pondered about their own learning, and evaluated in a mindful manner the acquired knowledge and the skills developed during the sequence.