Introdução

Ensinar é um processo intencional, para o qual os propósitos a serem alcançados devem ser bem definidos (^{Krathwohl, 2001}). A definição clara e estruturada de objetivos instrucionais, considerando a aquisição de conhecimentos e habilidades a serem desenvolvidas, irá direcionar o processo de ensino para a escolha apropriada de estratégias, métodos, instrumentos de avaliação e, consequentemente, para uma aprendizagem eficaz e duradoura (Ferraz; Belhoti, 2010). Na perspectiva de ^{Hattie (2017}), qualquer ação instrucional deve contemplar objetivos superficiais, conceituais e profundos, numa combinação harmônica de acordo com a decisão do professor, que, por sua vez, se baseia em como sua aula ou disciplina atende ao currículo. ^{Hattie (2017}), ainda descreve que os objetivos precisam ser detalhados em curto prazo - para uma única aula ou parte dela -, e a longo prazo - para uma sequência de aulas -, especificando a relevância e eficiência da complexidade de aprendizagem pretendida.

Contudo, alguns objetivos acabam não sendo definidos explicitamente, podendo comprometer os resultados esperados. Pois, embora não sejam formalizadas, as aspirações implícitas do professor farão parte do processo de ensino e aprendizagem, gerando um desalinhamento entre o currículo, planejamento, métodos e, principalmente, a avaliação. Como resultado, é possível que haja frustração por parte dos estudantes por desconhecerem o que é esperado deles, repercutindo em desempenho insatisfatório para aprovação, ou, ainda que haja aprovação, as habilidades desenvolvidas não atinjam um nível de complexidade desejável. Corroborando com este entendimento, Ferraz e Belhoti (2010) afirmam que, usualmente, os objetivos implícitos ou aqueles não alcançados estão relacionados a aspectos cognitivos, especificamente ao nível de maturidade do conhecimento.

Assim, há necessidade de ferramentas que ajudem o professor a definir claramente os objetivos instrucionais, bem como os princípios de avaliação. Atendendo a esta necessidade, pesquisadores educacionais vêm criando ferramentas e estratégias, como as taxonomias cognitivas (^{Mol; Matos, 2021}). Dentre as taxonomias mais referenciadas e disseminadas, destaca-se a taxonomia dos objetivos educacionais de Bloom, elaborada a partir do trabalho de uma comissão multidisciplinar de especialistas de várias universidades dos EUA na década de 1950, tendo Benjamim Bloom como líder desta comissão multidisciplinar (^{Bulegon, 2011}). Carneiro (2018) a descreve como um framework pedagógico para determinar quão difícil cognitivamente pode ser uma atividade, possibilitando prever quais habilidades cognitivas são apropriadas para uma tarefa a ser executada, dessa forma, norteando ao planejamento das atividades instrucionais.

Com propósitos semelhantes, há outras taxonomias desenvolvidas e a disposição de educadores, como a taxonomia de Dave, que descreve hierarquias e ações que facilitam a aquisição de habilidades psicomotoras (Costa et al, 2018). ^{Mol e Matos (2021}) também descrevem a Taxonomia de Marzano, baseada na relação entre o processo mental e o tipo de conhecimento requerido e a Taxonomia de Profundidade do Conhecimento (Depth of Knowledge), que categoriza atividades de acordo com o nível de complexidade do pensamento. Destaca-se também a taxonomia Solo, um acrônimo para Structure of Observing Learning Outcome. A taxonomia Solo foi desenvolvida por Biggs e Collis em 1982 (^{Biggs; Collis, 1982}), idealizada para avaliar a qualidade dos resultados de aprendizagem, especificamente com objetivo de verificar a complexidade destes resultados, observando quais aspectos de uma atividade os alunos dominaram. Entretanto, ela também permite ser empregada para outros fins, como na elaboração de itens/tarefas, na avaliação dos alunos, na formação de professores e como metodologia de pesquisa (^{Hattie, 2004}).

Buscando explorar a viabilidade e possíveis benefícios destas taxonomias, especificamente a Solo e a de Bloom, este estudo propõe a implantação dessas taxonomias no planejamento instrucional do tema Aprendizado de máquina, contemplando uma sequência de aulas dentro da disciplina de Inteligência Computacional do curso de bacharelado em Ciências da Computação da Universidade do Estado de Mato Grosso. Tem-se como objetivo metodológico definir o nível de compreensão esperado dos alunos acerca dos conteúdos adjacentes a esta unidade de aprendizagem, de forma a amparar o planejamento de ensino. Para tanto, foi realizada a estruturação e planejamento do ensino de Aprendizado de máquina amparada pelas taxonomias de Bloom e Solo, correlacionando todas as especificidades previstas para esse componente com os níveis previstos em ambas as taxonomias. Posteriormente, o planejamento foi avaliado junto a quatro professores das disciplinas de Inteligência Computacional, quanto a completude, clareza e executabilidade do planejamento proposto.

Usualmente, os estudos que tratam sobre a aprendizagem em cursos superiores da área de tecnologia abordam as disciplinas com maiores ocorrências de reprovação, geralmente, na área de programação e, ocasionalmente, Cálculo e outras disciplinas ligadas à Matemática (^{Garcia et al, 2020}). Carrión (2018) até mesmo atribuí a dificuldade em aprender a programar às altas taxas de reprovações em cursos de Ciências da Computação, gerando, inclusive, frustração aos alunos de tal forma que ele decida abandonar o curso. Porém, o aprendizado de máquina tem figurado um campo emergente da Inteligência Computacional, demonstrando ao longo dos anos excelentes capacidades de aplicações em diversos domínios (^{Nieto, 2019}). Nesta mesma perspectiva, Cerri (2017) destaca que o Aprendizado de máquina cada vez mais está sendo aplicado com êxito para atender demandas do setor econômico, pesquisa científica e tecnológica, e na gestão pública possibilitando melhorias sociais.

Dessa maneira, esta temática constitui uma área na qual é desejável de que os egressos estejam habilitados em atuarem de modo efetivo, em consonância com as habilidades em lógica e programação. Isto posto, busca-se contribuir com o desenvolvimento pleno das habilidades e competências inerentes a esta unidade de aprendizagem, considerando que seja imprescindível garantir que os alunos desenvolvem o nível cognitivo máximo de compreensão acerca deste ensinamento.

Aprendizado de máquina

O Aprendizado de máquina é um campo emergente de inteligência artificial que, usando vários algoritmos, analisa informações e fornece uma compreensão mais rica dos dados contidos em um contexto específico (Helal, 2018). Akmeşe (2021) o define como o campo onde vários algoritmos são usados para que computadores possam realizar a função de aprendizado. O funcionamento desses algoritmos está associado a métodos probabilísticos e sua capacidade de descrever fenômenos a partir de dados disponíveis. Dessa maneira, técnicas de aprendizado de máquina processam dados e geram resultados que podem ser explicitando padrões, categorizando instâncias semelhantes, gerando regras de causa e efeito ou construindo modelos preditivos.

A sofisticação presente nas técnicas de aprendizado de máquina, o que as diferem de outros sistemas computacionais, reside no seu funcionamento pautado no raciocínio humano e sua capacidade de aprender e tomar decisões, de acordo com a concepção que se tem de como esse processo ocorre. Por exemplo, quando utilizamos informações de experiências passadas para tomar decisões atuais e futuras - aprendizado supervisionado - ou quando, mesmo sem experiências passadas, utiliza-se o entendimento de regras e observa-se padrões nos fatos para se formular uma decisão - aprendizado não supervisionado:

Em AM, computadores são programados para aprender com a experiência passada. Para tal, empregam um princípio de inferência denominado indução, no qual se obtêm conclusões genéricas a partir de um conjunto particular de exemplos. Assim, algoritmos de AM aprendem a induzir uma função ou hipótese capaz de resolver um problema a partir de dados que representam instâncias do problema a ser resolvido. Esses dados formam um conjunto, simplesmente denominado conjunto de dados. (^{Facelli et al, 2011}, p. 3)

As abordagens em aprendizado de máquina podem ser em aprendizado supervisionado, não supervisionado e por reforço, sendo as duas primeiras as abordagens mais populares. No aprendizado supervisionado devem ser fornecidos dados acerca do problema a ser tratado, espera-se que o algoritmo aprenda o padrão desses dados e preveja valores de saídas para novas entrada de dados futuras (^{Chamola, 2021}). No aprendizado não supervisionado, os dados fornecidos não são rotulados, classificados, em resumo, o analista não possui compreensão sobre a natureza ou padrão dos dados. Assim, esses algoritmos tentam diferentes técnicas para detectar padrões ou explorar a estrutura da informação (^{Chamola, 2021}).

O ponto forte das técnicas de aprendizado de máquina é que elas produzem algoritmos que podemos incorporar no processo de tomada de decisão (Akmeşe, 2021). Em geral, são utilizados para substituir atividades humanas repetitivas (Agrusti, 2019). Noutra perspectiva, soluções com aprendizado de máquina substituem e promovem desempenhos superiores, dada as limitações humanas na capacidade de analisar e avaliar imensas quantidades de dados, bem como fazê-lo a partir de dados de múltiplas fontes.

Todas as particularidades deste campo de estudo, vão ao encontro das necessidades dos problemas computacionais contemporâneos, em razão da imensurável quantidade de registros e processamentos realizado por sistemas computacionais existentes de forma ubíqua atualmente, promovendo um grande acúmulo de dados. Todavia, as maneiras tradicionais de armazenagem, classificação e inferência não são suficientes para tratar esse volume de formatos tão variados (^{Silva, 2019}). Sendo assim, é presumido que esta é uma área de demanda contínua, para a qual há uma necessidade de profissionais capacitados, configurando um perfil desejado aos egressos de cursos de tecnologia da informação.

Taxonomias de Bloom e de Solo

Historicamente, estas duas taxonomias tem origens semelhantes. A taxonomia de Bloom surgiu num contexto em que era desejável que os professores pudessem compartilhar itens de avaliação entre diversos professores, de forma que cada item seria capaz de medir o mesmo objetivo educativo (Carneiro, 2018). A taxonomia de Solo adveio de iniciativas dos pesquisadores ^{Biggs e Collis (1982}) em investigar atividades realizadas por alunos, de forma a discriminar qual complexidade da compressão demonstrada a cerca de um componente curricular (^{Hattie, 2004}). Ambas possuem características que as permitem amparar o planejamento de atividades instrucionais, elaboração de avaliações ou criação e avaliação de currículos.

Taxonomia de Bloom

A base da taxonomia são três grandes domínios que representam as possibilidades e aprendizagem do aluno: cognitivo, afetivo e psicomotor, os quais possuem subcategorias. ^{Bulegon (2011}), sintetiza estes três domínios da seguinte maneira:

O cognitivo, referindo-se, principalmente, ao conhecimento de conteúdos e ao desenvolvimento de habilidades intelectuais; o afetivo, envolvido no desenvolvimento geral dos estudantes como: comportamento, atitudes, responsabilidade, emoção e valores; o psicomotor, enfatizando habilidades motoras de manipulação de materiais, objetos, etc. que requeiram coordenação neuromuscular. (^{Bulegon, 2011}, p. 57)

O domínio cognitivo é o que foi mais aprofundado e amplamente difundido, tendo em vista o potencial que as ciências cognitivas têm demonstrado para a educação. Sua aplicabilidade está cada vez mais evidente, e ele estabelece os objetivos relacionados às lembranças e a concepção de competências e habilidades intelectuais (Bloom, 1977 apud Lacerda, 2017). Inicialmente, foram desenvolvidas seis categorias do domínio cognitivo: conhecimento; compreensão; aplicação; análise; síntese e avaliação. Elas são estruturadas de forma sequencial e cumulativa da mais simples para a mais complexa, de tal forma que toda categoria superior exige a contemplação plena da categoria que a precede.

Atualmente, é vigente a taxonomia de Bloom revisada publicada por ^{Krathwohl e Anderson (2001}), que, após 45 anos da primeira publicação da taxonomia, apresenta uma reestruturação da dimensão cognitiva. Como principais mudanças, destaca-se a nova estrutura das categorias cognitivas: lembrar; entender; aplicar; analisar; avaliar e criar. A concepção bidimensional do conhecimento agora é transversal a todos processos cognitivos e também é estruturada em categorias: factual; conceitual; procedural e metacognitivo. O quadro 1 apresenta uma descrição dos processos cognitivos e das dimensões do conhecimento. Nesta nova estrutura, cada objetivo educacional deve ser representado em duas dimensões. Para tanto, é definido uma tabela para a taxonomia revisada onde a dimensão conhecimento forma o eixo vertical, enquanto a dimensão processo cognitivo formaria o eixo horizontal, as interseções desses eixos formam as células nas quais qualquer objetivo pode ser classificado (Krathwohl; Anderson, 2001). Reitera-se que um objetivo pode ser classificado uma ou mais células. O quadro 2 exemplifica esta tabela.

Quadro 1 Taxonomia de Bloom: processos cognitivos e conhecimento. 

Processos cognitivos
Lembrar	Recuperando conhecimento relevante da memória de longo prazo.
Entender	Determinar o significado das mensagens instrucionais, incluindo comunicação oral, escrita e gráfica.
Aplicar	Realizar ou usar um procedimento em uma determinada situação.
Analisar	Dividir o material em suas partes constituintes e detectar como as partes se relacionam umas com as outras e com uma estrutura ou propósito geral.
Avaliar	Fazer julgamentos com base em critérios e padrões.
Criar	Juntar elementos para formar um todo novo e coerente ou fazer um produto original.
Dimensões do conhecimento
Factual	Os elementos básicos que os alunos devem saber para se familiarizar com uma disciplina ou resolver problemas nela.
Conceitual	As inter-relações entre os elementos básicos dentro de uma estrutura maior que os habilita a funcionar juntos.
Procedural	Como fazer algo; métodos de investigação e critérios para o uso de habilidades, algoritmos, técnicas e métodos
Metacognitivo	Conhecimento da cognição em geral, bem como consciência e conhecimento da própria cognição.

Fonte: compilado a partir de ^{Krathwohl e Anderson (2001}).

Fonte: compilado a partir de ^{Krathwohl e Anderson (2001}).

Quadro 2 Taxonomia de Bloom revisada 

Taxonomia Solo

A taxonomia Solo - Structure of Observed Learning Outcomes -, foi desenvolvida por meio da análise da estrutura das respostas de alunos às tarefas de avaliação em resposta a determinado corpo de informações ou conhecimento e identificação do tipo de pensamento exibida por extensas respostas escritas (^{Hattie, 2004}). Estas respostas são tidas como resultados de aprendizagem e a taxonomia propõe uma classificação cognitiva desses resultados como forma de avaliar o nível de conhecimento adquirido (^{Ladias, 2019}).

Da mesma forma que a taxonomia pode ser utilizada para avaliar os resultados da aprendizagem identificando o nível cognitivo em que um aluno está operando acerca de um domínio em um dado momento, ela pode ser utilizada para se planejar os resultados cognitivos os quais se pretende alcançar, norteando as metodologias a serem utilizadas para que o nível de conhecimento previsto seja alcançado. Como descrito por Biggs e Collis (1982), ela pode ser utilizada para analisar, desde as intenções do professor no início de um ciclo, até a intervenção pedagógica realizada após a avaliação, com o objetivo de corrigir os problemas detectados.

A taxonomia Solo classifica o nível de complexidade dos resultados de aprendizagem em cinco níveis, representados na figura 1 e descritos no quadro 3. Esses níveis também podem ser agrupados nas categorias de superfície - uniestrutiral e multiestrutural - e profunda - relacional e abstrato estendido. ^{Hattie (2004}) destaca que essas categorias correspondem ao nível de processamento da informação que o aluno realiza acerca da instrução recebida, em que o nível superficial é simples não exigindo relacionamentos, já o profundo exige processamentos cognitivos mais complexos. Ainda que, em princípio, é desejado que os alunos sejam capazes de realizar processamentos complexos, os autores ressaltam que quando professores propõem atividades e questionamentos de ordem superior, profunda, baseados num conhecimento superficial, o aprendizado pode ser mais significativo.

Fonte: compilado a partir de ^{Hattie (2004})

Figura 1 Estrutura da Taxonomia Solo 

Quadro 3 Descrição dos níveis da Taxonomia Solo. 

Nível	Descrição
Nível pré-estrutural	Nível em que é feita referência no uso de informações não relacionadas e desorganizadas que não faz sentido.
Nível não estrutural	O nível onde uma visão limitada é observada - principalmente um elemento ou aspecto é usado ou destacado - enquanto os outros componentes são omitidos e não há conexões significativas entre as partes envolvidas.
Nível multi-estrutural	Nível em que existe uma perspectiva multiponto vários elementos ou aspectos relevantes são usados - mas não há ligações significativas entre eles e nenhum a imagem completa foi formada.
Nível relacional	Nível em que existe uma perspectiva holística, onde as ligações entre as partes são percebidas e o significado das partes em relação ao todo é justificado e apreciado.
Nível de resumo estendido	Nível em que, além do características do nível correlacional acima mencionado, o conteúdo é tratado como uma instância de um caso mais geral

Fonte: compilado a partir de ^{Hattie (2004}).

Destaca-se que o nível pré-estrutural - quando o conhecimento demonstrado é equivocado -, é uma constatação realizada somente para a avaliação dos resultados da aprendizagem obtidos. Quando a taxonomia é utilizada para planejamento, esse nível não é utilizado, uma vez que nenhum professor há de planejar que algum aluno não aprenda nada.

Trabalhos relacionados

Diversas investigações exploram o uso dessas taxonomias educacionais aplicadas ao ensino e aprendizagem em Ciências da Computação, variando suas abordagens dentro do ciclo do planejamento, ensino, aprendizagem e avaliação. Eles são direcionados para a concepção e avaliação de um curso ou disciplina, ou para elaboração de materiais de ensino e de avaliação, e também focam na análise das respostas dos alunos às atividades realizadas.

^{Castro e Fisler (2017}) explora como avaliar as habilidades de alunos em design de projetos utilizando a Taxonomia Solo. Como metodologia, os alunos foram entrevistados e externaram suas experiências na realização de atividades de projeto de programas. Duas taxonomias são geradas, uma que descreve diferentes níveis de desempenho dentro de um conjunto de habilidades de design e outra que apresenta coleção de fatores que os alunos levantam quando trabalham com design de projetos. A particularidade deste trabalho é que o domínio abordado é transversal à diversas disciplinas do curso e a taxonomia é estruturada para todo o curso. Dessa maneira, os autores relatam que a taxonomia gerada assiste a avaliação de como as habilidades dos alunos são desenvolvidas na prática e também ampara a avaliação do currículo do curso acerca das habilidades de design de projetos desenvolvidas ao longo dele.

^{Imbulpitiya et al (2021}), examinam questões acerca de Modelagem de Banco de Dados avaliando que questões em atividades estão sendo aplicadas sobre o tema e em que medida os conceitos específicos são testados nas atividades. Para isso, é utilizada a taxonomia revisada de Bloom para classificar essas questões de atividades com relação à complexidade cognitiva. Após o avaliar 122 questões sobre o tema coletada de diferentes instituições, os autores concluíram que foram cobertos pelas questões os processos cognitivos de lembrar, compreender, aplicar e criar. Enquanto os processos de analisar e avaliar não foram desenvolvidos por nenhuma questão.

^{Shuhidan et al (2009}) utilizam a Taxonomia de Bloom e Solo num esforço para identificar as dificuldades de alunos iniciantes em programação a partir de atividades realizadas, classificar as questões no contexto das duas taxonomias. Foi utilizado a Taxonomia de Bloom para categorizar as questões de múltipla escolha e a de Solo pra categorizar códigos de programação. Os resultados apresentados apontam que as questões de múltipla escolha contemplaram somente os três primeiros níveis da taxonomia de Bloom original - conhecimento, compreensão e aplicação -, enquanto os níveis mais altos - análise, síntese e avaliação - não foram desenvolvidos. As questões dissertativas, as quais exigiam codificação, demonstraram contemplar três categorias Solo - uniestrutural, multiestrutural e relacional -, além da categoria pré-estrutural que demonstra que o aluno não possuía compreensão sobre a habilidade exigida na atividade. Também é destacada que atividades objetivas demonstraram serem capaz de contemplar somente os níveis mais baixos das taxonomias, enquanto as questões práticas desenvolveram os níveis mais altos.

^{Malik et al (2021}), avaliam a utilização da metodologia de ensino Adri - Approach, Deployment, Result, Improvement - (^{Malik e Coldwell-Neilson, 2017}), utilizada na disciplina de Introdução a Programação, e para isso utilizam a taxonomia Solo para mapear um alinhamento entre os conceitos serem tratadas nessa disciplina, com a metodologia Adri e as categorias da taxonomia Solo. Os autores relatam que a metodologia de ensino empregada demonstra contemplar todos os níveis da Taxonomia Solo, relacionando os níveis uniestrutural, multiestrutural com as etapas de Deployment e Improvement, o nível relacional com as etapas de Approach e Result, e o nível relacional estendido com a etapa de Improvement.

^{Zhang et al (2021}) usaram um modelo de aprendizagem de máquina capaz de classificar questões de programação de acordo com a taxonomia de Bloom original, utilizando como base o Canterbury QuestionBank. Depararam-se com um problema de desbalanceamento da base, devido a predominância de questões do nível inferior -conhecimento, compreensão e aplicação - em detrimento do nível superior - análise, síntese e avaliação -, este problema foi atribuído ao baixo desempenho do classificador que atingiu o percentual de 59,2% de acerto.

Proposta de estudo e metodologia

Propõe-se a implantação das taxonomias de Bloom e Solo no planejamento instrucional da unidade curricular Aprendizado de Máquina, contemplando uma sequência de aulas dentro da disciplina de Inteligência Computacional do curso de bacharelado em Ciências da Computação da Universidade do Estado de Mato Grosso. Almeja-se que a

utilização dessas taxonomias ampare o planejamento de ensino de forma que a promoção das habilidades inerentes a esta unidade curricular ocorra de forma plena, capacitando os egressos a atuarem utilizando os recursos de aprendizado de máquina.

Diferente da maior parte dos trabalhos relacionados, que abordaram os resultados de aprendizagem para categorizá-los dentro das taxonomias, este estudo contemplou o planejamento do ensino, categorizando os tópicos previstos dentro das categorias das taxonomias, descrevendo o nível de complexidade que os alunos devem alcançar para cada tópico. Optou-se por essas taxonomias por serem amplamente utilizadas em estudos relacionados ao curso de ciência da computação e suas disciplinas.

Após a estruturação da unidade curricular dentro das taxonomias, foi proposto buscar a percepção dos professores quanto a adequação e viabilidade da utilização destes recursos dentro da disciplina de Inteligência computacional para a unidade curricular de aprendizado de máquina.

Caracterização da unidade curricular

A unidade curricular de Aprendizado de Máquina é descrita isoladamente dentro da ementa da disciplina de Inteligência Computacional, no curso deste estudo o currículo não é orientado a habilidades e competências e o ementário não descreve em que profundidade deve ser abordado cada tópico da ementa. Assim, o aprofundamento foi definido baseado na premissa de que o egresso do curso possa utilizar essas habilidades na sua atuação profissional e que essa unidade só é abordada nesta disciplina, o que exige que todo processo de ensino e aprendizado relacionado a ela deve ocorrer durante a oferta da disciplina de Inteligência Computacional.

No Brasil, para os cursos superiores da área de tecnologia, a Sociedade Brasileira de Computação oferta um documento denominado Referenciais de formação para os cursos de graduação em Computação” (^{Zorzo, 2017}) para orientar estes cursos na concepção de seus currículos. Este documento é baseado nas diretrizes curriculares nacionais para estes cursos. Neste referencial de formação, a disciplina de Inteligência Computacional é relacionada a três habilidades e competências:

VI - Conceber soluções computacionais a partir de decisões visando o equilíbrio de todos os fatores envolvidos; X - Aplicar temas e princípios recorrentes, como abstração, complexidade, princípio de localidade de referência (caching), compartilhamento de recursos, segurança, concorrência, evolução de sistemas, entre outros, e reconhecer que esses temas e princípios são fundamentais à área de Ciência da Computação; XII - Aplicar os princípios de gerência, organização e recuperação da informação de vários tipos, incluindo texto imagem som e vídeo; (^{Zorzo, 2017}, p. 19)

Com base na ementa do currículo do curso, nos referenciais de formação para os cursos de graduação em Computação da SBC e na bibliografia prevista no programa da disciplina, foram elaborados sete tópicos previstos a serem tratados nesta unidade curricular. Posteriormente, esses tópicos foram desenvolvidos nas perspectivas da Taxonomia de Bloom e de Solo. Os tópicos são: Conceitos; Aprendizagem Supervisio-nada e Não-supervisionada; Modelos Descritivo, Classificação e Agrupamento; Processo de Descoberta de Conhecimento; Técnicas de Aprendizagem de Máquina: Associação, Árvores de Decisão, Redes Bayesianas, Regras, Aprendizagem baseada em exemplos (vizinho mais próximos) e Redes Neurais; Ferramentas e Algoritmos (Weka, Apriori, J48, JRIP, Random Forest, KNN, MultiLayer Perceptron, Naive Bayes, SVM); Aplicação.

Estrutura do planejamento de ensino nas taxonomias de Bloom e Solo

A partir dos tópicos definidos para a unidade curricular de Aprendizado de Máquina, foram desenvolvidos os objetivos a serem alcançados a cada tópico. Em seguida, foi realizada uma estruturação do desenvolvimento de cada tópico dentro das taxonomias de Bloom e de solo. Para a Taxonomia de Bloom, os objetivos específicos foram categorizados dentro da dimensão do conhecimento e dos processos cognitivos. Porém, o mesmo processo não foi realizado para a Taxonomia solo, pois suas características unidimensionais dificultou a representação de objetivos que se estendem por dois ou mais níveis de complexidade. Dessa maneira, para a Taxonomia Solo foram estruturados os níveis de complexidade a serem alcançados para cada tópico, utilizando uma descrição das habilidades requeridas para cada nível. A seguir, é apresentado o desenvolvimento dos objetivos específicos para cada tópico.

1) Conceitos: planeja-se que o aluno seja capaz de definir adequadamente o que é Aprendizado de Máquina, sabendo diferenciar dos campos de estudos da mineração de dados, big data e business intelligence. Para cumprir este tópico da unidade curricular foram definidos dois objetivos específicos: 1.1 Ser capaz de definir o campo de aprendizado de máquina. 1.2 Ser capaz de diferenciar aprendizado de máquina de mineração de dados, big data e business intelligence.

Taxonomia de Bloom: ambos os objetivos tratam de princípios básicos para familiarizar-se com a disciplina, assim são definidas como conhecimento factual. Contemplam os processos cognitivos de ‘Lembrar’ (1.1) e ‘Entender’ (1.2), pois caracterizam a recuperação de conhecimento e determinação de significado respectivamente.

2) Aprendizagem supervisionada e não-supervisionada: a compreensão do uso de dados para o aprendizado de máquina é primordial. Assim é necessário entender a abordagem sobre os dados quando o aprendizado será supervisionado ou não supervisionado. Dois objetivos específicos compõem este tópico: 2.1 Ser capaz de definir aprendizagem supervisionada e aprendizagem não -supervisionada. 2.2 Compreender o papel e a necessidade dos dados em soluções baseadas em AM.

Taxonomia de Bloom: o objetivo 2.1 é definido como conhecimento factual pois trata de descrição básica dos termos, enquanto o objetivo 2.2 exige o relacionamento das características dos tipos de aprendizagem com os resultados esperados e características dos dados e possíveis tratamentos e caracteriza um conhecimento conceitual. Quanto ao processo cognitivo, o objetivo 2.1 é categorizado como lembrar, por se tratar de definição, e o objetivo 2.2 como entender, pois, descreve a compreensão desses termos refletem em outros elementos do aprendizado de máquina.

3) Modelo descritivo, classificação e agrupamento: este tópico contempla a compreensão dos tipos de abordagens do uso das técnicas de aprendizado de máquina na resolução de diferentes tipos de problemas. Para este tópico são definidos três objetivos: 3.1 Diferenciar o funcionamento e resultados obtidos com modelos descritivos, de classificação ou de agrupamento. 3.2 Conhecer os termos cluster, modelos preditivos e associação. 3.3 Relacionar como cada um desses modelos se correlacionam com a aprendizagem supervisionada e não supervisionada.

Taxonomia de Bloom: figura-se como um tópico de compreensão de conceitos, tendo o objetivo 3.2 como conhecimento factual e os objetivos 3.1 e 3.3 como conhecimento conceitual. Da mesma forma, esses objetivos são categorizados em processos cognitivos de ordem inferior de ‘Lembrar’ (3.2) e ‘Entender’ (3.1 e 3.3).

4) Processo de descoberta de conhecimento: um equívoco comum é presumir que o campo do aprendizado de máquina se trata somente da aplicação de algoritmos. Uma importante etapa, senão a principal, é a preparação dos dados antes da aplicação dos algoritmos, neste quesito o AM herda uma característica do campo da mineração de dados, que é o processo de descoberta de conhecimento em base de dados, simplificado em AM como pré-processamento. Muitos procedimentos são previstos no pré-processamento, para uma adequada capacitação nesta tarefa são definidos dez objetivos específicos: 4.1 Conceber as etapas de pré-processamento antes da aplicação dos algoritmos de aprendizado de máquina. 4.2 Compreender o termo ‘atributo previsor’. 4.3 Avaliar como a seleção de atributos interfere diretamente na resolução do problema. 4.4 Ser capaz de identificar ruídos na base de dados, executar limpeza eliminando dados indesejados que interfiram negativamente nos resultados. 4.5 Ser capaz de identificar e eliminar atributos que não devem compor a base de dados para AM como cpf, endereço, id, nome, e-mail, telefone, dentre outros. 4.6 Ser capaz de identificar as transformações necessárias na base de dados. 4.7 Conhecer e ser capaz de utilizar métodos estatísticos na transformação dos dados. 4.8 Conhecer o termo ‘base desbalanceada’. 4.9 Compreender os problemas que podem ser gerados devido ao desbalanceamento de carga.4.10 Conhecer e ser capaz de utilizar métodos de balanceamento de carga.

Taxonomia de Bloom: compondo elementos básicos sobre o tema abordado neste tópico os objetivos 4.5, 4.8, 4.10, 4.2 são considerados factuais. Já os objetivos cuja compreensão requer o relacionamento com outros conhecimentos foram definidos como conhecimento conceituais, são os objetivos 4.6, 4.9, 4.1, 4.3, 4.4. Neste tópico, iniciam-se os objetivos que tratam da utilização de técnicas e métodos, assim são definidos como conhecimento procedural, e incluem os objetivos 4.10, 4.1, 4.7, 4.10, 4.3, 4.4. Estes conhecimentos fazem intersecção com os processos cognitivos, formando as células que caracterizam o objetivo educacional a ser alcançado. O objetivo 4.8 propõe apenas o conhecimento sobre o termo e por isso é categorizado como ‘Lembrar’. Os objetivos 4.1, 4.2, 4.9 e 4.10 são categorizados como ‘Entender’, pois tratam da compreensão do significado de conhecimentos em diferentes contextos dentro do AM. Sendo objetivos de aplicação práticas dos conhecimentos requeridos neste tópico, os objetivos 4.7 e 4.10 são definidos como ‘Aplicar’. O diferencial de qualidade do pré-processamento é a identificação de tratamentos necessários para favorecer o trabalho dos algoritmos e, principalmente, representar fidedignamente o problema a ser tratado. Sobre isso, enquadra-se os objetivos 4.5, 4.6, 4.3, 4.4 como processo cognitivo ‘Analisar’ e os objetivos 4.3 e 4.6 como ‘Avaliar’. Nota-se que alguns objetivos são categorizados em mais de um conhecimento ou processo cognitivo, isso indica que há diferenças da profundidade da abordagem dos objetivos. A tabela da Taxonomia, quadro 1, auxilia na compreensão desta dinâmica, pois possibilita uma perspectiva bidimensional para cada objetivo, e o entendimento de como é previsto a sua abordagem.

5) Técnicas de aprendizagem de máquina: associação, árvores de decisão, redes bayesianas, regras, aprendizagem baseada em exemplos, vizinho mais próximos, e redes neurais: são apresentadas as técnicas que propõe implementar o processo de aprendizado. São quatro objetivos: entender a diferença entre técnicas e algoritmos; entender o resultado gerado por cada uma das técnicas descritas; entender o funcionamento de cada uma das técnicas; associar as técnicas com os tipos de aprendizagem e os procedimentos de pré-processamento.

Taxonomia de Bloom: o objetivo 5.1 busca estabelecer o entendimento que técnica é a metodologia e o algoritmo é o que implanta a técnica, num relacionamento 1 para muitos, ou seja, uma técnica pode ser implantada por diversos algoritmos, enquanto um algoritmo só implanta uma técnica. Assim, é definido como conhecimento conceitual junto com o objetivo 5.2, que propõe a compreensão das saídas geradas pelas técnicas, e quando de fato cada técnica indica que o aprendizado ocorreu. Tratando da compreensão de métodos e técnicas passo a passo, o objetivo 5.3 é definido como conhecimento procedural. O primeiro objetivo como conhecimento metacognitivo surge neste tópico, o objetivo 5.4 é assim definido por promover uma reflexão acerca da consciência cognitiva do aluno, uma vez que essa associação requer uma convicção na experiência do aluno quanto ao pré-processamento realizado e como isso se relaciona com o problema a ser solucionado com AM, é esta consciência que possibilitará que o aluno defina a validade da solução proposta para cada técnica para um determinado problema. Quanto aos processos cognitivos, os objetivos 5.1, 5.2 e 5.3 caracterizam o processo cognitivo de ‘Compreender’, todavia, o objetivo 5.2 também é estendido para o processo cognitivo de ‘Analisar’ junto com o objetivo 5.4 que, por sua vez, se estende para ‘Avaliar’.

6) Ferramentas e Algoritmos (Weka, Apriori, J48, JRIP, Random Forest, KNN, MultiLayer Perceptron, Naive Bayes, SVM): uma vez que as técnicas são conhecidas, chega o momento de aplicá-las na prática, para isso será utilizado o framework Weka e utilizado bases de dados para testes. Os objetivos específicos são: 6.1 Conhecer a Ferramenta Weka. 6.2 Entender o funcionamento da ferramenta, sabendo operá-la desde a sua instalação. 6.3 Conhecer os algoritmos e suas respectivas técnicas. 6.4 Conhecer os modelos de avaliação. 6.5 Entender como funciona cada modelo de avaliação disponível no Weka. 6.6 Ser capaz de aplicar os algoritmos às bases de dados. 6.7 Entender as saídas de resultados dos algoritmos, especificamente a matriz de confusão. 6.8 Compreender as métricas de avaliação Acurácia, Precisão, Recall e Especificidade. 6.9 Ser capaz de definir qual melhor métrica pode ser aplicada a cada problema. 6.10 A partir das métricas e saída de resultados, avaliar se a seleção de atributos e pré-processamentos realizados foram adequados.

Taxonomia de Bloom: objetivando um conhecimento de compreensão contextual da ferramenta Weka, os objetivos 6.1, 6.4 e 6.5 são definidos como factuais. Já os objetivos 6.7 e 6.8 figuram um conhecimento conceitual por comporem conhecimentos da estrutura da ferramenta e aplicação de algoritmos de aprendizado de máquina. Compondo a parte prática deste tópico e desta unidade, os objetivos 6.2, 6.3, 6.6 e 6.9 são definidos como conhecimentos procedurais. Por fim, os objetivos 6.9 e 6.10 são definidos como metacognitivos por demandarem decisões inerentes ao perfil dos alunos e sua formalização interna do que é necessário medir para um problema e o quanto a busca por um alto valor de métrica não pode descaracterizar o problema a ser resolvido.

Trazendo somente uma descrição da ferramenta e um de seus recursos, os objetivos 6.1 e 6.4 são alocados no processo cognitivo de ‘Lembrar’. Discorrendo sobre o significado dos termos e exigindo, inclusive, analogias sobre os termos, os objetivos 6.3, 6.5 e 6.8 caracterizam o processo cognitivo de ‘Entender’. Propondo a execução da ferramenta com a aplicação dos algoritmos e dos passos necessários para isso, os objetivos 6.2, 6.3 e 6.6 são definidos como o processo de ‘Aplicar’. Os elementos a serem destacados para análise são abordados pelos objetivos 6.3 e 6.7, e assim compõe o processo de ‘Analisar’. Requerendo a utilização de critérios corretos para tomada de decisão acerca da avaliação dos procedimentos de aprendizado de máquinas realizados, os objetivos 6.9 e 6.10 são definidos como processo cognitivo de ‘Avaliar’.

7) Aplicações: ao final, espera-se que os alunos sejam plenamente capazes de aplicar o aprendizado de máquina e todos seus procedimentos na solução de problemas reais. Para tanto, ele deve ser capaz de discernir acerca da correta utilização de todos os recursos disponíveis para cada contexto. São quatro os objetivos específicos para este tópico: 7.1 Compreender os resultados obtidos com os algoritmos. 7.2 Ser capaz de abalizar o quanto os resultados obtidos respondem ao problema abordado. 7.3 Avaliar se os resultados obtidos podem ser incorporados ao processo de tomada de decisão. 7.4 Ser capaz de implementar uma solução baseada em aprendizado de máquina para algum problema.

Taxonomia de Bloom: os objetivos 7.1, 7.2 e 7.3 são definidos como conhecimento conceitual dado ao aspecto de compreensão e interação com outros conhecimentos desta temática. Todavia, o objetivo 7.1 estende-se para o conhecimento procedural pois não é somente a saída de um algoritmo que traz informações relevantes para o problema, os passos a passo dos algoritmos também geram informações que podem ser interpretadas. A mesma perspectiva se aplica ao objetivo 7.4 também definido como conhecimento procedural. Por fim, o objetivo 7.3 é estendido ao tipo de conhecimento metacognitivo, pois esta avaliação acerca da tomada de decisão envolve outros aspectos cognitivos que variam de um indivíduo (aluno) para outro.

Os objetivos 7.1 e 7.2 tratam do processo cognitivo de ‘Analisar’, pois trata de um entendimento sobre os resultados sobre diversos aspectos podendo, inclusive, decompor os resultados em demais partes. A utilização de critérios para avaliação faz com que o objetivo 7.3 se enquadre no processo cognitivo de ‘Avaliar’. Todavia, esse objetivo se une ao 7.4 no processo de ‘Criar’ pois representam a formalização de uma solução para um problema específico.

Na tabela 1, apresenta-se a distribuição dos objetivos específicos descritos anteriormente da Taxonomia de Bloom, de acordo com a dimensão do conhecimento e processo cognitivo especificado.

Percepção dos professores

Após esta estruturação da unidade curricular dentro das taxonomias, buscou-se avaliá-la no ponto de vista de professores. A instituição em que este curso foi realizado oferta quatro cursos com esta disciplina, sendo três de Ciências da Computação e um de Sistemas de Informação, dos quais quatro professores aceitaram participar do estudo. As entrevistas foram realizadas individualmente e cada participante recebeu, com uma semana de antecedência, a estruturação do conteúdo nas taxonomias de Bloom e Solo. Os aspectos avaliados foram: conhecimento das taxonomias utilizadas, conteúdo programático para a unidade curricular, compreensão da estruturação do conteúdo nas taxonomias e a viabilidade do seu uso no planejamento da disciplina.

Conhecimento das taxonomias utilizadas: apenas um professor alegou conhecer a Taxonomia Solo, enquanto os três demais relataram não a conhecer. Todos indicaram terem conhecimento da existência da Taxonomia de Bloom. Porém, apenas um relatou ter conhecimento sobre o uso de Bloom em metodologias de ensino. Ainda nesta perspectiva, todos afirmaram nunca terem utilizado, explicitamente, recursos como estes na concepção de disciplinas. Porém, afirmaram que as descrições realizadas na estrutura elaborada remetem, em partes, a suas preocupações no momento de elaborar o plano de ensino para o semestre. As seguintes declarações exemplificam essas percepções:

P4 - Nunca utilizei explicitamente essas taxonomias nos meus planejamentos de ensino. Mas, a estrutura é semelhante em partes com as preocupações que eu já tenho na hora de preparar o conteúdo. Mas, também, sinceramente, não abordo todos os conteúdos do ementário da mesma forma e profundidade. Sem ter um “protocolo” acabo tendendo o planejamento de ensino para o que julgo ser mais relevante ou aquilo que tenho um conhecimento mais profundo.

P1 - Olha, do ponto de vista conteudista, eu faço um planejamento parecido definindo o nível de profundidade de cada elemento do ementário, alguns de maneira mais superficial outros de forma mais abrangente. Porém, de fato não reflito nas habilidades que ele deve ter com cada conhecimento, como ele precisa e vai utilizar isso. Apenas penso “eles precisam ‘saber’ disso, saber daquilo.”

Conteúdo programático para a unidade curricular (completude): todos participantes consideraram o conteúdo programático como adequado. O participante P1 informou que não chega a se aprofundar tanto no conteúdo devido a limitação de carga horária. E o participante P3 ressaltou que trabalha estes conteúdos, mas eles se confundem com o conteúdo de Data Mining, que abordam basicamente as mesmas habilidades, divergindo somente no tópico 7 quando trata das aplicações. Houve ainda destaques acerca das divergências existentes ao se trabalhar Aprendizado de Máquina, retratadas das declarações dos participantes P2 e P3:

P2 - Concordo com todo conteúdo programático, mas já ministrei essa disciplina várias vezes, e agora que estou chegando nesse formato. De fato, confunde-se muito mineração de dados com aprendizado de máquina, big data dentre outros termos. Eu fui ajustando o conteúdo de acordo com o que percebi que os alunos estavam precisando em outras atividades como o TCC, por exemplo. Diferente de outras disciplinas do curso de Computação, onde os conteúdos já conhecidos e com a mesma abordagem por diferentes professores. O Aprendizado de Máquina é uma área nebulosa, cada professor aborda de uma maneira. Por isso, essa estruturação que me enviou é muito valiosa e pode ser algo a ser seguido pelo curso.

P3 - Essa disciplina é uma confusão mesmo, vejo isso nos alunos reprovados. Aqueles alunos que já estão realizando a disciplina pela segunda ou mais vezes porque reprovaram. Eles relatam que não estão “revendo” conteúdo nenhum, pois os professores anteriores tinham trabalhado outros conteúdos mesmo sendo a mesma disciplina. É preocupante.

Compreensão da estruturação do conteúdo nas taxonomias - clareza: os participantes relataram que enfrentaram dificuldades na compreensão. Porém, as dificuldades foram superadas e foi possível compreender com plenitude a descrição dos objetivos educacionais dentro das taxonomias. Os apontamentos indicam de que a Taxonomia Solo foi a de melhor compreensão e utilização, enquanto a de Bloom foi considerada mais complexa e confusa. As seguintes declarações descrevem essas percepções:

P1 - Não foi tão simples, mas deu de compreender sim. A Solo é bem mais simples e, a princípio, eu me vejo utilizando mais ela. A taxonomia Bloom parece mais poderosa, com mais detalhamentos, mas junto com isso vem mais dificuldades. A descrição do conteúdo em Solo, por exemplo, eu concordo com tudo, já na de Bloom eu precisaria explorar mais e realizaria ajustes em alguns itens.

P2 - Sim, está tudo claro. Embora a Taxonomia de Bloom é um pouco complexa. Mas, as duas tem muito potencial. Do ponto de vista do planejamento de ensino, quanto às aulas e matérias, a taxonomia Solo contempla tudo. Já pensando no planejamento das atividades, a taxonomia de Bloom é mais precisa e descreve todas as habilidades que deveremos cobrar em relação a esse tema, cabendo agora elaborar as atividades certas que contemplem tudo.

P3 - Assim pronto, foi fácil compreender. Mas elaborar tudo isso parece complexo, principalmente em Bloom que tem mais detalhes e possibilidades. Fiquei aqui imaginando essa estrutura em outras disciplinas minha. Essa tabela do Bloom é bem legal, funciona como um check list do que eles devem saber fazer ao final da disciplina, dá de fazer as provas pensando nesse quadro da Taxonomia de Bloom.

P4 - Entendi tudo sim, está bem claro e devidamente alinhado com o conteúdo previsto. Ficou muito bom. Acho que se o professor contemplar isso, o aluno estará apto a trabalhar com Aprendizado de Máquina em diversas situações. Penso que seria muito interessante trabalhar isso de forma ampla no curso. Os professores das disciplinas mais avançadas podem descrever o que desejam que os alunos sejam capazes de realizar, ou seja, o que eles devem ter aprendido em disciplinas anteriores. Basicamente, isso já existe de forma conteudista. Mas usando essa taxonomia é possível descrever o que de fato o aluno precisa saber fazer e em que profundidade. Por exemplo, o professor de Desenvolvimento Web pode descrever quais habilidades exigidas, e que o aluno deve aprender nas disciplinas de Banco de Dados e Redes, as quais serão utilizadas na disciplina de Desenvolvimento Web.

Viabilidade do seu uso no planejamento da disciplina (executabilidade): houve um consenso na declaração dos professores, de que a utilização dessas taxonomias, quando seguidas, estabelecem garantias de que a estratégia de ensino contemple todos os aspectos previstos de serem trabalhados sobre o tema, distribuindo adequadamente a ênfase dada a cada tópico do conteúdo programático. A declaração do participante P2 exemplifica essa percepção:

P2 - Só de ler o planejamento na taxonomia que você nos enviou, eu já percebo que deixei muita coisa passar quando trabalhei estes conteúdos. Na verdade, eu até planejei, mas na execução da disciplina ficou muita coisa de fora. “O que acontece?”, em um plano de ensino tradicional nos damos um “check” quando trabalhamos um conteúdo, e continuamos até cumprir a ementa. Porém com a taxonomia parece ser possível deixar claro com que profundidade cada conteúdo foi trabalhado, e só assim saber de verdade se a ementa foi cumprida.

Também foi citada pelo participante P3, a possibilidade do uso das taxonomias para descrição aos alunos:

P3 - Talvez fosse interessante tornar esse processo visível aos alunos, para que eles saibam o que é esperado deles. Isso também pode ajudar a eles relacionarem o conteúdo teórico com a atuação profissional prática deles.

Contudo, apesar das avaliações positivas, também houve um consenso quanto à dificuldade de estender a metodologia para toda disciplina, dada a dificuldade de estruturar todo conteúdo em qualquer uma das taxonomias. Mesmo com a importância e benefícios reconhecidos, os professores demonstrarem não disporem de tempo hábil para estender sua utilização:

P1 - Assim pronto é muito bom, me ajuda muito. Mas fazer isso para todos os conteúdos de todas as disciplinas é muito trabalho. Talvez se fazer aos poucos, consigo mapear tudo em alguns anos. Talvez se mobilizar os professores para produzir isso para o PPC, será importante para garantir o perfil de egresso que queremos. Porque, mesmo tendo as ementas cada professor dá a ênfase que desejar em cada conteúdo.

P4 - No momento não conseguiria fazer, mas seria ótimo isso no curso todo. Pois deixa o currículo transparente, é possível saber o que esperar dos alunos a cada semestre. Dou aula no 7º semestre, e há muitos alunos que chegam sem algumas habilidades que são necessárias nesta fase.

P3 - Vejo em um cenário ideal o PPC formalizado assim, até para garantir uma padronização mínima de aquisição de conhecimentos e habilidades. Eu deixei as disciplinas para assumir a coordenação do curso, quando voltei o professor substituto tinha conduzido a disciplina com ênfases bem diferentes da minha e refletiu negativamente nas disciplinas seguintes.

Em resumo, as avaliações, quanto a viabilidade e elaboração do instrumento, foram positivas. Constatou-se uma rica discussão, no que concerne a preocupação dos professores quanto a efetiva execução do currículo, de forma que estas taxonomias podem promover avanços nesse sentido. As percepções externadas pelos professores vão ao encontro da base teórica que fundamentam as taxonomias de Bloom e Solo, ou seja, nota-se que estas taxonomias estão alinhadas com dinâmicas de ensino vivenciadas pelos participantes, embora, na prática, elas não são implantadas explicitamente.

Considerações finais

Este trabalho explorou a utilização das Taxonomias Solo e de Bloom na concepção do planejamento de ensino, quanto aos objetivos educacionais, da unidade curricular Aprendizado de Máquina. Ambas as tecnologias suportaram com plenitude os níveis de profundidade estabelecidos para cada tópico e subtópico do conteúdo programático. A Taxonomia Solo demonstrou mais clareza na descrição, enquanto a de Bloom denotou um melhor detalhamento dos objetivos educacionais a serem alcançados. De acordo com os participantes, ambas proporcionaram uma clara compreensão dos objetivos educacionais a serem alcançados para esta unidade curricular. Destacando-se a

unanimidade no apontamento de que a taxonomia Solo é mais viável no planejamento das atividades de instrução, conteúdo e materiais e que a taxonomia de Bloom demonstrou ser mais adequada para o planejamento das atividades avaliativas.

Os resultados contribuem para a concepção dos aspectos cognitivos a serem desenvolvidos acerca da aquisição de conhecimento, habilidades e competências em Aprendizado de Máquina, bem como avaliam a utilização das duas taxonomias como instrumentos para amparar os professores em um planejamento de ensino eficaz para o tema. Cabe destacar que o curso de Ciência da Computação tem como característica a utilização de um aparato de recursos e técnicas baseadas em tecnologia da informação. Dessa maneira, demanda por metodologias que promovam uma efetiva congruência entre a teoria e prática e, principalmente, que tornem os estudantes aptos a vislumbrarem, de maneira inovadores, a solução de problemas utilizando os recursos e técnicas que dominam.

É evidente que as etapas realizadas contemplam somente o detalhamento e análise dos objetivos educacionais para o tema. A partir deles deve-se implantar metodologias de ensino que atinjam cada um dos objetivos estabelecidos, incluindo avaliações capazes de constatar o conhecimento e competências adquiridas.