top of page
Ana Luiza Santos e Edgar Jacobs

Crianças que usam ChatGPT durante estudos têm pior desempenho

Instintivamente, assimilamos a ideia de que se um estudante não lê, não pesquisa, não reescreve o que entendeu, provavelmente terá maiores dificuldades de aprender determinado conteúdo ou de reorganizar os pensamentos, ficando aquém de suas capacidades  cognitivas. É uma compreensão adquirida por meio de observação, vivência e experimentação.


Lado outro, hoje, com o fácil acesso à IA generativa, o que vemos e percebemos é o uso constante desta tecnologia pelos estudantes como apoio nos estudos.


E aí que chegamos ao ponto crucial da questão. O uso da IA generativa pode ser benéfico, mas ele necessita e se beneficia da supervisão humana. Isto porque a sua capacidade de criar um conteúdo original importa que ela possa produzir um resultado inesperado ou até mesmo errôneo, o que exige uma revisão cuidadosa.


E se parece certo que um estudante imaturo não está preparado para isto, como serão, então, os impactos da IA generativa em sua vida escolar? Quanto de leitura, pesquisa e escrita próprias o ChatGPT vai retirar do estudante? Quanto de benefício e prejuízo pode ser contabilizado neste processo? Uma experiência recente (e pontual) numa escola secundária fornece um alerta.


Pesquisadores  da Universidade da Pensilvânia compararam o progresso em matemática de quase 1.000 estudantes turcos do ensino médio que tiveram acesso ao ChatGPT enquanto praticavam problemas de matemática.


Eles descobriram que estes estudantes tiveram pior desempenho em um teste de matemática em comparação com alunos que não tiveram acesso à tecnologia. Aqueles alunos que se utilizavam do  ChatGPT resolveram 48% mais problemas práticos corretamente, mas, ao final,  obtiveram pontuação 17% pior em um teste referente à matéria sobre à qual estavam aprendendo.


Um terceiro grupo de alunos teve acesso a uma versão revisada do ChatGPT que funcionava de forma similar a um tutor. Este chatbot foi programado para fornecer dicas sem divulgar diretamente a resposta. Os alunos que o utilizaram tiveram um desempenho superior nos problemas práticos, resolvendo um volume bem maior  corretamente em comparação com os alunos que realizaram seus trabalhos práticos sem auxílio de alta tecnologia. Contudo, em teste posterior, mais uma vez, os alunos orientados por IA não se saíram melhor. Ou seja, os alunos que resolveram os problemas práticos  por conta própria igualaram as notas nos testes finais.


Prejuízo à aprendizagem


Os pesquisadores pretendem deixar claro para pais, professores e gestores escolares que a atual safra de chatbots de IA disponíveis (muitos gratuitamente) pode inibir substancialmente a aprendizagem. E mesmo a versão aprimorada do ChatGPT, desenvolvida para  arremedar um tutor, não irá, necessariamente, colaborar no processo de ensino e aprendizagem.


Os estudos demonstram que a questão é que os estudantes por vezes usam o chatbot como muleta. A tecnologia vem sendo usada para entregar respostas prontas para perguntas que deveriam ser objeto de pesquisa e análise mais elaboradas, o que permitiria o desenvolvimento de habilidades que redundam em conhecimento e desenvolvimento da capacidade de resolução de problemas por conta própria.


Os erros do ChatGPT também podem ter contribuído para um grupo de estudantes. É que o chatbot só respondeu corretamente aos problemas de matemática na metade das vezes. Seus cálculos aritméticos estavam errados em 8% das vezes e um grande  problema era sua abordagem passo a passo sobre como resolver um problema, errada em 42% das vezes. A versão tutoria do ChatGPT foi alimentada diretamente com as soluções corretas e, portanto, teve os erros minimizados.


A pesquisa


O texto desta pesquisa sobre o experimento foi publicado no site da SSRN, conhecida como Social Science Research Network (em tradução livre, Rede de Pesquisa em Ciências Sociais), em julho de 2024. O título original em inglês é “Generative AI Can Harm Learning” (IA generativa pode prejudicar a aprendizagem).


Obviamente, esta é somente uma experiência realizada em outro país e ambiente de estudos, sendo necessárias mais investigações para confirmar as conclusões obtidas. Todavia, foi uma experiência  grande, que não pode ser desprezada. Ela envolveu quase mil alunos  durante o ano de 2023.


Os professores, inicialmente,  revisaram uma lição previamente ensinada com toda a sala de aula e, em seguida, as salas de aula foram designadas aleatoriamente para praticar matemática em uma das três maneiras seguintes:


  • com acesso ao ChatGPT;

  • com acesso a um tutor de IA desenvolvido pelo ChatGPT; e

  • sem nenhum auxílio de alta tecnologia.


Os alunos de cada série receberam os mesmos problemas práticos, com ou sem IA. Posteriormente, fizeram um teste com cada grupo para ver qual havia sido o grau de retenção do conteúdo, ou seja, se apreenderam bem o conceito. Os pesquisadores conduziram quatro ciclos deste processo, permitindo aos alunos quatro sessões de 90 minutos de prática em quatro tópicos diferentes de matemática para entender se a IA tende a ajudar, prejudicar ou não fazer nada.


O ChatGPT aparentemente também produz excesso de confiança nos alunos. Nas pesquisas que acompanharam o experimento, os alunos disseram que não achavam que o ChatGPT os fizesse aprender menos, apesar de terem aprendido. Os alunos com o tutor de IA também pensaram que tinham se saído significativamente melhor no teste, embora não o tenham feito.


Inclusive, são resultados interessantes para que todos nos lembremos de que nossas percepções sobre o quanto aprendemos, dentre outras tantas coisas, estão muitas vezes erradas, como bem ressaltado na reportagem do The Hechinger Report que publicou o texto Kids who use ChatGPT as a study assistant do worse on tests (Crianças que usam ChatGPT como assistente de estudo têm pior desempenho nos testes em livre tradução).


Piloto automático


Os autores do estudo compararam o problema de aprendizagem utilizando-se do ChatGPT com o uso do piloto automático na aviação.


Eles relataram como a dependência excessiva do piloto automático levou a Administração Federal de Aviação americana a recomendar que os pilotos minimizassem o uso dessa tecnologia. Os reguladores queriam garantir que os pilotos ainda soubessem voar quando o piloto automático não funcionasse corretamente. A questão é mundial e também é discutida em nosso território:  o Sindicato Nacional dos Aeronautas brasileiros já alertou que a dependência excessiva na automação pode ser considerado prejudicial à segurança operacional nos voos comerciais.



Regulamentação


A IA generativa – o ChatGPT em específico - não será a primeira tecnologia a apresentar uma compensação na educação. Máquinas de escrever e computadores já reduziram nossa necessidade de escrita à mão e as calculadoras reduziram a necessidade das contas matemáticas. A questão destas últimas tecnologias é que elas não prejudicaram nossa capacidade de aprender.


Por outro lado, as ferramentas que podem produzir resultados bastante semelhantes aos produzidos por humanos -  incluindo textos acadêmicos – já estão à disposição dos estudantes há um certo tempo e proibir sua utilização provavelmente não surtirá qualquer efeito.  


O ideal é que, com uma postura crítica, os gestores das instituições de ensino tomem a frente da situação, decidam sobre a implantação e implementação de processos e tecnologias mais adequados às suas instituições e forneça a orientação a  professores e alunos sobre seu uso ético.


Inclusive, é ideal que as escolas não se furtem a debater, gerenciar e regular o assunto; afinal, sem direção institucional adequada,  a tendência é que as tecnologias sejam incorporadas aos sistemas educacionais de maneira não planejada, com implicações incertas e consequências não desejadas.


Leia também





Gostou deste texto? Faça parte de nossa lista de e-mail para receber regularmente materiais como este. Fazendo seu cadastro você também pode receber notícias sobre nossos cursos, que oferecem informações atualizadas e metodologias adaptadas aos participantes.

 

Parceria ILAPE - Jacobs Consultoria. e Ensino. O Edital do Programa Mais Médicos foi modificado. São dias a mais para preparar seus projetos. Quer saber como? Entre em contato.

 

Temos cursos regulares já consagrados e modelamos cursos in company sobre temas gerais ou específicos relacionados ao Direito da Educação Superior. Conheça nossas opções e participe de nossos eventos.

 

17 visualizações

Posts recentes

Ver tudo

Comments


bottom of page