Estudantes do Brasil dizem ser ético usar ChatGPT em tarefas

Os cientistas buscaram avaliar como estudantes e educadores avaliam o uso do ChatGPT. Além do Brasil, participaram do estudo Índia, Japão, Reino Unido e Estados Unidos, com cem educadores e 200 estudantes por país entrevistados.

O resultado visto no Brasil não chega a ser algo fora do padrão. Segundo os pesquisadores, foi observado um consenso geral entre educadores e estudantes de que o uso do ChatGPT nas escolas deveria ser reconhecido e que poderia aumentar a competitividade de estudantes que não são falantes nativos de inglês.

Ao olhar somente para os estudantes, foi visto um consenso de que, em seus empregos futuros, haverá a possibilidade de terceirizar tarefas simples para o ChatGPT, o que, supostamente, poderia permitir que eles se concentrem em partes mais criativas e substanciais de seus trabalhos.

Segundo o estudo, 94% dos estudantes brasileiros entrevistados disseram que iriam usar o robô para em trabalhos no próximo semestre.

Com os dados disponíveis, os pesquisadores fizeram uma regressão estatística para tentar encontrar padrões sobre uso ou não do ChatGPT por estudantes. Os cientistas apontam que estudantes brasileiros e indianos são significativamente mais propensos ao uso do que os dos EUA. Enquanto isso, os do Japão são menos.

Estudantes de origem mais pobre e de classe trabalhadora são significativamente mais propensos ao uso do ChatGPT do que os de classes mais altas, aponta a pesquisa.

Apesar de ter sido visto um consenso no reconhecimento do uso do ChatGPT, as opiniões variam na questão de ser ético ou não o uso em trabalhos escolares. Nos EUA e na Índia, os estudantes viam tal uso como errado e se posicionaram a favor da proibição. No Brasil, o oposto foi observado.

A Índia foi o único país onde estudantes e educadores afirmaram que se preocupam com a possibilidade de o ChatGPT tomar seus empregos no futuro.

Olhando especificamente para os educadores, os entrevistados no Brasil e no Japão dizem que o ChatGPT vai reduzir a desigualdade na educação. Os demais países não concordam com essa ideia.

CIENTISTAS TAMBÉM COMPARARAM DESEMPENHO DE ROBÔ E ALUNOS

Os cientistas também testaram no estudo como o ChatGPT se sairia em comparação a estudantes de 32 cursos universitários, em um estilo de teste de desempenho que, rapidamente, já se tornou clássico ao se pensar em modelos de processamento de linguagem natural.

Em 9 dos 32 cursos, o resultado do chatbot foi comparável e até superou o desempenho humano. Isso ocorreu para estruturas de dados, introdução à política pública, programação orientada a objeto e outros seis cursos.

Matemática e questões com "pegadinhas" foram o ponto fraco do ChatGPT, em comparação ao desempenho dos estudantes -como inclusive mostrou um teste feito pela Folha sobre desempenho no Enem. "Por enquanto, os humanos parecem ter um desempenho melhor que o ChatGPT nessas áreas", escreveram os autores.

De modo curioso, a diferença de performance entre o robô e os humanos é significativamente menor para questões que exigem elevados níveis de conhecimento e processamento cognitivo.

A comparação entre o chatbot e humanos foi possível porque os cientistas pediram para educadores dez perguntas que haviam sido usadas em cursos universitários e três respostas, para cada pergunta, dadas por alunos escolhidos aleatoriamente.

Os pesquisadores, então, geraram com o ChatGPT três respostas para cada uma das dez perguntas. Todas as respostas, humanas e robóticas, foram colocadas aleatoriamente em um documento. Três educadores, então, deram notas para as respostas.

Por fim, os pesquisadores tentaram verificar se outras ferramentas de inteligência artificial eram capazes de detectar respostas dadas por modelos de linguagem e por humanos. Para isso, usaram o GPTZero35 e um programa da própria OpenAI, desenvolvedora do ChatGPT.

A aplicação da OpenAI classificou erroneamente 5% das submissões humanas como sendo criadas por um chatbot. Em uma espécie de autoengano, classificou 49% das respostas feitas pelo ChatGPT como sendo produzidas por humanas. Para o GPTZero, os números foram respectivamente de 18% e 32%.