Um experimento do MIT mostra que ferramentas de IA como o ChatGPT podem aumentar significativamente a produtividade e a qualidade do trabalho de profissionais qualificados, especialmente aqueles com habilidades mais fracas.

O estudo, conduzido por Shakked Noy e Whitney Zhang do Departamento de Economia do Instituto de Tecnologia de Massachusetts, envolveu 453 profissionais com formação universitária em áreas como marketing, análise de dados e recursos humanos, que receberam tarefas de escrita incentivadas.

Entre aqueles designados para usar o ChatGPT com GPT 3.5, a produtividade aumentou significativamente – o trabalho foi concluído 40% mais rápido e a qualidade do resultado melhorou em 18%.

Profissionais com formação universitária que realizaram tarefas de escrita profissional de nível intermediário aumentaram substancialmente sua produtividade ao terem acesso ao ChatGPT. A ferramenta de escrita generativa aumentou a qualidade do trabalho de funcionários com habilidades mais baixas e reduziu o tempo gasto em tarefas para trabalhadores de todos os níveis de habilidade.

Do Artigo

Os participantes designados para usar o ChatGPT relataram maior prazer em suas tarefas e tinham duas vezes mais chances de continuar usando a ferramenta de IA em seus empregos reais duas semanas após o experimento, e 1,6 vezes mais chances de continuar usando dois meses depois. Isso sugere que ferramentas de IA como o ChatGPT podem ser um recurso valioso para profissionais em diversas áreas.

O ChatGPT se destaca na redação clara e persuasiva

As tarefas atribuídas aos participantes, como escrever comunicados de imprensa ou relatórios analíticos curtos, foram projetadas para se assemelhar a tarefas reais que eles podem encontrar em seu trabalho diário. Essas tarefas exploraram os pontos fortes do ChatGPT, que incluem redação clara e persuasiva.

Metade dos participantes foi aleatoriamente designada para um grupo que podia usar a ferramenta de IA em sua segunda tarefa. A outra metade formou o grupo de controle e recebeu instruções para usar uma ferramenta diferente (não baseada em IA), mas não foram incentivados a usá-la em suas tarefas.

O trabalho desses profissionais foi então avaliado por outros profissionais da mesma área. Eles foram solicitados a julgar o trabalho da maneira mais próxima possível do que encontrariam em seu ambiente profissional habitual. Eles classificaram a qualidade do trabalho em uma escala de 1 a 7.

Os pesquisadores coletaram dados e informações sobre quanto tempo os participantes gastaram nas tarefas e a qualidade de seu trabalho. Eles também monitoraram o progresso do trabalho dos participantes ao longo da tarefa para medir os níveis de atividade e verificar se eles estavam usando a ferramenta de IA.

Além disso, eles registraram algumas variáveis contextuais, como taxa de desistência e status de emprego, e verificaram se eram profissionais de RH. A ideia era verificar se esses fatores externos poderiam afetar os resultados, e eles descobriram que essas variáveis não tiveram um impacto significativo nos resultados.

No entanto, o estudo encontrou algumas limitações – a ferramenta de IA era menos adequada para tarefas que exigiam conhecimento contextual ou precisão factual precisa, ou para prompts mais vagos que exigiam muita iniciativa.

Apesar dessas limitações, muitos participantes relataram encontrar o ChatGPT útil em seu trabalho do mundo real, sugerindo que até mesmo versões mais recentes da ferramenta podem ser cada vez mais úteis. Por exemplo, o ChatGPT pode ser ensinado a usar fatores contextuais em suas respostas, tornando-o potencialmente útil em um número crescente de profissões.

Embora ferramentas de IA como o ChatGPT não tornem os especialistas humanos obsoletos, as evidências deste estudo sugerem que elas podem complementar as habilidades humanas, aumentando a produtividade e reduzindo a desigualdade entre os trabalhadores.

Uma descoberta contraditória é que os participantes que utilizaram o ChatGPT geralmente enviaram a saída da IA com pouca edição ou sem edição, sugerindo que a tecnologia neste experimento substituiu, em vez de complementar, o esforço humano.

De qualquer forma, os resultados do estudo de Noy e Zhang fornecem apenas um vislumbre dos efeitos imediatos na produtividade das ferramentas de IA, como o ChatGPT; eles não abordam os potenciais efeitos de longo prazo nos mercados de trabalho e nas estruturas organizacionais. A extensão na qual o GPT pode ser aprimorado é uma das questões-chave para seu impacto.

O mundo real é mais complexo do que o ambiente do estudo

Os pesquisadores observam várias limitações em seu trabalho. O estudo focou principalmente em tarefas específicas que exigiam redação genérica – clara, persuasiva e não dependente de contexto significativo.

Embora o ChatGPT tenha se destacado em tais tarefas, a maioria dos projetos profissionais do mundo real requer conhecimento específico do contexto e um alto grau de precisão factual, áreas em que a atual iteração de ferramentas de escrita de IA, como o ChatGPT, pode ficar aquém, como mencionado anteriormente.

Muitas das tarefas enfrentadas pelos profissionais podem envolver metas e instruções mais ambíguas, onde a criatividade humana, a adaptabilidade e as habilidades de tomada de decisão podem ser fundamentais. Ao contrário dos trabalhadores humanos, as ferramentas de IA não podem entender completamente as nuances sutis e complexidades das tarefas ou se adaptar por conta própria quando as instruções não são precisas.

Outra limitação importante é a dependência do experimento em incentivos diretos baseados no desempenho, na forma de pagamentos de bônus pela qualidade do trabalho. Além de um pagamento base de US$ 10, os participantes poderiam receber um bônus adicional de até US$ 14 com base na qualidade de seu trabalho, com o objetivo de incentivar um desempenho elevado. Esses bônus de curto prazo podem não refletir com precisão os incentivos do mundo real, que geralmente incluem perspectivas de promoção de longo prazo, metas de desenvolvimento profissional e a importância de manter um estilo pessoal ou marca, escrevem os pesquisadores. Tais incentivos de longo prazo podem, na verdade, reduzir a utilidade das ferramentas de escrita de IA, como o ChatGPT.

A omissão mais evidente, parece-me, é que o estudo não considerou o tempo e o esforço necessários para verificar os fatos na saída do ChatGPT.

No geral, especulamos que, em relação aos nossos resultados experimentais, os efeitos diretos de produtividade do ChatGPT na economia real serão um pouco menores e a tecnologia será mais fortemente complementar aos trabalhadores humanos. Até que ponto isso é verdade ainda é uma questão em aberto.

Do Artigo

Embora as ferramentas de IA possam acelerar o processo e até mesmo melhorar a qualidade da escrita, a necessidade de verificação de fatos pode compensar esses benefícios de economia de tempo, especialmente para tarefas que exigem precisão factual precisa. Futuros avanços na tecnologia de IA precisariam melhorar significativamente nessa área para serem mais confiavelmente úteis.

O impacto potencial da IA no mercado de trabalho

O potencial de aumento da demanda por serviços, à medida que se tornam mais baratos devido à produtividade aprimorada pela IA, é um fator crítico que mediará os efeitos de produtividade das tecnologias de IA, como o ChatGPT, especulam os pesquisadores.

Por exemplo, se o preço dos serviços de programação diminuísse significativamente como resultado da eficiência da IA, isso poderia levar a um aumento na demanda e, consequentemente, a um aumento no emprego no setor. No entanto, isso pode não ser o caso para profissões como publicidade ou comunicações. A demanda poderia permanecer estável e o emprego poderia diminuir, já que menos trabalhadores seriam necessários.

A introdução da IA também pode afetar a composição da força de trabalho. Funções dentro das organizações podem mudar, dada a criatividade e o julgamento necessários em profissões como publicidade. A questão é se, por exemplo, funções juniores poderiam ser dedicadas ao aperfeiçoamento da saída da IA, enquanto funções sêniores forneceriam contribuições conceituais. Isso poderia remodelar significativamente a forma como as indústrias operam e como empregam pessoas.

O papel da IA em áreas como programação poderia ter diferentes implicações para os salários. Se a ferramenta de IA exigir que um programador especialista revise sua saída e refine as instruções, os salários podem aumentar devido à maior demanda por profissionais especializados. No entanto, se apenas habilidades básicas de programação forem necessárias para trabalhar com a IA, isso poderia resultar em excesso de oferta de programadores qualificados, o que poderia levar a salários mais baixos, apesar do aumento da produtividade.

As práticas tradicionais de promoção e contratação também podem ser afetadas pela adoção generalizada de tecnologias de IA, como o ChatGPT. Por exemplo, as ferramentas de IA podem alterar a forma como o desempenho é avaliado, registrando e observando os funcionários. Esse processo pode afetar as escalas salariais e as práticas de contratação, além de mudar a cultura organizacional em relação ao esforço e ao desempenho. Com informações do The Decoder.