Da Pergunta ao Protocolo: Como Estruturei a Minha Revisão Sistemática da Literatura

Há uma tendência, comum mesmo entre investigadores experientes, de tratar a revisão da literatura como uma etapa preliminar e quase burocrática do processo de investigação: pesquisa-se, lê-se, cita-se. O que aprendi ao desenvolver este trabalho foi precisamente o contrário. Uma Revisão Sistemática da Literatura (RSL) bem conduzida não é um levantamento bibliográfico sofisticado; é um procedimento de investigação com validade metodológica própria, cujos resultados têm impacto direto nas decisões de design do projeto que se pretende desenvolver. Este artigo documenta o processo de construção do meu protocolo de RSL, as escolhas que fiz, as dificuldades que encontrei e as melhorias que incorporei após heteroavaliação por pares.

O ponto de partida: o que quero saber e porquê

O meu projeto de mestrado centra-se na disrupção da inteligência artificial na tradução audiovisual freelance e na necessidade de formação crítica que essa disrupção gera. A questão não é apenas tecnológica: os tradutores audiovisuais freelancers de língua portuguesa estão a integrar ferramentas de IA generativa nos seus fluxos de trabalho sem qualquer suporte pedagógico estruturado por parte das entidades clientes. O que falta não é acesso à tecnologia, mas capacidade de a usar de forma crítica, reflexiva e eticamente fundamentada.

O MOOC que pretendo desenvolver na plataforma NAU responde a esta lacuna. Mas para o fazer com rigor, precisava de saber o que a investigação científica já diz sobre três dimensões fundamentais: a eficácia de programas de eLearning para tradutores no desenvolvimento de literacia crítica em IA; as abordagens pedagógicas eficazes na formação de adultos profissionais em contextos abertos e sem vínculo institucional; e os fatores que determinam a transferência das aprendizagens para o contexto de trabalho real.

Foi a partir destas três dimensões que construí o protocolo de RSL.

A escolha do modelo PEO

Para formular a pergunta de investigação de forma operacional, optei pelo modelo PEO (População, Exposição/Fenómeno, Outcome), em detrimento do mais comum PICO, frequentemente associado à investigação clínica. A escolha justifica-se: o PEO é reconhecido como mais adequado a revisões sistemáticas em contextos de formação profissional e desenvolvimento de competências (Grant & Booth, 2009), precisamente porque não pressupõe a existência de uma intervenção comparativa, mas sim a análise de um fenómeno e dos seus resultados.

A aplicação do modelo ao meu projeto resultou na seguinte configuração:

• P (População): Tradutores audiovisuais freelancers de língua portuguesa em exercício profissional ativo
• E (Fenómeno): Programas de formação em eLearning ou MOOC focados na integração crítica de ferramentas de IA e pós-edição de tradução automática
• O (Outcome): Desenvolvimento de literacia crítica em IA e transferência das competências adquiridas para o fluxo de trabalho profissional real

A pergunta principal que emergiu desta estrutura articula deliberadamente dois níveis de análise: a literacia crítica em IA como construto teórico central, e a transferência para o trabalho real como indicador de resultado mensurável. A separação dos dois níveis seria metodologicamente inadequada, porque um programa que desenvolva literacia crítica sem impacto no trabalho real tem alcance formativo limitado, e um programa que melhore o workflow sem reflexão crítica constitui formação meramente técnica.

A partir desta pergunta principal, desdobrei a investigação em três perguntas de fundamentação, cada uma alinhada com um componente do MOOC a desenvolver: a eficácia pedagógica (F1), o design instrucional (F2) e a transferência e impacto (F3).

A estratégia de pesquisa: bases de dados, blocos temáticos e strings

A seleção das bases de dados foi orientada pela necessidade de cobertura adequada das três áreas disciplinares em jogo: Translation Studies, Tecnologia Educativa e Formação de Adultos. Optei por uma combinação de sete fontes: Scopus e Web of Science para cobertura multidisciplinar de elevado impacto; ERIC e Education Source para especialização em educação e formação de adultos; JoSTrans como principal revista científica internacional em Translation Studies; RCAAP para cobertura da produção científica nacional em língua portuguesa; e Google Scholar como fonte complementar para literatura cinzenta.

Os termos de pesquisa foram organizados em quatro blocos temáticos, com identificação de sinónimos, variantes terminológicas e acrónimos em inglês e em português:

• Bloco A: Tradução audiovisual e a profissão
• Bloco B: Ferramentas de IA e pós-edição
• Bloco C: Construtos de literacia crítica e competências
• Bloco D: Formação online e desenvolvimento profissional

A combinação dos blocos com operadores booleanos AND e OR originou quatro strings de pesquisa: três em inglês, uma por pergunta de fundamentação, e uma em português para o RCAAP. O operador NOT não foi incluído nesta fase, em conformidade com o princípio de exaustividade das revisões sistemáticas, ficando a sua eventual aplicação reservada para após pesquisa-piloto.

Um aspeto que aprofundei na versão final do protocolo, na sequência do processo de heteroavaliação, foi a clarificação conceptual dos termos do Bloco C. AI literacy, critical literacy e digital competence partilham campo semântico, mas não são sinónimos: o primeiro refere-se à capacidade de compreender e avaliar sistemas de IA de forma informada (Long & Magerko, 2020); o segundo designa uma disposição reflexiva e analítica mais ampla (Janks, 2010); o terceiro constitui um construto institucional multidimensional, operacionalizado em referenciais como o DigComp (Vuorikari et al., 2022). Esta distinção é relevante porque, sem ela, a recuperação de resultados nas bases de dados pode gerar sobreposição conceptual difícil de gerir na fase de triagem.

Outro aspeto que enriqueci foi a explicitação das diferenças de sintaxe entre plataformas: a Scopus e a Web of Science suportam truncatura com asterisco e pesquisa de expressão exata com aspas; a EBSCOhost utiliza os mesmos operadores com limitações de caracteres; o RCAAP admite pesquisa booleana com menor granularidade nos campos avançados. As strings apresentadas no protocolo são versões de referência a adaptar tecnicamente em cada plataforma na fase de execução.

Os critérios de inclusão e exclusão

A definição a priori dos critérios de inclusão e exclusão é uma das etapas mais críticas de qualquer RSL: é ela que garante a sistematicidade, a transparência e a replicabilidade do processo de seleção, reduzindo o risco de enviesamento na constituição do corpus de análise (Page et al., 2021).

Os critérios foram organizados em seis dimensões:

Para além destes critérios formais, defini um critério de relevância aplicada, a aplicar na fase de elegibilidade: cada estudo será avaliado quanto à sua capacidade de responder à questão “que implicações concretas tem este estudo para o design pedagógico do MOOC?”. Este critério não substitui os anteriores, mas orienta a síntese final para as decisões de design instrucional.

O que aprendi com a heteroavaliação

O processo de partilha e comentário no fórum da unidade curricular revelou-se genuinamente útil, e não apenas por cortesia académica. As sugestões recebidas tocaram em dois pontos que, relendo o protocolo com distância, reconheço como lacunas reais.

A primeira prendia-se precisamente com a diferenciação conceptual dos termos do Bloco C, já referida acima. A segunda chamava a atenção para a ausência de referência à adaptação das strings às especificidades técnicas de cada base de dados. Ambas foram integradas na versão final.

Para além dessas sugestões, identifiquei por iniciativa própria duas melhorias adicionais na Nota Metodológica. A primeira foi a inclusão do registo prévio do protocolo na plataforma Open Science Framework (OSF), em linha com as recomendações do PRISMA 2020: este procedimento assegura a independência das decisões metodológicas face aos resultados encontrados e confere rastreabilidade pública ao processo. A segunda foi a explicitação de uma estratégia de dupla passagem para mitigar a limitação inerente à triagem por revisor único, característica de um projeto individual de mestrado: numa primeira fase, a triagem por título e resumo é realizada e registada; numa segunda fase, decorrido um intervalo de tempo, os estudos excluídos são reanalisados para verificação da consistência das decisões.

Próximo passo: a execução

Este protocolo corresponde à fase de registo prévio, anterior à execução da pesquisa. A sua função é precisamente essa: fixar as decisões metodológicas antes de entrar em contacto com os resultados, garantindo que a seleção dos estudos não é influenciada pelo conhecimento prévio do que existe na literatura.

Nas fases seguintes, o protocolo será operacionalizado: execução das pesquisas nas bases de dados, triagem por título e resumo, leitura integral dos estudos pré-selecionados e inclusão final dos estudos relevantes. Todo o processo será documentado segundo o fluxograma PRISMA 2020. A síntese dos estudos incluídos orientará diretamente as decisões de design instrucional do MOOC a desenvolver na plataforma NAU.

O documento completo do protocolo encontra-se abaixo, disponível para consulta.