[18/set/2006] Entre iguais, se sorteia

A idéia é simples e está completamente expressa no título-slogan, "entre iguais, se sorteia". Resta apenas construir meu argumento, o que começo a fazer a partir de um exemplo.

Imagine, o leitor, tendo que decidir a contratação de uma pessoa para assumir uma função específica em uma empresa. Para o processo de seleção, aparecem, digamos, vinte interessados qualificados, ou seja, todos aqueles sem os requerimentos mínimos para assumir a função, por exemplo, a falta de formação profissional adequada para a área, já foram descartados. Os vinte que sobraram preenchem os requisitos mínimos para o emprego. Como fazer para prosseguir com a seleção e eventualmente chegar ao melhor resultado, que neste exemplo significa escolher o melhor profissional para assumir o cargo?

Você junta sua equipe de especialistas e prepara uma série de testes. Dinâmica de grupo, perfil psicológico, prova de conhecimentos específicos e gerais. A partir dos resultados, os vinte candidatos são classificados e, claro, aquele com a melhor pontuação é escolhido.

Mas foi a escolha realmente a melhor possível? Afinal, quão confiáveis foram os testes aplicados? Uma nota levemente melhor num teste de dinâmica de grupo é realmente relevante para distinguir entre dois candidatos? E se na prova de conhecimentos gerais, um candidato teve melhor performance porque por pura coincidência havia, na noite anterior, assistido a um programa de TV sobre um tema abordado no teste? E se o candidato mais adequado ao cargo teve uma noite ruim e não conseguiu se concentrar no teste de conhecimentos específicos?

Provavelmente, você estará correto em analisar que como os vinte eram minimamente qualificados, o conjunto dos resultados dos testes muito provavelmente ajudou a pelo menos a escolher um dos melhores candidatos, dentro da incerteza gerada por questões como as do parágrafo anterior.

Olhe, porém, por um outro ângulo: sabendo que o conjunto dos testes possui uma incerteza intrínseca, seria possível aumentar a chance de escolher realmente o melhor dentre os melhores?

Suponha que as notas dos cinco candidatos mais bem classificados foram, de 0 a 10, A = 9,9, B = 9,8, C = 9,5, D = 9,1 e E = 7,0. Olhando tais números, parece óbvio que a escolha do candidato A com 9,9 foi a mais bem acertada. O candidato B com 9,8 também seria uma boa escolha, mas - fazer o quê? - só havia uma vaga.

Bom, a validade desta análise depende, sobretudo, da incerteza dos testes. Digamos otimisticamente que eles possam distinguir entre candidatos com uma margem de erro de mais ou menos 0,1 ponto. Neste caso, as notas 9,8 ± 0,1 e 9,9 ± 0,1 se sobrepõem e a escolha de A ou B seria estatiscamente equivalente. Contudo, se a incerteza dos testes for 0,5, o candidato C com 9,5 ± 0,5 também teria sido uma boa escolha, talvez a melhor.

O primeiro problema é que normalmente não temos a menor idéia da incerteza dos testes. Este é um número que para ser definido precisaria de um controle metodológico muito além do requerido numa simples seleção profissional. Os testes teriam que ser repetidos várias vezes com os mesmos candidatos e com outros, sob diversas situações, com grupos de controle e estratégias de duplo-cego.

O segundo problema é que mesmo que conhecêssemos a incerteza, nossa intuição numérica nos faz nos concentrar nos números principais e desprezar os erros. Mesmo que soubéssemos que a incerteza do teste é, por exemplo, ± 2,0, teríamos uma enorme dificuldade em aceitar que tanto faz escolher o candidato A com 9,9 ou o candidato D com 7,0. Escolheríamos o candidato A de forma subjetiva e sem nenhum embasamento metodológico.

(Um exemplo desta atitude são notícias como:

"Ibope: Alckmin sobe mas Lula venceria no 1º turno (...) Segundo a pesquisa tucano cresce dois pontos e passa para 27%. (...) foi o único candidato a subir na mais recente pesquisa (...) Passou de 25% para 27%, variando dentro da margem de erro de dois pontos." O Globo, 10 de setembro de 2006.

Apesar de que neste caso, a motivação parece ser mais a de criar uma notícia que venda mais jornais, do que um honesto engano de análise.)

O terceiro problema é que mesmo que soubéssemos a incerteza dos testes e estivéssemos dispostos a levá-la em conta na seleção, qual seria a melhor forma de fazê-lo?

Uma possível solução seria criar um novo nível de seleção. Por exemplo, com uma incerteza de 0,5, os candidatos A, B e C seriam chamados para uma nova bateria de testes. Mas novos problemas surgem a esta altura, os novos testes também teriam suas incertezas e potencialmente ainda teríamos vários candidatos estatisticamente equivalentes. Incidentalmente, novos níveis de teste tendem se concentrar em questões cada vez mais irrelevantes. Além de tudo - não menospreze este ponto - novos níveis de seleção aumentam o custo do processo.

Não existe solução perfeita para a questão. Mas aquela que reúne as melhores qualidades é o simples sorteio da vaga entre os candidatos A, B e C (mesmo que a incerteza do exame não seja conhecida, é possível estimá-la de forma aproximada). É uma decisão qualificada, por levar em consideração apenas os melhores candidatos. É uma decisão justa, por levar em conta a incerteza intrínseca dos testes. É uma decisão objetiva, por evitar os artificialismos criados por testes cada vez mais refinados e "limpar" a escolha de eventuais subjetividades introduzidas ao longo do processo de seleção. É, finalmente, uma decisão barata, por não exigir muito mais que papéis dobrados no fundo de um copo.

Em resumo, A, B e C são iguais e entre iguais, se sorteia.

Consigo imaginar uma boa variedade de situações nas quais seria vantajoso se usar o critério de sorteio. Os mais óbvios seriam concursos públicos e vestibulares. Quanto aos concursos públicos, o exemplo anterior já deve ter deixado claro quais seriam as vantagens de se sortear vagas entre os mais bem qualificados candidatos. Ainda posso reforçar o argumento, lembrando que algumas vezes as avaliações de concursos não são elaboradas por profissionais e os critérios acumulam muitas falhas.

Isto ocorre, por exemplo, na seleção de novos professores para universidades públicas. Nestes concursos, os candidatos são avaliados por professores seniores, cujos interesses pessoais são afetados de forma diversa pelos candidatos (candidato A será parceiro, mas B será um competidor...) e normalmente incluem uma "prova de aula", cuja avaliação é extremamente subjetiva. Em casos como estes, os examinadores deveriam ser chamados apenas para qualificar os candidatos, ou seja, dizer quais teriam condições de ser bons professores universitários. O sorteio da vaga entre os candidatos qualificados simplesmente eliminaria as escolhas subjetivas e outras imperfeições do processo amador de seleção.

Em relação aos vestibulares, há ainda um ponto sobre o qual quero estender a discussão. Me lembro que quando fiz a prova de ingresso para o curso de física da UFRJ, nos distante ano de 1990, uma das questões da prova de história (não específica) pedia para dissertar sobre a Guerra dos Boers na África do Sul. O episódio é uma boa ilustração da barbárie do Império Britânico no século 19, mas, convenhamos, é extremamente específico e localizado para ser relevante para uma prova de ingresso no curso de física. Os avaliadores poderiam ter perguntado sobre alguma questão mais geral e relevante, como, por exemplo, a situação geopolítica que levara à Primeira Guerra Mundial, porém preferiram a específica, por quê?

Simples: se tivessem feito a questão geral, a maior parte dos candidatos teria respondido adequadamente e o resultado da prova teria sido de pouco valor para a seleção. Provavelmente, no ano seguinte, os cursinhos pré-vestibulares incrementaram sua agenda, incluindo uma boa revisão das guerras de partilha imperialistas. Mas se os candidatos agora sabem detalhes sobre tais assuntos, os avaliadores têm que descobrir uma nova seara de assuntos específicos.

Pronto, estão criadas as condições para uma corrida armamentista entre avaliadores e avaliados. E como bem sabemos, corridas armamentistas sempre resultam em monstros hipertrofiados, como armas de destruição em massa, caudas de pavão e provas de vestibulares.

Fosse adotado o critério do sorteio, a situação poderia ser bem diferente. Os exames perderiam a função de classificar os candidatos. A sua função seria de qualificar os candidatos. Ou seja, ao final do exame, não teríamos uma lista ordenada de nomes, da mais invejável até a mais miserável nota. Ao invés, teríamos os nomes agrupados em duas categorias: os candidatos qualificados e os não qualificados. As vagas seriam então sorteadas entre os qualificados.

Há alguns parágrafos, introduzi a idéia do sorteio qualificado como possível resposta à questão de, dada a incerteza do exame, como aumentar a chance de escolher o melhor dentre os melhores. Mas na verdade, este método de sorteio qualificado não mira no melhor. Mira na média dos melhores. Ao mirar no centro da média qualificada, o sorteio qualificado adquire o potencial para corrigir distorções na metodologia de seleção e mesmo algumas causadas por ela.

Em um dos textos anteriores do Defenestrando Idéias (Fraude em ciência: exceção ou regra?), discuti como a fraude e outros mau-comportamentos em ciência eram fenômenos comuns que decorriam dos processos de avaliação. As agências de fomento científico tendem a adotar critérios de avaliação classificatórios, baseados em avaliação por pares, contagem de número de publicações ou algum outro critério mais sofisticado, como o fator h. Periodicamente, cientistas são avaliados pelas agências e o que entra em jogo é a renovação de suas bolsas de pesquisa, o financiamento de seus estudantes e o orçamento de seus laboratórios. Diante da pressão da avaliação, eles tendem a comportamentos que vão do simples "assinar sem ler" as publicações produzidas por seus pós-graduandos e pós-docs, passando pela formação de comunidades de auto-citação, pela flexibilização do rigor metodológico, até as mais descaradas fraudes.

(Claro que cientistas diferentes sob a mesma pressão podem ter comportamentos éticos complemente distintos. Esta questão foi também recentemente discutida aqui no Defenestrando Idéias (Violência, corrupção e outros bois), num contexto diferente.)

O sorteio qualificado, ao mirar a média dos melhores e não o melhor dentre os melhores reduz o excesso de pressão que leva à fraude e produções hipertrofiadas de artigos e citações. A avaliação, neste caso, passa incentivar a média qualificada. Premia o bom trabalho, mas não o excepcional. Não que não se deva premiar o trabalho excepcional, o profissional acima da média. Pelo contrário, isto deve ser feito com freqüência, pompa e circunstância. Não deveria ser simplesmente relegado às avaliações de rotina.

O sorteio qualificado poderia de forma vantajosa ser aplicados aos mais variados processos de seleção e avaliação. Como argumentei ao logo deste texto, ele tende a produzir melhores resultados do que a seleção por exame classificatório porque lida de forma adequada com a incerteza intrínseca a toda avaliação; elimina distorções nos exames, como aquelas introduzidas por critérios subjetivos; e minimiza distorções causadas pelos exames, como a corrida armamentista entre avaliadores e avaliados. Diante de todas estas vantagens, alerto o leitor que o sorteio qualificado não resolveria todos os males que afligem a humanidade. Restaria ainda achar a cura do câncer, mas isto deixo para outro texto.

(Texto de Mario Barbatti)  

Leia também no Defenestrando Idéias:
Fraude em ciência: exceção ou regra?