Consultoria para design de avaliações da ciência
Voltada para as entidades que necessitam avaliar a produção científica, impacto e outras dimensões da Ciência.
Há uma pressão crescente por parte de vários atores da comunidade científica para a adoção de métricas responsáveis para as avaliações da Ciência. O termo se refere uso ético e apropriado de métricas baseadas em citações e das chamadas métricas alternativas, como, por exemplo, menções em blogs e redes sociais. Faz-se necessário redefinir o conceito de “impacto” na pesquisa científica, que deve representar a originalidade e a relevância social do conhecimento produzido. Entretanto, as organizações responsáveis pelas avaliações enfrentam grandes desafios para elaborar avaliações significativas, as quais darão respostas válidas às suas perguntas, sem causar efeitos sistêmicos indesejados, como, por exemplo, impactos na autonomia acadêmica, criatividade, inovação e alterações nos padrões de comunicação científica e nas agendas de pesquisa.
Possuímos mais de 15 anos de experiência em cientometria, fornecendo análises, percepções e recomendações sobre avaliações de ciências e o uso responsável de métricas para as avaliações da ciência. Tivemos a oportunidade de prestar serviços de consultoria a organizações governamentais, agências de fomento à pesquisa e universidades líderes na América Latina sobre temas estratégicos, como identificar e medir a pesquisa de excelência e a visibilidade internacional, a desigualdade regional e de gênero, entre outras, além de fenômenos como mobilidade acadêmica e fuga de cérebros.
Adotamos uma abordagem participativa, aproveitando experiências e conhecimentos dos diversos atores envolvidos para potenciar suas competências e construir novas capacidades para o design de avaliações da ciência. Somos signatárias da Declaração de São Francisco - DORA (2013) e aderimos às recomendações do Manifesto de Leiden (2015) e da Iniciativa de Helsinki sobre o Multilinguismo (2019), além de termos contribuído, como consultoras, para a elaboração do Manifesto ALAEC sobre o uso responsável de indicadores para as avaliações da ciência realizadas na América Latina.
Nossa consultoria para design de avaliações da ciência tipicamente inclui as seguintes atividades:
Governança: identificação dos atores-chave, definição de sua participação no projeto e elaboração do plano de trabalho da consultoria.
Definição dos objetivos da avaliação, sua finalidade, valores e sujeitos da avaliação (por exemplo, instituições de ensino e/ou pesquisa para fins de distribuição de recursos ou indivíduos para contratação ou promoção).
Análise dos riscos da avaliação, seus potenciais efeitos sistêmicos sobre os sujeitos, processos e instituições avaliados e planejamento de ações para mitigar os riscos e efeitos indesejados.
Realização de um piloto para assegurar que a avaliação é robusta, confiável, está de fato avaliando aquilo que se deseja, não é facilmente manipulável e não acarretará efeitos indesejados sobre os sujeitos da avaliação.
Definição das dimensões significativas a avaliar e das abordagens qualitativas e quantitativas.
Seleção das fontes de dados (principalmente para avaliações que envolvem as áreas de pesquisa interdisciplinar, humanidades e ciências socias), métricas, indicadores, análises e relatórios.
Elaboração do plano de avaliação, com definição de todas as etapas, prazos e responsabilidades.
Entrevistas e questionários aos participantes e sujeitos da avaliação para determinar se a mesma atingiu seus objetivos, se foi formativa e se agregou valor aos processos avaliados.
Compilação de melhores práticas e lições aprendidas durante a avaliação e elaboração de um estudo de caso.