MODELO DE AVALIAÇÃO PARA O PROGRAMA ESCOLA ABERTA UTILIZANDO A METODOLOGIA MULTICRITÉRIO DE APOIO À DECISÃO MCDA

MODELO DE AVALIAÇÃO PARA O PROGRAMA ESCOLA ABERTA UTILIZANDO A METODOLOGIA MULTICRITÉRIO DE APOIO À DECISÃO – MCDA Autoria: Marcelo Grangeiro Quirino, Felipe Padovan Bontempo, Paulo Carlos Du Pin Calmon

RESUMO Este artigo tem como objetivo apresentar um modelo de avaliação dos candidatos à bolsa de estudo no exterior, utilizando a Metodologia Multicritério de Apoio à Decisão (Multicriteria Decision Aid – MCDA). O trabalho foi realizado na Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – CAPES, na Coordenadoria de Candidatura à Bolsas e Auxílio no Exterior – CCE responsável pelo programa de Aperfeiçoamento em Artes no Exterior – ApArtes. Embora a CAPES tenha um programa nacional de avaliação dos cursos de pós-graduação não se tem notícia que tenha um programa de avaliação interna para a seleção de candidato a bolsas que seja utilizado pelos seus consultores. Essa metodologia consegue fazer a interação entre o modelo construído e o tomador de decisão com base epistemológica calcada na visão construtivista que é capaz de gerar critérios avaliatórios condizentes com a situação real do problema estudado, segundo o julgamento dos avaliadores e não de acordo com uma imposição avaliativa de maneira normativa e dogmática. Palavras-chave: apoio à decisão, análise multicritério, perfil de impacto, avaliação global, processos de seleção. 1 – INTRODUÇÃO A Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – CAPES é um órgão federal do Ministério da Educação – MEC, fundada em 1951 pelo professor Anísio Teixeira, intelectual, educador, gerador e semeador de idéias, cuja presença se materializou na criação de várias instituições brasileiras devotadas à educação em todos os seus níveis (Quirino, 2002). A CAPES desempenha um papel relevante e significativo na formação de recursos humanos de alto nível, necessários e ainda carentes no Brasil. Outra atividade da CAPES é a avaliação, concebida no início dos anos 70. A avaliação é feita sistematicamente por todos os programas de mestrado e doutorado, oferecidos por todas as instituições públicas e privadas em todas as áreas do conhecimento. Além disso, a avaliação não é esporádica, mas ocorre em intervalos regulares e relativamente curtos. Desde a sua implantação, a periodicidade era anual, passando a ser bienal a partir de 1982. O contexto decisório ou o ambiente da realização dessa pesquisa é a Coordenação de Candidaturas a Bolsas e Auxílios no Exterior – CCE. O setor é responsável pelo processo de divulgação, organização e seleção dos candidatos à bolsa no exterior, sob a orientação da Coordenação Geral de Programas no Exterior – CGPE. O artigo vai tratar do programa de Aperfeiçoamento em Artes no Exterior – ApArtes, por ter sido um programa não acadêmico, difere dos demais programas de fomento da CAPES. Foi lançado em novembro de 1995, com autorização do Ministério da Educação e da Cultura. O objetivo do programa – apoiar jovens talentos à busca de aperfeiçoamento no exterior – seria implementado sem qualquer prejuízo para o programa regular de formação acadêmica, em nível de doutorado, na área de Artes. O programa objetivou, principalmente, valorizar um segmento bem específico da comunidade artística que, embora sem vocação para a atividade acadêmica, não poderia prescindir de conhecimentos sistematizados para consolidar e agregar qualidade à sua formação.

1

As bolsas de estudos ofertadas tiveram duração de no mínimo seis meses e, no máximo, dois anos. O programa visava, sobretudo, proporcionar treinamento no desempenho artístico em tópicos inexistentes no país, em centros de reconhecida excelência no exterior, aos jovens talentos na faixa etária entre 18 e 29 anos, em início de carreira, nas sub-áreas de Música, Dança, Artes Plásticas, Artes Cênicas, Cinema/Vídeo e Fotografia, que buscavam aprimoramento técnico. O processo de seleção de candidatos à bolsa era formado por membros destacados das comunidades científica e artística brasileira, que se dava, principalmente, a partir da análise documental, incluindo vídeos, fitas cassetes, portfólios, slides e ensaios fotográficos. Após a seleção documental e de mérito, os aprovados nestas fases passavam por entrevistas que visavam à análise da maturidade, equilíbrio e desenvoltura dos pretendentes à bolsa. Embora não se discuta aqui o resultado obtido da seleção dos candidatos à bolsa com os critérios citados, devese deixar claro que aqueles critérios de avaliação eram muitos subjetivos, uma vez que não existia por parte da CAPES nenhuma indicação de quais eram os parâmetros de avaliação pertinentes. Ficavam, assim, sob inteira responsabilidade dos consultores quais os indicadores mais relevantes para a análise, seguindo estritamente seu julgamento pessoal. Também, a não experiência da CAPES com programas não acadêmicos provocou algumas falhas na condução do ApArtes dentre elas selecionar candidatos com perfil acadêmico ou não ter apoio da comunidade acadêmica da área de artes. O programa foi desativado temporariamente com a finalidade de se fazer uma avaliação de sua continuidade ou não. Surgiu então a idéia de se avaliar o ApArtes, já praticamente desativado, tendo em vista alguma resistência por parte dos responsáveis e técnicos da instituição encarregados dos programas em apreciar e rever suas atividades de avaliação. Assim, este artigo tem como objetivo mostrar um modelo de seleção de candidatos à bolsa de estudos aplicado ao ApArtes utilizando a metodologia de Multicritério de Apoio à Decisão (MCDA). Ele seria uma ferramenta de suporte para subsidiar os consultores na seleção de candidatos daquele programa. O artigo visa também mostrar que esse modelo pode avaliar o desempenho de outros programas da CAPES utilizando a metodologia MCDA. A metodologia MCDA justifica-se pelo fato de não ser um modelo pré-determinado, mas sim, construído, com base na tendência epistemológica de Piaget e sua visão construtivista: “conhecimento como resultado da relação entre o sujeito e o objeto em estudo” (Landry, 1995). 2 – ESTRUTURAÇÃO DO MODELO 2.1 – Mapas Cognitivos Um mapa cognitivo permite representar o problema do decisor, bem como lidar com o grupo de decisores, cada qual com seu próprio problema. O mapa é uma representação gráfica cuja finalidade é representar da melhor maneira possível uma situação ou problema. Em outras palavras, “o mapa cognitivo é uma ferramenta necessária para definir o problema a ser resolvido” ou identificar os critérios de avaliação. (Ensslin et al., 2001). A primeira alusão à construção do mapa cognitivo foi realizada em quatro reuniões com o decisor. Após encontros sucessivos o facilitador mostrava o desenvolvimento do mapa aos representantes que davam suas sugestões e, em seguida, o facilitador as encaminhava para o próximo encontro com o decisor para análise. Em geral, todas as sugestões dos representantes eram acatadas pelo decisor. Terminada a construção do mapa cognitivo com 204 conceitos,

2

foram detectados conceitos comuns, conceitos semelhantes, conceitos conflitantes e ligações de influência inadequada. Fez-se necessária uma correção do mapa, ou seja, seu refinamento para a verificação das distorções encontradas. Inseriram-se novos conceitos e outros foram excluídos. Fizeram-se novas ligações de influência entre conceitos já existentes e, também, novas ligações com os conceitos novos. (Quirino, 2002). Após a validação do mapa cognitivo o próximo passo foi a sua divisão em áreas de interesse que permitiam dividir o mapa cognitivo em vários mapas menores formados por um conjunto de conceitos relacionados por aspectos semelhantes. A divisão das áreas de interesse não é rígida, pois é comum acontecer de um mesmo conceito pertencer a mais de uma área. O mapa foi composto pelas seguintes áreas de interesse: ‘Potencial do Candidato’; ‘Benefício para o País’; ‘Qualificação do Curso’; ‘Custo’. 2.2 – Identificação dos Critérios ou Pontos de Vista Fundamentais – PVF Depois de concluído o enquadramento do mapa cognitivo foi determinado um conjunto de critérios ou família de Pontos de Vista Fundamentais – PVF. Essa família de critérios servirá de base à construção de um modelo multicritério para a avaliação das ações potenciais conforme mostra a Tabela 1. Tabela 1 – Apresentação da construção dos critérios de avaliação. Potencial do Candidado PVF 1 - Envolvimento do Candidato com Área PVF 2 - Potencial Profissional

Benefício para o País PVF 3 - Potencial da Área PVF 4 - Retorno ao País

Qualificação do Custo PVF 5 - Avaliação do Curso PVF 6 - Qualificação e Interesse do Orientador

Custo PVF 8 - Custo Anual do Curso PVF 9 - Tempo Previsto para Conclusão

PVF 7 - Infra-Estrutura

Alguns critérios foram decompostos em subcritérios, totalizando 37 subcritérios denominados de Pontos de Vista Elementares – PVE, conforme pode ser visto na Tabela 4. 2.3 – Construção dos Descritores Após a construção da família de critérios e seus subcritérios, inicia-se a construção dos descritores que permitem mensurar o desempenho dos candidatos em cada critério. Os descritores são definidos por um conjunto de níveis de impacto que descrevem os desempenhos de cada candidato em cada subcritério e critério. Os níveis de impacto devem estar em ordem decrescente em termos de preferência, segundo o julgamento do decisor. As descrições são os estados possíveis de cada nível de impacto que têm um significado claro, isto é, não ambíguo. A função de ancoragem representa numericamente, o grau de atratividade de cada nível de impacto, ou seja, a avaliação local. Definem-se dois níveis de impacto de preferência, o Nível Bom com valor de ancoragem igual a 100 e o Nível Neutro com valor de ancoragem igual a zero. Para a obtenção da função de ancoragem de cada nível o procedimento matemático adotado é a transformação linear. No caso, utiliza-se o software MACBETH para a sua determinação (Bana & Vansnick, 1997). Os descritores usados neste trabalho são classificados como sendo construídos, qualitativos e discretos, conforme mostra a Tabela 2.

3

Tabela 2 – Descritor do PVE 1.1.1 – Vínculo Empregatício na Área com as funções de ancoragem. Níveis de Impacto

Níveis de Referência

N4

Bom

N3 N2

Função de Ancoragem

Descrição O candidato tem emprego formal e informal há mais de 1ano. O candidato só tem emprego formal há mais de 1 ano. O candidato tem só emprego informal há mais de 1 ano. O candidato não tem emprego formal e nem informal há mais de 1ano.

Neutro

N1

100 57 0 -43

Realizou-se a estruturação do Modelo Multicritério para avaliar os candidatos à bolsa pelo programa ApArtes. Foi elaborada uma família de nove critérios (PVF) com 36 subcritérios. Obteve-se assim a construção de 39 descritores para a mensuração do desempenho de cada candidato sendo 36 para os subcritérios e 3 para os critérios que não foram decompostos. 2.4 – Taxas de Substituição Nesta fase, finalmente propõe-se a obtenção de uma avaliação global das ações potenciais dos candidatos à bolsa de estudo. A primeira etapa desse processo é determinar as taxas de substituição (pesos) dos critérios e subcritérios. Neste trabalho, para determinar as taxas de substituição dos critérios (PVF) foi usado o método da matriz de Robert para ordenar os critérios (Roberts, 1979), em seguida, pesos balanceados (swing weights) e para os subcritérios (PVE) foi usado o método de comparação par-a-par. O leitor que estiver interessado no detalhamento dessas operações Quirino (2002). A Tabela 3 apresenta a Matriz de Ordenação – Roberts, ordenando os critérios, segundo as preferências do decisor. Tabela 3 – Matriz de Ordenação – Roberts dos Critérios (PVF). PVF1 PVF2 PVF3 PVF4 PVF1 PVF2 PVF3 PVF4 PVF5 PVF6 PVF7 PVF8 PVF9

## 1 0 0 1 1 1 0 0

0 ## 0 0 0 0 0 0 0

1 1 ## 0 1 1 1 0 0

1 1 1 ## 1 1 1 0 0

PVF5

PVF6

PVF7

0 1 0 0 ## 0 0 0 0

0 1 0 0 1 ## 0 0 0

0 1 0 0 1 1 ## 0 0

PVF8 PVF9 1 1 1 1 1 1 1 ## 1

1 1 1 1 1 1 1 0 ##

Σ 4 8 3 2 7 6 5 0 1

Taxas de Ordem substituição (wi) 5º 10% 1º 21% 6º 9% 7º 7% 2º 16% 3º 15% 4º 14% 9º 3% 8º 5%

Este estudo de caso utiliza-se da abordagem construtivista, por isso, não considera que exista uma taxa de substituição verdadeira, que represente uma realidade preexistente na ‘cabeça do decisor’. As taxas, na verdade, representam o juízo de valor do decisor com relação às importâncias dos pontos de vista de uma situação num determinado momento (Ensslin et al., 2001).

4

3 – AVALIAÇÃO DOS CANDIDATOS AO PROGRAMA ApARTES 3.1 – Avaliação das Ações Potenciais (Desempenho) Será apresentado o processo de avaliação do desempenho das ações potenciais a serem definidas em diversos critérios do modelo estruturado com as seguintes ferramentas: perfil de impacto das ações potenciais (candidatos); fórmula de agregação aditiva (avaliação local e global); análise de sensibilidade (verificação da robustez do modelo). Na identificação das ações potenciais, optou-se por selecionar dois candidatos fictícios ao programa ApArtes. Para os objetivos do funcionamento desse modelo é suficiente a comparação entre dois candidatos, uma vez que a avaliação global realizada pelo modelo tem um caráter absoluto e não relativo. Isto significa que os resultados são independentes do número de indivíduos incluídos na análise. Sendo assim a análise de dois candidatos torna-se satisfatória para o trabalho aqui apresentado. Para o exame desses dois candidatos o decisor impactou as duas ações potenciais nos descritores definidos nos critérios ou nos subcritérios, obtendo-se o desempenho de cada ação potencial em todos os critérios e subcritérios. 3.2 – Avaliação Local das Ações Potenciais A avaliação (desempenho) local das ações potenciais dos candidatos, denominada indicador de impacto permite fazer a projeção de cada ação sobre os descritores construídos nos critérios/subcritérios, isto é, permite a identificação do desempenho da ação potencial em cada um dos critérios/subcritérios do modelo construído, de tal forma que seja possível escolher um nível considerado como representativo do impacto real (característica) de cada ação. A Tabela 4 mostra os indicadores de impacto determinados pelo software MACBETH, associados aos critérios e subcritérios pelos quais cada candidato obteve sua pontuação, denominada Avaliação Local.

5

Tabela 4 – Avaliação local dos candidatos 1 e 2, determinado pelo software MACBETH. Candidatos Critério / Subcritério

1

Candidatos Critério / Subcritério

2

Avaliação Local PVE 1.1.1 - Vínculo Empregatício na Área

1

2

Avaliação Local

0

57

PVE 6.2.1.2 - Telefônico

0

0

PVE 1.1.2 -Produção Artística

100

100

PVE 6.2.1.3 - Pessoal

0

0

PVE 1.2.1 - Área da Especialização

-50

100

150

150

PVE 1.2.2 - Área Afim

-67

-67

PVE 6.2.2 - Interesse pelo Assunto da Especialização do Candidato PVE 7.1.1 - Disponibilidade ao Computador

0

50

PVE 1.2.3 - Outra Área

-50

-50

PVE 7.1.2.1 - Suporte de Informática

100

100

PVE 1.3.1 - Plano de Trabalho

100

100

PVE 7.1.2.2.1 - Acesso

100

100

PVE 1.3.2 - Comprometimento

0

0

PVE 7.1.2.2.2 Desenvolvimento

0

100

PVE 2.1 - Perfil de Liderança

0

100

PVE 7.2.1 - Ambiente Adequado

100

50

PVE 2.2.1.1 - Menção ou Premiação na Área da Especialização

-75

-75

PVE 7.2.2 - Sala para Estudo

100

100

PVE 2.2.1.2 - Menção ou Premiação em Outra Área

-50

-50

PVE 7.3.1.1 - Horário de Atendimento

162

100

PVE 7.3.1.2 - Disponibilidade aos Equipamentos e Materiais

100

0

200

200

100

100

PVE 2.2.2.1 - Área da Especialização

100

100

PVE 2.2.2.2 - Outra Área

-50

-50

PVE 3.1 - Ensino

0

0

PVE 7.3.2.1 - Equipamentos e Materiais Atualizados PVE 7.3.2.2 - Variedades de Equipamentos e Materiais

PVE 3.2 - Empresa

-100

0

PVE 7.4.1.1 - Atualização

100

67

67

100

PVE 7.4.1.2 - Variedades

100

0

225

100

PVE 7.4.2.1 - Via Internet

100

0

100

100

PVE 7.4.2.2 - Via Pessoal

100

100

100

100

PVF 8 - Custo Anual

-80

0

PVE 6.1.2 - Equipe de Trabalho

40

100

PVF 9 - Tempo Previsto para Conclusão

0

0

PVE 6.2.1.1 - Internet

225

100

PVF 4 - Retorno ao País PVE 5.1 - Reconhecimento Internacional na Área Demandada PVE 5.2 - Demanda de Estudantes e Trabalhos PVE 6.1.1 - Trabalhos Realizados na Área

3.3 – Perfil de Impacto das Ações Potenciais As informações da avaliação ou desempenho local dos candidatos (Tabela 4), em todos os critérios e subcritérios do modelo, serão utilizadas para compará-los e determinar seus pontos fortes e fracos. Para melhor visualizar o desempenho local dos candidatos, constrói-se um gráfico que ilustra de forma clara o seu perfil. No eixo horizontal, coloca-se o nome dos critérios e subcritérios e no eixo vertical, marca-se o desempenho de cada candidato, lembrando-se que o valor 0 representa o nível Neutro e 100 representa o nível Bom. Por meio do Gráfico 1 analisa-se os perfis de impacto dos candidatos 1 e 2 em cada critério e subcritério aplicados ao programa ArArtes, para que se possa confrontá-los.

6

Gráfico 1 – Perfil de impactos dos candidatos 1 e 2.

Analisando-se o gráfico verifica-se o desempenho dos candidatos ao programa ApArtes nos critérios/subcritérios, obtendo-se os seguintes resultados: •

•

•

Impactado inferior ao nível Neutro: o O candidato 2 obteve a primeira colocação com o menor desempenho em cinco subcritérios. o O candidato 1 obteve a segunda colocação com o menor desempenho em um critério e oito subcritérios. Impactado a partir do Neutro até Bom: o O candidato 2 apresentou o maior desempenho em três critérios e vinte e nove subcritérios. o O candidato 1 apresenta um desempenho um pouco menor em dois critérios e vinte e quatro subcritérios. Impactado superior ao nível Bom: o O candidato 1 obteve a primeira colocação com o maior desempenho em cinco subcritérios. o O candidato 2 obteve a segunda colocação com o maior desempenho em dois subcritérios.

O candidato 1 impactou mais no nível abaixo do neutro com relação ao candidato 2, ou seja, teve valores negativos, mas em compensação teve um desempenho melhor em níveis acima de bom, ou seja, com valores acima de 100, enquanto o candidato 2 apresentou melhor desempenho nos níveis de 0 a 100. A próxima etapa seria fazer uma pontuação final, isto é, uma avaliação global agregando a pontuação local com as taxas de substituição dos critérios e subcritérios, onde cada candidato receberá uma pontuação ou nota final.

7

3.4 – Fórmula de Agregação Aditiva Global A agregação aditiva é uma fórmula matemática que permite converter os indicadores de impacto de uma ação em uma atratividade global, ou seja, ter uma pontuação também chamada avaliação global da ação analisada. O desenvolvimento da fórmula da agregação aditiva faz-se por meio de uma combinação linear ou soma ponderada que consiste em multiplicar cada indicador de desempenho de uma ação obtida (candidato ao programa ApArtes) pelas taxas de substituição em todos os critérios/subcritérios e, em seguida, pela soma ou agregação dos resultados. A fórmula de agregação aditiva é dada pela Equação 1 abaixo (Bana,1992): VG (a ) = w1 v1 (a) + w2 v 2 (a ) + w3 v 3 (a ) + ..... + wn v n (a)

ou n

VG ( a ) =

∑ w v (a ) i i

i =1

onde: VG(a) → Valor Global do Desempenho da ação potencial ‘a’ wi → Taxa de Substituição correspondente ao critério i, (PVF i), onde i = 1, 2,..., n vi (a) → Valor Parcial de uma ação potencial ‘a’ no critério i, onde i = 1, 2, ..., n A Equação 1 está submetida às seguintes restrições: 1)

n

∑w

i

=1→o

somatório das taxas de substituição (pesos) é igual a 1;

i =1

3) 4)

0 < wi < 1, ∀i → as taxas de substituição (pesos) têm um valor positivo maior que 0 e menor do que 1; vi(a) = 100, ∀i → o valor parcial da ação ‘a’ no nível Bom para todos os critérios; vi(a) = 0, ∀i → o valor parcial da ação ‘a’ no nível Neutro para todos os critérios;

5)

VG ( a ) =

2)

n

∑ w v (a) = 100 → i i

a pontuação global é igual a 1 quando o desempenho

i =1

da ação ‘a’ é impactado em todos os critérios no nível Bom; 6)

n

VG ( a ) =

∑ w v (a) = 0 → a pontuação global é igual a 0 quando o desempenho i i

i =1

da ação ‘a’ é impactado em todos os critérios no nível Neutro. A fórmula de Agregação Aditiva Global (Avaliação Global) do modelo proposto é dada pela Equação 2 a seguir: VG(a) = w1{w1.1(w1.1.1v1.1.1 (a) + w1.1.2v1.1.2 (a)) + w1.2 (w1.2.1v1.2.1 (a) + w1.2.2v1.2.2 (a) + w1.2.3v1.2.3 (a)) + w1.3 (w1.3.1v1.3.1 (a) + w1.3.2v1.3.2 (a)) } + w2 {w2.1v2.1 (a) + w2.2 [w2.2.1( w2.2.1.1v2.2.1.1 (a) + w2.2.1.2v2.2.1.2 (a)) + w2.2.2 (w2.2.2.1v.2.2.2.1 (a) + w2.2.2.2v2.2.2.2 (a))]} + w3 (w3.1v3.1 (a) + w3.2v3.2 (a)) + w4v4 (a) + w5 (w5.1v5.1 (a) + w5.2v5.2 (a)) + w6 {w6.1 (w6.1.1v6.1.1 (a) + w6.1.2v6.1.2 (a)) + w6.2 [w6.2.1 (w6.2.1.1v6.2.1.1 (a) + w6.2.1.2v6.2.1.2 (a) + w6.2.1.3v6.2.1.3 (a)) + w6.2.2v6.2.2 (a)]} + w7 {w7.1 [ w7.1.1v7.1.1 (a) + w7.1.2 [w7.1.2.1v7.1.2.1 (a) + w7.1.2.2 ( w7.1.2.2.1v7.1.2.2.1 (a) + w7.1.2.2.2v7.1.2.2.2 a))]] + w7.2 ( w7.2.1v7.2.1 (a) + w7.2.2v7.2.2 (a)) + w7.3 [ w7.3.1( w7.3.1.1v7.3.1.1(a) + w7.3.1.2 v7.3.1.2 (a)) + w7.3.2 ( w7.3.2.1 v7.3.2.1 (a) + w7.3.2.2 v7.3.2.2 (a))] + w7.4 [ w7.4.1 ( w7.4.1.1v7.4.1.1 (a) + w7.4.1.2v7.4.1.2 (a)) + w7.4.2 ( w7.4.2.1v7.4.2.1 (a) + w7.4.2.2v7.4.2.2 (a)) ] } + w8v8 (a) + w9v9 (a)

onde: Os subíndices ijkw correspondem aos níveis associados à hierarquia do PVF, isto é: wijkw é a Taxa de Substituição correspondente ao subcritério ijkw (PVE jkw). Substituindo-se as taxas de substituição nos critérios e subcritérios na Equação 2, e obtém-se o seguinte resultado dado pela Equação 3:

8

VG (a) = 0,021v1.1.1(a) + 0,014v1.1.2(a) + 0,008v1.2.1(a) + 0,005v1.2.2(a) + 0,003v1.2.3(a) + 0,023v1.3.1(a) + 0,028v1.3.2(a) + 0,063v2.1(a) + 0,065v2.2..1.1(a) + 0,016v2.2.1.2(a) + 0,053v2.2.2.1(a) + 0,013v2.2.2.2(a) + 0,180v3.1(a) + 0,720v3.2(a) + 0,7v4(a) + 0,104v5.1 (a) + 0,056v5.2(a) + 0,050v6.1.1(a) + 0,033v6.1.2(a) + 0,010v6.2.1.1(a) + 0,007v6.2.1.2(a) + 0,004v6.2.1.3(a) + 0,047v6.2.2(a) + 0,011v7.1.1(a) + 0,005v7.1.2.1(a) + 0,005v7.1.2.2.1(a) + 0,003v7.1.2.2.2 (a) + 0,022v7.2.1(a) + 0,018v7.2.2(a) + 0,008 v7.3.1.1(a) + 0,018v7.3.1.2(a) + 0,017v7.3.2.1(a) + 0,021v7.3.2.2(a) + 0,004v7.4.1.1(a) + 0,005v7.4.1.2(a) + 0,004v7.4.2.1(a) + 0,001v7.4.2.2(a) + 0,03v8(a) + 0,05v9(a) A fórmula de Agregação Aditiva Global determina uma pontuação final que leva em conta todos os nove critérios do modelo. Essa pontuação é um valor absoluto que cada ação potencial (candidato) tem, ou seja, cada candidato recebe uma pontuação independente dos demais. A exclusão ou a inclusão de candidatos no modelo não altera os resultados obtidos dos candidatos avaliados. Essa é uma das vantagens de a avaliação ter uma pontuação absoluta. Pode-se determinar a Avaliação Global dos candidatos de posse dos resultados das suas avaliações locais. Basta que se substitua na Equação 3 o valor das avaliações locais v(a) nos critérios e subcritérios e serão obtidos os seguintes resultados: Candidato 1 VG(candidato 1) = 0,1(28) + 0,21(-5) + 0,09(-80) + 0,07(67) + 0,16(181) + 0,15(103) + 0,14(105) + 0,03(-80) + 0,05(0) = 2,8 + (-1) + (-7,2) + 4,7 + 29 + 15,5 + 14,8 + (-2,4) + 0 = 56. Candidato 2 VG(candidato 2) = 0,1(51) + 0,21(25) + 0,09(0) + 0,07(100) + 0,16(100) + 0,15(109) + 0,14(81) + 0,03(0) + 0,05(0) = 5,1 + 5,3 + 0 + 7 + 16 + 16,3 + 11,3 + 0 + 0 = 61. A Tabela 5 apresenta um resumo dos resultados das avaliações em cada critério (parcial) e a avaliação global de cada candidato. Tabela 5 – Resumo das avaliações em cada critério (parcial) e a global dos candidatos Avaliações Globais dos Candidatos Pontos de Vista Fundamental - PVF (Critérios)

Candidato 1

Candidato 2

PVF 1 – Envolvimento do Candidato com a Área

2,8

5,1

PVF 2 – Potencial Profissional

–1

5,3

PVF 3 – Potencial da Área

–7,2

0

PVF 4 – Retorno ao País

4,7

7

PVF 5 – Avaliação do Curso

29

16

PVF 6 – Qualificação e Interesse do Orientador

15,5

16,3

PVF 7 – Infra-estrutura

14,8

11,3

PVF 8 – Custo Anual

–2,4

0

PVF 9 – Tempo Previsto para Conclusão

0

0

Avaliação Global

56

61

Na Tabela 5, pode-se verificar que nas avaliações globais, os candidatos obtiveram os seguintes resultados; o candidato 1 com a pontuação de 56 pontos e o candidato 2 com a pontuação de 61 pontos, as pontuações foram consideradas muito próximas, ou seja, a diferença entre eles era muito pequena. Por isso, torna-se difícil escolher, com segurança, um candidato entre os dois.

9

Em outras palavras, com a diferença entre os candidatos de somente 5 pontos, pode-se dizer que os candidatos estavam ‘tecnicamente empatados’. Neste caso, o decisor terá um conjunto de soluções a escolher: pode optar pelo candidato 2 mesmo com essa pequena diferença ou fazer uma analise por meio dos critérios ou subcritérios mais relevantes e verificar quem é o candidato que tem uma pontuação maior e decidir quem é o mais adequado à bolsa de estudo ao programa ApArtes. 3.5 – Análise de Sensibilidade A Análise de Sensibilidade é usada para verificar se o modelo é robusto a alterações nas taxas de substituição nos critérios (Goodwin & Wright, 1991). Para verificar a robustez do modelo, é necessário que se façam pequenas alterações (em torno de 10%) nas taxas de substituição nos critérios. Em seguida, verificam-se as variações ocorridas nas pontuações (avaliações) globais das ações potenciais (candidatos). Diz-se que o modelo é robusto, se com as pequenas alterações feitas, a maioria permanece igual à ordem das avaliações globais das ações potenciais. Caso contrário, o modelo não será robusto. A Análise de Sensibilidade foi realizada utilizando-se o software HIVIEW (Crysalis, 1997). A representação da Análise se faz em um sistema cartesiano onde o eixo vertical (y), representa a avaliação global das ações potenciais (candidatos) e o eixo (x), representa as taxas de substituição dos critérios do modelo. Foram escolhidos os três critérios com a maior taxa de substituição para análise de sensibilidade e admitiu-se que poderia haver alterações nas taxas de substituição com o decorrer do tempo. Por isso, se gostaria de saber se o modelo é robusto nesses critérios: ‘PVF 2 – Potencial Profissional’; ‘PVF 5 – Avaliação do Curso’; ‘PVF 6 – Qualificação e Interesse do Orientador’. O Gráfico 2 indica a sensibilidade do modelo no critério Potencial Profissional. Gráfico 2 – Análise de sensibilidade do modelo no PVF 2 – Potencial Profissional

A reta vertical está impactada em 21% no eixo horizontal, que corresponde ao valor da taxa de substituição desse critério à medida que muda de posição a reta vertical. Variando-se o valor da taxa de substituição de 21% em –10% e em +10% não se altera a hierarquização dos candidatos. Em outras palavras, o candidato 2 ainda permance com melhor desempenho. O modelo é robusto nesse critério.

10

O Gráfico 3 mostra a Análise de Sensibilidade do modelo no critério Avaliação do Curso. Gráfico 3 – Análise de sensibilidade do modelo no PVF 5 – Avaliação do Curso

Variando a taxa de substituição de 16% em –10% e em +10%, a reta vertical indica que não se altera a hierarquização dos candidatos, ou seja, o modelo não se mostra sensível. O modelo mostra-se robusto nesse critério. O candidato 2, ainda apresenta um melhor desempenho. O modelo nesse caso também permanece robusto nesse critério. O Gráfico 4, apresenta-se a análise de sensibilidade do modelo no critério ‘Qualificação e Interesse do Orientador’. Gráfico 4 – Análise de sensibilidade do modelo no PVF 6 – Qualificação e Interesse do Orientador

O Gráfico 4 mostra a reta vertical com a taxa de substituição em 15% do critério ‘Qualificação e Interesse do Orientador’. Ainda assim, o candidato 2 tem melhor desempenho. Portanto, pode-se

11

concluir que mesmo havendo variação do valor da taxa de substituição em –10% ou +10% o modelo é robusto nesse critério (Quirino, 2002). 4 – CONCLUSÃO Este artigo propõe um modelo de seleção de candidatos à bolsa de estudos aplicado ao ApArtes utilizando a metodologia de Multicritério de Apoio à Decisão – MCDA, entendido como uma ferramenta de suporte para subsidiar os consultores na seleção de candidatos do programa analisado. A estruturação do Modelo Multicritério para a avaliação dos candidatos à bolsa pelo programa ApArtes foi realizada com a elaboração de uma família de nove critérios (PVF) dos quais sete foram decompostos em vários níveis, totalizando-se 36 subcritérios. Finalmente, obteve-se a construção de 36 descritores para os subcritérios e 3 descritores para os critérios que não foram decompostos, totalizando 39 descritores para a mensuração do desempenho de cada candidato. Com as informações da avaliação ou desempenho dos candidatos pôde-se compará-los e verificar seus pontos fortes e fracos. O decisor teve assim um conjunto de soluções a escolher por meio de uma pontuação global ou de uma pontuação local, ou seja de critérios ou subcritérios mais relevantes e verificar por meio desses parâmetros qual candidato teve uma pontuação maior, e assim decidir quem era o candidato mais adequado para a obtenção de uma bolsa de estudo. Este método que foi aplicado ao ApArtes pode ser adotado com efetividade em qualquer programa vigente na CAPES ou em qualquer outra instituição que promova avaliação. O modelo adotado utiliza a chamada Análise de Sensibilidade para a verificação da sua robustez. Portanto, pode-se concluir que dadas as variação propostas para a taxa de substituição em –10% ou +10% o modelo foi considerado robusto nesse critério. Quanto às vantagens da utilização da metodologia MCDA verificou-se a sua grande utilidade para a avaliação de candidatos, pela forma como é aplicada já que todos os decisores envolvidos no problema participam ativamente na construção do modelo. Tal procedimento faz com que esses decisores tenham melhor entendimento do problema e, conseqüentemente, uma solução mais adequada para ele. Alguns cuidados devem ser tomados no desenvolvimento desse tipo de modelo. Por exemplo, a construção dos critérios e subcritérios e dos descritores; a decisão sobre o valor que cada critério e sub-critério deveria ter para a construção das taxas de substituição e alguma cautela sobre a sua aplicação indiscriminada em outras situações de seleção de candidatos, pois há várias diferenças de contexto decisório em que o modelo é desenvolvido. Apesar dessas dificuldades o método se presta muito bem para que se construam novos modelos para outros programas da CAPES. O modelo foi construído dentro de um contexto decisório, em um determinado momento, segundo os julgamentos dos atores envolvidos no problema, e é por isso denominado modelo personalizado. A título de conclusão, deve-se esclarecer que a partir do final de 2002 o programa ApArtes não já não aceitava mais novos bolsistas mantendo apenas as bolsas daqueles que se encontravam no exterior. Esse programa foi totalmente desativado e a avaliação resultante do trabalho relatado neste artigo deveria ter sido apresentada e discutida, nesta época, com a direção da CAPES e com a coordenação da área de Artes. Porém, devido ao final do mandato dos dirigentes e a mudança da presidência da instituição, estes resultados nunca foram apreciados e então

12

finalmente estão sendo publicados neste artigo. O mais importante a ser ressaltado é que esse modelo pode avaliar o desempenho de outros programas da CAPES utilizando a metodologia MCDA. Esse fato pode ser comprovado a partir dos resultados aqui relatados, da robustez do modelo, da verificação da precisão de seus resultados e da sua aplicação bem sucedida ao programa ApArtes. REFERÊNCIAS BIBLIOGRÁFICAS BANA E COSTA, C.A. Structuration, Construction et Exploitation d'un Modèle Multicritère d'Aide à la Decision, Universidade Técnica de Lisboa, Tese de doutorado,1992. BANA E COSTA, C. A.; DE CORTE, J. M.; VANSNICK, J. C. Software MACBETH. Version 1.0, 1997. BANA E COSTA, C. A.; VANSNICK, J.Uma Nova Abordagem ao Problema da Construção de uma Função de Valor Cardinal: MACBETH. Investigação Operacional, v. 15, p. 15-35, Jun. 1995a. _________. Thoughts A Theoretical Framework for measuring Attractiveness by Categorical Based Evalution Technique (MACBETH). In: Clímaco, J. (eds.), Multicriteria Analysis. Springer-Verrlag, Berliin, 1997a. _________. Applications of the MACBETH Approach in the Framework of an Additive Aggregation Model. Journal of Multi-criteria Decision Analysis, v. 6, n. 2, p. 107-114,1997b. BEINAT, E. Multiattribute Value Functions for Environmental Management. Amsterdam: Timbergen Institute Research Series, 1995. CRYSALIS, L. EQUITY for Windows User Manual,1997. ENSSLIN, L.; BANA E COSTA, C.A.; MONTIBELLER NETO, G. “From Cognitive Maps To Multicritéria Models; Proceedings of the International Conference on Methods and Applications of MCDA. Mons, Bélgica, 1997. ENSSLIN, L.; MONTIBELLER, G.: NORONHA, S. M. Apoio à Decisão: INSULAR: Florianópolis-SC, 2001. GOODWIN, P., WRIGTHAT, G. Decision Analysis for Managment Judgement. Chichester: J. Wiley, 1991. KEENEY, R. L. Value Focused-Thinking: A Path to Creative Decision-making. Cabridge: Harvard University Press, 1992. KEENEY, R. L., RAIFFA, H. Decisions with Multiple Objectives: Preferences and Value Tradeoffs. Cambridge: Cambridge University Press,1993. LANDRY, M. A Note on the Concept of ´Problem`. Organization Studies, n. 16, p. 315-343, 1995. QUIRINO, MARCELO GRANGEIRO. Incorporação das Relações de Subordinação na Matriz de Ordenação – Roberts em MCDA Quando os Axiomas de Assimetrias e Transitividade Negativa são Violados. Universidade Federal de Santa Catarina, Tese de doutorado, 2002. ROBERTS, S. F. Three Representation Problems: Ordinal, Extensive, and Difference Measurement. In: ROTA, Gian-Rota. Encyclopedia of Mathematics and Its Aplications. Measurement Theory, v. 7, p. 101-147, 1979. ROY, B. Multicriteria Methodology for Decision Aiding. Kluwer Academic Publishers. U.S.A., 1996. von WINTERFELDT, D.; EDWARDS, W. Decision Analysis and Behavioral Research. Cambridge: Cambridge University press,1986. WATSON, S. R.; BUEDE, D. M. Decision Synthesis. Cambridge: Cambridge Univ. Press, 1987.

13