Lendo o blog Ideários, da Karla Lopez, vi um post bem interessante a respeito da sua participação na maior conferência mundial de treinamento, a ASTD International Conference, onde compartilho o post a respeito de uma palestra do famoso Donald Kirkpatrick, que desenvolveu o método dos 4 níveis de avaliação de um treinamento, sobre o qual já discorri aqui, aqui, aqui.

Como dito várias vezes, acredito veemente que um bom projeto de e-learning, alinhado ao negócio da empresa e, que, portanto, traga resultados, deve ter uma política de avaliação bem definida e sólida.

É por esse motivo, principalmente, que reforço com este post as idéias de Kirkpatrick.

Donald Kirkpatrick, da Universidade de Wisconsin, já é velho conhecido de quem trabalha com Treinamento e Desenvolvimento. Em 1959, ele lançou uma série de artigos no US Training and Development Journal que consolidou o Modelo Kirkpatrick de Avaliação de Treinamento. O modelo é baseado em 4 níveis de avaliação:

• Avaliação de reação: mede a satisfação do consumidor e como os participantes reagem.
• Avaliação de aprendizagem: levanta o quanto os participantes podem mudar de atitude, ampliar seus conhecimentos e/ou habilidades.
• Avaliação comportamental: identifica o quanto os participantes mudaram seu comportamento em decorrência do que foi aprendido.
• Avaliação de resultados: mostrar os resultados finais do treinamento.

Na sessão, Don repassou os níveis de avaliação contidos em seu modelo, mas concentrou-se em mostrar casos de uso de cada uma delas e em dar dicas de como realizá-las de forma mais eficiente. Para Kirkpatrick, um programa eficaz de treinamento deve ser:

• Baseado em necessidades – Você precisa saber qual o problema deve ser resolvido para não perder o foco.
• Ter objetivos bem definidos – Quem não sabe onde quer chegar, não chega a lugar algum, certo?
• Acontecer no momento certo – Retirar alguém do trabalho em um momento inoportuno não vai permitir que ele aprenda e ainda vai aumentar os problemas já existentes.
• Ocorrer no local adequado – Ninguém questiona isso no treinamento presencial, mas no caso do treinamento on-line também não pode ser deixado de lado: equipamento adequado, banda adequada e, principalmente, cultura adequada – você não vai conseguir melhorar os resultados enquanto o momento do treinamento on-line não for respeitado, evitando interrupções.
• Atingir as pessoas certas – Muitas vezes preferimos pecar pelo excesso do que pela omissão, mas isso não diminui o tamanho do pecado. Um número pequeno de pessoas bem treinadas pode multiplicar o conhecimento atingindo todos os envolvidos que não puderam participar. Já em um grupo grande, o descontentamento gerado pelas pessoas que não vêem a importância prática do treinamento pode colocar todo o esforço para a transferência do conhecimento em risco.
• Conduzido por um líder eficaz – Não adianta ser apenas expert no assunto ou somente um instrutor talentoso. A eficácia depende das duas coisas.
• Utilizar técnicas eficazes – Os instrutores também precisam ser capacitados e reciclados.
• Alcançar seus objetivos – Afinal, treinamento é investimento.
• Satisfazer seus participantes – Os alunos são os seus clientes finais.
• Medir seus resultados – E enfim saber se todos os pontos acima foram alcançados, como, quando e onde melhorar.

O que avaliar?

Para Kirkpatrick, o maior motivo para o insucesso das avaliações é não saber para as respostas que elas devem buscar:

• O programa deve continuar?
• Como o programa pode ser melhorado?
• Como justificar a existência dos instrutores e outras estruturas?

O exercício é fazer o caminho contrário: o que eu desejo justificar >> quais dados justificam isso >> como conseguir esses dados.

Para avaliar reação

• Determine o que você deseja descobrir: Ponto de partida.
• Desenhe um formulário que quantifique as reações: Até 5 perguntas, que demore no máximo um minuto para ser respondido.
• Encoraje os comentários neste formulário: Somente as pessoas com avaliação acima e abaixo da média costumam fazer comentários, mas só essas respostas são capazes de dar uma boa idéia da direção a ser tomada.
• Se desejado, ao invés de medir a reação logo em seguida, deixe para mais tarde: O tempo diminui o impacto, mas também favorece a reflexão.
• Defina quais seriam os resultados aceitáveis: Sempre há o que melhorar, mas para priorizar os pontos mais latentes é preciso ter esse parâmetro bem definido.

Para avaliar conhecimento

• Avalie antes e depois do programa - Mais importante do que o índice de aprovação é medir o ganho de conhecimento proporcionado.
• Empregue avaliação do tipo “prova” para conhecimento e atitudes.
• Empregue avaliações práticas para habilidades.
• Avalie 100% das pessoas.

Para avaliar comportamento

• Avalie antes e depois, para ter as evidências de mudança.
• Dê tempo ao tempo - 3 a 6 meses após o término do programa.
• Avalie 100% das pessoas ou defina uma amostragem.
• Repita a avaliação periodicamente – mudança comportamental se dá ao longo do tempo.
• Considere custo versus benefícios da mudança de comportamento.

Avaliar comportamento não é simples. Como colocar esse tipo de avaliação em um formulário que forneça dados quantitativos e qualitativos? O primeiro passo é refletir sobre o que leva a uma mudança de comportamento, em quais desses pontos o treinamento pode influir e como.

Mudança de comportamento necessita:

1. Vontade de mudar.
2. Ter os conhecimentos e habilidades necessárias.
3. Clima favorável.
4. Suporte e incentivo.
5. Reconhecimento pela mudança.

Na última página dos handouts da sessão, tinha um exemplo de avaliação comportamental. No link adiante você encontra uma tradução livre feita pela Karla Lopez que você pode baixar aqui.

Para avaliar resultados

• Avalie antes e depois – Novamente, o que justifica um treinamento não é somente alcançar o resultado, mas quantos passos foram dados para alcançá-lo.
• Dê tempo ao tempo – No mínimo 6 a 12 meses após o término do programa.
• Repita a avaliação periodicamente – Com isso é possível traçar o efeito versus tempo.
• Avalie uma amostragem – Neste caso, avaliar profundamente um número menor de pessoas é melhor do que avaliar 100% de forma rasa.
• Considere custo versus benefícios - Que nesse estágio já é o tão sonhado ROI (Retorno sobre o Investimento).
• Considere a “evidência” se não conseguir encontrar a “prova” – Em busca do ótimo não se faz o bom.