ARTIGO

 

Modelos lógicos e avaliações de treinamentos organizacionais

 

Modelos lógicos y evaluaciones de entrenamientos organizacionales

 

 

Sônia Maria Souza Damasceno^I; Gardênia Abbad^II; Pedro Paulo Murce Meneses^III

Universidade de Brasília, Brasília-DF, Brasil

Endereço para correspondência

 

 

---

RESUMO

A área de treinamento tem produzido pouco sobre análises organizacionais, de forma que avaliações de treinamento em níveis abrangentes tendem a ser escassas na literatura científica. Este estudo teve por objetivo propor um modelo lógico de avaliação de treinamento sobre o desempenho de uma organização pública, bem como testar sua avaliabilidade. Para tanto, foi realizada entrevista coletiva com 11 funcionários para identificação de treinamento capaz de alterar o desempenho da organização, entrevista com um funcionário para escolha de indicadores de desempenho organizacional sensíveis ao treinamento, entrevistas com sete funcionários com vistas à seleção de material para proposição do modelo, grupo focal com 28 funcionários para validação do modelo lógico. Ainda que a avaliabilidade do curso não tenha sido plenamente constatada, o modelo lógico permitiu a clarificação das relações entre o treinamento e o desempenho organizacional, principal entrave em processos avaliativos desta natureza.

Palavras-chave: treinamento de pessoal, avaliação de programa, avaliação de necessidades, avaliação de recursos humanos

---

RESUMEN

El área de entrenamiento ha producido pocos análisis organizacionales, por lo que evaluaciones de la formación en niveles más amplios tienden a ser poco frecuentes en la literatura científica. Esta investigación objetivó proponer un modelo lógico para evaluar el impacto de una capacitación en el desempeño de una organización pública, así como poner a prueba su posibilidad de evaluación. Para ese fin, fue llevada a cabo una entrevista colectiva con 11 empleados para identificar una formación con la posibilidad de modificar el desempeño de la organización, entrevista con un trabajador para elección de los indicadores de desempeño de la organización sensibles a la formación, entrevistas con siete empleados para elección de los materiales para la composición del modelo, grupo focal con 28 funcionarios para validar el modelo lógico. Aunque la evaluabilidad del curso no fue totalmente verificada, el modelo sirvió para aclarar las relaciones entre la formación y el desempeño de la organización, principal obstáculo en ese tipo de evaluaciones.

Palabras clave: entrenador personal, evaluación de programa, evaluación de necesidades, evaluación de recursos humanos

---

 

 

A partir da década de 1970, as emergentes inovações tecnológicas e novas formas de gestão da força de trabalho vêm impactando profundamente as relações entre empresas e seus principais atores, de modo que, atualmente, o mercado de consumo brasileiro, especialmente no caso de serviços de natureza pública, exige cada vez mais a prestação de serviços de qualidade. Nesse contexto, o reconhecimento da importância de uma força de trabalho atualizada e adaptável às constantes variações de cenário sócio-ambiental resulta no aporte de grande volume de recursos financeiros para capacitação de pessoas. Apesar dos altos investimentos, sobretudo nas empresas que optaram pela configuração de Centros Corporativos de Educação, grande parte tende a agregar pouco valor ao negócio das organizações (Eboli, 2004).

Na busca por explicações para as pequenas taxas de retorno desses investimentos, o campo da avaliação de treinamento tem-se destacado entre os diversos objetos de estudo da psicologia organizacional e do trabalho, da psicologia do treinamento, e mesmo da gestão de pessoas. Mas a maior parte dos estudos avaliativos concentra-se em efeitos no nível individual de análise. No que se refere à efetividade do treinamento, dimensão que contempla medidas e indicadores em níveis mais elevados de análise, o campo tem sido continuamente desafiado pela dificuldade de se articular objetivos e metas de desempenho individual com resultados organizacionais.

Este estudo trata, assim, da construção de uma proposta de avaliação de um determinado treinamento sobre o desempenho de uma organização pública federal, com vistas a orientar pesquisadores e profissionais na superação dos desafios apresentados à área de treinamento, desenvolvimento e educação de pessoas. Academicamente, este estudo objetivou identificar, por meio do uso da ferramenta denominada Modelo Lógico, a avaliabilidade (evaluability assessment) ou a pertinência da avaliação do impacto do treinamento proposto no desempenho de um órgão público. Para tanto, objetivos específicos foram propostos: (a) identificar uma ação de treinamento potencialmente capaz de influenciar o desempenho da organização, (b) selecionar indicadores para a avaliação da efetividade do treinamento, (c) desenvolver um modelo de avaliação da efetividade do treinamento, e (d) identificar evidências da efetividade do treinamento.

Referencial Teórico

Em um contexto altamente competitivo, ações de treinamento, desenvolvimento e educação de pessoas (TD&E), atualmente revigoradas pelos incrementos tecnológicos que tanto têm contribuído para a transformação dos centros tradicionais de treinamento nos denominados centros corporativos de educação, assumem importancia inestimável. Segundo Abbad e Borges-Andrade (2004), o papel de destaque da aprendizagem tem estimulado as empresas a configurarem sistemas de treinamento cujas oportunidades garantam maiores taxas de desempenho individual e organizacional.

Este sistema de treinamento é integrado por três componentes - avaliação de necessidades, planejamento e execução e avaliação de efeitos - que se articulam com as funções de gestão de pessoas e demais subsistemas organizacionais. Esta pesquisa concentra-se no último subsistema, que examina os resultados que as ações promovidas geram para indivíduos, equipes, organizações e, até mesmo, para a sociedade. Neste campo, muito se avançou a ponto da área, em função de contar atualmente com objetos e quadros teórico-metodológicos de referência bem delimitados, ter sido recentemente elevada à condição de campo científico de pesquisa (Salas & Cannon-Bowers, 2001).

Entretanto, a maioria desses avanços se concentrou em critérios de avaliação centrados em uma perspectiva individual de análise, tipicamente operacionalizados por meio de medidas de satisfação e utilidade com o treinamento, de aprendizagem e de desempenho pós-treinamento, de forma que não estão assegurados efeitos em níveis mais abrangentes relativos às unidades de trabalho e a organização (Mourão, 2004). Conforme Meneses (2007), pouco se sabe sobre como os treinamentos, comumente delineados para atender apenas necessidades individuais, geram resultados em níveis de análise mais elevados.

Entre os estudos que cientificamente buscaram superar tal limitação, têm-se apenas alguns, como os desenvolvidos no Brasil por Borges-Andrade, Pereira, Puentes-Palácios e Morandini (2002), Freitas (2005), Mourão (2004), Mourão, Borges-Andrade e Salles (2006) e Meneses (2007). Já segundo revisão publicada no Annual Review of Psychology (Aguinis & Kraiger, 2009), consagrada revista que reúne periodicamente, desde a década de 1970, a produção internacional da área de TD&E, tem-se, na maior parte, pesquisas de opinião academicamente pouco rigorosas.

Para Freitas, Borges-Andrade, Abbad e Pilati (2006), o número reduzido de estudos se deve ao fato de que: (a) os sistemas de controle organizacional raramente contemplam indicadores de efetividade sensíveis às ações de treinamento, (b) os treinamentos costumam ser desenhados de modo desvinculado dos efeitos organizacionais almejados, e (c) na maioria dos casos, a prática de avaliação contempla apenas medidas de satisfação com o curso, aprendizagem e desempenho individual pós-treinamento. Mourão et al. (2006) acrescentam a esta lista o fato de que nem todos os eventos de TD&E objetivam atingir resultados em níveis mais abrangentes de análise.

Avaliar a efetividade de programas de treinamento, portanto, consiste em preocupação que urge na área de TD&E. Segundo Pilati (2006), a partir da década de 1990, foram desenvolvidos e testados diversos modelos integrados de avaliação da efetividade de programas instrucionais, com resultados suficientes para descrição de um modelo geral de avaliação adaptável a cada realidade organizacional. Resta saber, ante as limitações apontadas, como adaptá-los a um contexto de treinamento comumente marcado pela ausência sistemática de avaliações de necessidades de treinamento e de processos efetivos de planejamento e execução instrucional.

Mas a adaptação de um modelo geral de avaliação para contextos específicos de treinamento constitui apenas um efeito a ser superado pelo enfrentamento de sua causa original, qual seja a escassa produção sobre análises organizacionais em avaliação de necessidades, cuja principal função é articular objetivos instrucionais com desempenhos individuais, de grupos e organizacionais (Ferreira, Abbad, Pagotto, & Meneses, 2009). É provável que essa estagnação, também enfatizada por Pilati (2006), decorra justamente do objeto de estudo pretendido em avaliações de resultados mais abrangentes de TD&E - a efetividade organizacional.

Conforme correntes de estudo contemporâneas (Cameron, 1981; Connolly, Conlon, & Deutsch, 1980; Selden & Sowa, 2005; Zammuto, 1984), para as quais a efetividade varia em função das coalizões dominantes e seus principais interesses sobre as atividades organizacionais, uma das grandes dificuldades de pesquisas que operem tal construto consiste justamente na caracterização do fenômeno. Identificar essas coalizões e seus principais interesses não parece ser tarefa fácil, a ponto de emergirem outros complicadores mesmo quando devidamente executada. Entre esses, destaca-se a necessidade de fazer convergir os interesses dessas coalizões e, principalmente, suas crenças sobre como determinado programa de TD&E se alinha com certo aspecto do desempenho organizacional.

Por tais motivos, conforme orientações de Meneses (2007), recorreu-se à literatura de avaliação de programas sociais, que há muito enfrenta as dificuldades com as quais se depara hoje o campo da avaliação de treinamento. Mais especificamente se buscou amparo na ferramenta denominada de modelo lógico, cujo objetivo central, conforme McLaughlin e Jordan (2004), é tornar claras as relações de causalidade entre os principais elementos que, no caso deste estudo, integram um programa de TD&E - recursos (humanos, financeiros, materiais, dentre outros), atividades (programação instrucional e operacional e execução do treinamento), produtos (níveis de satisfação com o curso e de aprendizagem), resultados de curto (desempenho individual), médio (desempenho de grupos e equipes) e de longo prazo (desempenho organizacional) e variáveis interferentes (fatores previstos ou não que afetam os resultados associados ao treinamento). São essas relações, negligenciadas em processos de avaliação de necessidades de treinamento, que compõem avaliações de efeitos em níveis mais abrangentes de análise.

Clarificar e convergir as percepções de diversas coalizões influentes sobre a forma como determinado treinamento afeta o desempenho de uma organização é, assim, a maior contribuição do uso da citada ferramenta no desenvolvimento de modelos contextualizados de avaliação da efetividade de TD&E. Ainda que de complexa composição em contextos de treinamento pouco sistemáticos, os modelos lógicos representam o teste final da aqui denominada avaliabilidade da avaliação da efetividade de treinamento.

Nesse sentido, antes de avançar sobre a descrição dos métodos, procedimentos e técnicas de pesquisa ora utilizados, é importante rememorar o objetivo maior deste estudo, qual seja identificar a avaliabilidade da avaliação do impacto de determinado treinamento no desempenho de um órgão público. E também os objetivos específicos propostos: (a) identificar uma ação de treinamento potencialmente capaz de influenciar o desempenho da organização, (b) selecionar indicadores para a avaliação da efetividade do treinamento, (c) desenvolver um modelo de avaliação da efetividade do treinamento, e (d) identificar evidências da efetividade do treinamento.

 

Método

Participantes e Local

Esta pesquisa foi realizada junto a uma concessionária de serviço público de energia elétrica, sediada no Distrito Federal, cujo propósito é a realização de estudos, projetos, construção e operação de usinas geradoras e de sistemas de transmissão e distribuição de energia elétrica, bem como a celebração de atos de comércio decorrentes dessas atividades. Desenvolvido a partir da realização de um levantamento de opiniões de abordagem qualitativa, este estudo foi desmembrado em quatro etapas complementares, cada qual executada mediante aplicação de um conjunto específico de técnicas e procedimentos com vistas ao cumprimento de determinado objetivo específico: (a) entrevistas para identificação de treinamento capaz de afetar o desempenho da organização (etapa 1), (b) entrevista para seleção de indicadores de desempenho organizacional sensíveis aos resultados operacionais supostamente impactados pelo curso selecionado (etapa 2), (c) entrevistas e pesquisa documental para elaboração do Modelo Lógico do treinamento (etapa 3), e (d) grupo focal para validação do Modelo Lógico (etapa 4).

Da primeira etapa participaram 11 pessoas responsáveis pelo monitoramento dos indicadores de desempenho da organização relacionados aos programas de TD&E da instituição: um diretor, um superintendente, três gerentes de divisão e seis lideres de processo. Os participantes são do sexo masculino e pertencem ao quadro de empregados regulares, têm idade variando entre 44 e 58 anos e, em sua maioria, são engenheiros com tempo de serviço entre 17 e 27 anos. Na segunda etapa, como apenas um empregado encontrava-se disponível para o fornecimento das informações requisistadas, uma única entrevista foi realizada com um profissional do sexo masculino, de 49 anos, dos quais 21 tinham sido dedicados ao exercício do cargo de contador, cuja atribuição consiste no monitoramento e análise dos indicadores financeiros da empresa. Da etapa cujo foco consistia na elaboração do modelo lógico (etapa 3), participaram sete funcionários da unidade de recursos humanos da organização: um superintendente, um gerente, dois coordenadores de cursos, um coordenador de avaliação de treinamento e dois estagiários encarregados da alimentação do banco de dados de avaliação dos cursos. O perfil dos participantes é de predominância feminina, com idades entre 25 e 59 anos e com 8 a 27 anos de tempo de serviço. Na última etapa estiveram presentes nove gerentes imediatos dos empregados treinados no curso: oito do sexo masculino; todos pertencentes ao quadro regular de empregados; idades entre 41 e 51 anos; Técnicos Industriais e quatro Engenheiros. Portanto, 28 pessoas, incluindo os gerentes cujo perfil acaba de ser descrito, participaram da etapa final de validação do Modelo.

Instrumentos

Como apontado na seção anterior, quatro etapas compuseram o desenho do estudo em questão, cada qual desenvolvida a partir da aplicação de um ou mais instrumentos de coleta de dados: (a) roteiro estruturado de entrevista (etapas 1, 2 e 3), e (b) roteiro para condução de grupo focal (etapa 4). Destaca-se que a pesquisa documental efetuada quando da realização da etapa 3 não fora cumprida a partir de roteiro previamente estabelecido; neste caso, os dados foram capturados dos documentos integrados ao estudo apenas com o intuito de se identificar alguns elementos necessários à composição do referido Modelo Lógico, mas não verbalizados nas entrevistas antes realizadas. Detalhes sobre cada instrumento ora utilizado são adiante apresentados.

Roteiro de entrevista etapa 1. Com o objetivo de permitir a identificação de um treinamento capaz de afetar o desempenho da organização, o roteiro foi composto dos seguintes itens e questões: (a) processos organizacionais - "Considerando os processos realizados, indique, na sua percepção, aquele que reflete os resultados operacionais mais importantes para empresa"; (b) indicadores processuais - "Identifique os indicadores que medem os processos apontados na resposta à questão anterior"; (c) ação educacional - "Identifique, na lista de ações de educação ofertadas pela empresa, aquela que favorece a melhoria do desempenho dos indicadores processuais e dos empregados que realizam os processos destacados".

Roteiro de entrevista etapa 2. A fim de que fossem identificados os indicadores de desempenho organizacional que melhor se associavam aos resultados operacionais selecionados na primeira etapa, neste caso, a entrevista foi baseada em uma única pergunta: considerando a ação educacional e os indicadores operacionais identificados na etapa anterior, quais indicadores de desempenho organizacional podem ser a ela associados? A ideia, portanto, era confirmar os indicadores identificados na etapa anterior, mas a partir de uma lógica inversa de pesquisa, do tipo base-subida, que considerasse como ponto de partida não o desempenho organizacional, mas, sim, o treinamento selecionado.

Roteiro de entrevista etapa 3. Face ao objetivo de elaboração da versão preliminar do Modelo Lógico do treinamento organizacional antes selecionado, o instrumento em questão buscou identificar coordenadores, instrutores, facilitadores e avaliadores da ação educacional; selecionar relatórios e demais documentos emitidos nas etapas de planejamento, realização e avaliação do curso selecionado; e identificar condições que poderiam afetar os resultados do treinamento. Novamente, ressalta-se que a pesquisa documental também efetuada nesta etapa não fora efetivada em conformidade com instrumento previamente elaborado.

Roteiro de entrevista etapa 4. Com o objetivo de validar o Modelo Lógico ora constituído, o roteiro foi integrado pelos seguintes itens e questões: (a) indicadores - "Os indicadores de efetividade ajustam-se às metas e aos objetivos pretendidos pelo curso?", "Existe algum outro indicador impactado pelo treinamento?"; (b) recursos - "Os recursos financeiros, materiais e humanos disponibilizados para o curso foram adequados às necessidades de realização?"; (c) planejamento - "Os objetivos educacionais foram adequados e estão alinhados aos resultados propostos?"; (d) avaliação - "As estratégias instrucionais ajudaram no alcance dos objetivos instrucionais?", "A avaliação de aprendizagem refletiu os conteúdos adquiridos no curso?"; (e) processos - "A avaliação de satisfação com o curso captou a percepção dos treinandos em relação às condições em que o treinamento ocorreu (instrutores e programação)?"; (f) impactados - "A avaliação de desempenho individual pós-treinamento conseguiu traduzir os efeitos do curso no trabalho e as condições de suporte para aplicação de novos conhecimentos?", "Existem outros processos, além daquele de transmissão (pré-operação, tempo real e pós-operação), que estão sendo impactados com os efeitos do curso?", (g) proposição de metas - "Existem expectativas de outros resultados como consequência dos efeitos do curso?".

Procedimento

Coleta de dados. Para realização da etapa 1, o roteiro de entrevista foi aplicado coletivamente no grupo de 11 pessoas implicados no monitoramento dos indicadores de desempenho da instituição. Com duração aproximada de 2 horas, essa entrevista fora assim conduzida em função da necessidade de tornar célere a coleta de dados neste momento. Fosse efetuada individualmente, tal procedimento poderia culminar, por diversas vezes, na identificação de ações de treinamento com poucas chances de afetar o desempenho da organização e, portanto, inoportuna ante os fins desta pesquisa. Por tal motivo é que se optou, primeiramente, por identificar os indicadores de desempenho organizacional para que, em seguida, pudesse ser localizado determinado treinamento capaz de afetá-lo.

Em relação a segunda e terceira etapas, as entrevistas foram aplicadas, individualmente, junto ao funcionário responsável pelo monitoramento e análise dos indicadores financeiros da empresa e aos sete funcionários da unidade de recursos humanos da instituição, respectivamente. Em ambos os casos, o tempo médio de realização das entrevistas foi de 30 minutos, tendo sido os relatos verbais devidamente registrados pelos pesquisadores, rotina também aplicada na primeira e na última etapa deste estudo. No caso da aplicação da pesquisa documental, vale assinalar que as informações e os dados pertinentes, tal como indicado pelos participantes das etapas anteriores, foram obtidos em ofícios formais à disposição física e virtualmente na instituição selecionada para este estudo, a saber: Relatório de Gestão, Planejamento Estratégico, Plano de Desenvolvimento e Educação, Relatório de Gestão de Pessoas, Relatório do Sistema de Avaliação de Treinamento e Relatório do Desempenho Operacional.

Por fim, a etapa 4, de validação do Modelo Lógico então constituído, foi operacionalizada a partir da condução de um grupo de foco do qual participaram, como mencionado, nove gerentes imediatos dos empregados treinados no curso. Com duração de 3 horas e 30 minutos, esta etapa, diferentemente das anteriores, objetivou reunir visões consensuais acerca das questões integradas ao roteiro antes exposto. As perguntas eram então apresentadas aos participantes, que deveriam discuti-las e, em seguida, expor para os pesquisadores argumentos que refletissem a visão de todo o grupo, e não de um ou outro participante.

Análise dos dados. Apesar de a abordagem qualitativa imperar neste estudo, as respostas obtidas a partir da aplicação dos roteiros de entrevista, pesquisa documental e grupo focal receberam tratamento analítico compatível com o modo de estruturação das perguntas componentes. Assim, ante o reduzido grau de abertura desenvolvido nas questões apresentadas aos participantes, visto que os roteiros eram de natureza estruturada, não foram aplicadas técnicas analíticas apropriadas para a compreensão de relatos verbais mais abertos, tal como análise de conteúdo ou do discurso. Em todas as etapas analíticas, os pesquisadores apenas buscaram identificar, nos relatos expostos pelos grupos de participantes, os elementos necessários à composição e validação do Modelo Lógico do treinamento organizacional selecionado previamente.

Considerações Éticas

O estudo atendeu aos princípios éticos exigidos da prática de pesquisa com seres humanos. Apesar de não integrar esforços de pesquisa da área da psicologia organizacional, cujas rotinas de pesquisas com seres humanos exigem apreciação de comitês de ética apropriadamente constituídos, neste estudo todos os envolvidos anuíram, livre e formalmente, em submeter-se à aplicação dos instrumentos descritos, em terem os relatos verbais registrados e divulgados pelos pesquisadores desde que impossibilitada qualquer tentativa de identificação dos participantes ora reunidos.

 

Resultados e Discussão

Na primeira etapa, realizada com objetivo de identificar ação educacional potencialmente capaz de produzir alterações no desempenho organizacional, os 11 participantes julgaram mais relevante, em função da primeira questão a eles apresentada, o Processo de Operação de Sistemas, necessário à disponibilização de equipamentos para a continuidade da manutenção dos contratos firmados com fornecedores. Selecionado tal processo, os seguintes indicadores foram identificados pelos participantes: Índice de Disponibilidade de Linhas de Transmissão e de Equipamentos - probabilidade de que, em dado momento, as linhas de transmissão de energia elétrica ou dos equipamentos estejam operando satisfatoriamente, ou prontos para serem colocados em operação, caso necessário; e Índice de Desempenho Individual - composto a partir de percepções de empregados e gerentes sobre a gestão de pessoas e a saúde integral dos funcionários, a qualidade dos processos de trabalho e as condições para efetivação desses trabalhos.

O destacamento destes processos e indicadores converge com a atuação da própria organização, cujos esforços, ao se concentrarem em ações de responsabilidade social, são operacionalmente direcionados para a otimização de processos, a redução de custos e o aumento da satisfação dos clientes e colaboradores. Estes esforços, por sua vez, resultam diretamente dos interesses dos principais atores organizacionais da instituição, integrados em quatro grandes coalizões - sociedade, acionistas, clientes e pessoas.

Neste estudo, ao final da primeira etapa, ficou evidente o foco apenas na perspectiva dos clientes, cujo objetivo maior consiste, conforme informações retiradas dos documentos analisados em etapas subsequentes, em assegurar a qualidade e a disponibilidade de energia elétrica ao cliente, garantir a viabilidade dos empreendimentos, parcerias, autorizações e concessões no mercado de energia elétrica e consolidar a participação da empresa no negócio de telecomunicações.

Identificados os processos mais relevantes para o desempenho da organização, bem como os indicadores associados a tais processos, restava selecionar uma ação de treinamento capaz de afetá-los. De posse do Plano de Diretor de Educação da Instituição, os participantes consideraram que o curso de Reciclagem de Operadores de Sistema (ROSI) era adequado aos fins do presente estudo. Este treinamento de atualização profissional, cuja clientela é formada pelos empregados classificados no Plano de Cargos e Carreira da empresa como Operadores de Sistemas, relaciona os aspectos operativos, normas técnicas, procedimentos de rede vigentes, regras dos órgãos de regulação, fiscalização e política de fornecimento definida pela empresa.

O grupo de instrutores, formado por empregados da própria organização, foi definido com base na condição da especificidade do processo de transmissão, pelo conhecimento da região atendida pela empresa e pela necessidade de transferência de conhecimentos de empregados que detêm visão profunda das atividades que compõem o processo de transmissão de energia elétrica. A metodologia empregada no ROSI incluiu aulas expositivas, estudos dirigidos, trabalhos individuais e em grupo e dinâmicas de grupo. Totalmente realizado na modalidade presencial, contabilizou carga de 341 horas.

Cientes da ação de treinamento selecionada, na segunda etapa da pesquisa buscou-se identificar os indicadores de desempenho organizacional mais bem articulados aos objetivos instrucionais do curso de reciclagem. Segundo opinião do entrevistado, esses indicadores estariam presentes no Índice de Desempenho do Sistema de Transmissão, no Índice de Satisfação dos Clientes e no Índice de Satisfação com o Clima Organizacional. A Tabela 1 elucida a vinculação entre alguns objetivos do ROSI com indicadores de resultado e dimensões do desempenho organizacional identificados nas etapas 1 e 2 da pesquisa.

De posse dessas informações, a terceira etapa envolveu a elaboração de uma representação gráfica, denominada de Modelo Lógico, da Teoria do Programa do ROSI. Por teoria do programa, entende-se a suposição e descrição de uma série de relacionamentos associativos ou causais entre variáveis ou componentes integrantes de um programa, no caso, de natureza educacional. Realizada a partir de análises documentais e entrevistas com sete funcionários da empresa, a pesquisa buscou coletar informações sobre os principais componentes integrantes do Modelo Lógico, adaptados para situações de TD&E conforme orientações de Meneses (2007).

A Tabela 2 apresenta a caracterização de cada um desses componentes resultantes das análises ora empregadas na consecução da etapa 3 desta pesquisa, bem como as relações causais hipotetizadas. Visto que tais relações assumiram configurações lineares, optou-se por representar o Modelo Lógico na modalidade topo-descida, conforme recomendado por McLaughlin e Jordan (2004). Nessa modalidade, as variáveis primárias são dispostas no topo da representação e as finalísticas, em sua base.

Representada graficamente a Teoria do Programa do treinamento de ROSI, fez-se necessário validá-la. Durante a realização do grupo de foco, algumas manifestações culminaram com a incorporação de novos elementos à representação gráfica anteriormente apresentada, mas apenas no que diz respeito aos resultados de médio-prazo, que passaram a incorporar as expectativas de diminuição do tempo de recomposição de sistema e do tempo de realização de manobras de manutenção de linhas e equipamentos. Complementado o modelo, deu-se por validada a Teoria do Programa do curso.

Encontrava-se preparado o treinamento para a realização de avaliação em níveis mais abrangentes que aqueles tradicionalmente centrados no indivíduo, conforme operados pela área de TD&E. Colocado de outra forma, estava preparada a testagem da avaliabilidade da avaliação da efetividade do ROSI. Similarmente à acepção do termo avaliabilidade adotada na literatura de Avaliação de Programas Sociais, em situações de TD&E a avaliabilidade pode ser compreendida como o grau de proximidade entre o modelo retórico e aquele real de determinado programa de treinamento. Por modelo retórico entende-se um conjunto de suposições sobre como o programa afetará as necessidades que o justificaram. Já o modelo real indica o que de fato é feito para que tais necessidades sejam satisfeitas.

Em situações de TD&E, a avaliabilidade assume importância fundamental à medida que, geralmente, os programas não são precedidos por avaliações sistemáticas de necessidades de treinamento. De fato, a literatura especializada, desde que a área assume caráter científico, com a publicação de Campbell (1971), até a data da última revisão internacional (Aguinis & Kraiger, 2009) publicada no Annual Review of Psychology, pouco avançou no que diz respeito à avaliação de necessidades. Faltam orientações para que necessidades idealizadas no nível organizacional de análise - que orientam, posteriormente, avaliações da efetividade de treinamento - sejam articuladas àquelas observadas nos níveis de grupos e equipes e individual. O modelo de McGehee e Thayer (1961) permanece ainda como um dos guias mais importantes para realização de avaliação de necessidades.

Este modelo de base orienta a avaliação de necessidades a partir de três questionamentos: onde o treinamento deve ser implantado, o que deve ser treinado e quem deve ser treinado? Apesar de melhor direcionar o processo em discussão, essas três questões não permitem que determinado programa de treinamento seja articulado com o desempenho de uma organização. Na melhor das hipóteses, caso a primeira pergunta seja respondida, torna-se possível vincular a ação educacional com o desempenho de um setor, área, departamento dentre outros.

Mas é preciso ressaltar que o Modelo de McGehhe e Thayer foi formulado anteriormente ao período em que a Teoria Geral de Sistemas começa a ser aplicada (Mattessich, 1978) no estudo de organizações. Dessa forma, à época de sua proposição, não se discutia tão incisivamente, ainda, a necessidade de as organizações contarem com estratégias negociais que lhe permitissem racionalizar sobre aspectos externos e competir em cenários turbulentos. Bastava que as pessoas fossem treinadas em rotinas estáveis e previsíveis para que se mantivesse em um patamar aceitável o desempenho das organizações.

Nesse âmbito, não fazia sentido discutir a necessidade de alinhamento entre programas de TD&E e desempenho e efetividade organizacional, discurso atualmente muito enfatizado na área de treinamento, mas sem seguimento nas práticas científicas e profissionais, de forma que são raros os casos de iniciativas de realização de avaliação de necessidades em níveis mais abrangentes de análise. Segue o indivíduo como principal balizador, até hoje, de tomadas de decisão sobre necessidades de treinamento, como se, adiante, resultados individuais de treinamento, como satisfação, aprendizagem e desempenho culminassem, invariavelmente, com aperfeiçoamentos dos desempenhos de grupos e equipes e mesmo organizacionais. Trata-se da crença, há muito destacada por Alliger e Janak (1989) e ainda proeminente, de que resultados observados no nível do indivíduo agregam-se, independentemente do tipo de desempenho enfocado pela ação educacional e das configurações contextuais que a permeia, para gerar mudanças em níveis mais elevados.

É nesse cenário que urge a redução da discrepância entre os modelos retóricos e reais sobre como determinado programa de treinamento afeta os resultados previstos pelas organizações. No presente estudo, essa redução foi promovida a partir do uso dos Modelos Lógicos. Trata-se de uma medida remediadora, uma vez aplicada na etapa de avaliação de efeitos do treinamento de ROSI. De qualquer forma, mostrou-se útil na coleta de informações sobre a pertinência da avaliação do treinamento em níveis mais abrangentes de análise, ponto central de discussão deste ponto em diante.

As quatro etapas de pesquisa anteriormente descritas tinham como propósito, conforme informado, gerar informações suficientes para que pudessem ser compreendidos os mecanismos pelos quais o treinamento de ROSI afetaria o desempenho da organização estudada. Antes disso, essas etapas, essencialmente as três primeiras, proveram dados suficientes para a identificação dos elementos abarcados pelo treinamento e necessários à elaboração do Modelo Lógico.

Como discutido por estudiosos da avaliação de programas (Fitzpatrick, Sanders, & Worthen, 2004; McLaughlin & Jordan, 2004; Posavac & Carey, 2003), a reunião e a efetivação de acordos sobre as informações de um programa, geralmente distribuídas em diversos atores, cada qual com sua impressão sobre a realidade enfrentada, configura-se como condição inicial para a realização de avaliações. Sem dados confiáveis, não há como avançar. No caso do treinamento de ROSI, que não foi precedido por uma avaliação de necessidades que indicasse os resultados organizacionais a serem impactados, essas informações foram coletadas a partir de entrevistas, pesquisas documentais e grupo focal.

Essas técnicas de coleta de dados mostraram-se úteis, na ordem em que foram empregadas. Por mais que avaliações de necessidades de treinamento não sejam efetivamente realizadas, se o treinamento assume caráter estratégico para a organização, é provável que dados sobre a suposta articulação do programa com o desempenho organizacional existam. No caso do treinamento de ROSI, esses dados estavam disponíveis. Mas isso porque a organização estudada conta com um centro corporativo de educação, cujo propósito é justamente alinhar as ações de qualificação profissional com suas necessidades de desempenho.

Apesar de disponíveis, mesmo assim os dados pouco refletiam as conexões entre necessidades individuais e organizacionais de treinamento ou, segundo a lógica avaliativa, entre os resultados individuais e a efetividade do treinamento. Sabia-se, no máximo, que o treinamento se enquadrava, conforme dimensões enfatizadas pelo centro corporativo de educação da empresa, na perspectiva do cliente, e que, nessa, vinculava-se mais estreitamente ao desempenho de processos operacionais. Mas não havia informação alguma sobre a relação destes aspectos mais abrangentes como indicadores de aprendizagem e de desempenho individual pós-treinamento. Neste momento, as entrevistas e o grupo focal foram de grande valia.

Este é outro ponto que merece destaque. Conforme Freitas e Borges-Andrade (2004), a avaliação da efetividade do treinamento torna-se muito abrangente à medida que exige mensurações de mudanças em processos de trabalho, produtividade, clima e cultura organizacional, entre outras possibilidades. Essa exigência reforça a ideia de que o profissional de treinamento, por meio do emprego de métodos e técnicas analíticas mais participativas, compartilhe a responsabilidade pelo planejamento e execução da avaliação com atores mais bem entrosados com as medidas e indicadores que futuramente serão utilizados. Na presente pesquisa, foram realizadas entrevistas e grupo focal com especialistas nas dimensões do desempenho da organização mais bem relacionadas com o treinamento de ROSI. O compartilhamento de responsabilidades faz-se necessário não apenas na etapa de avaliação de efeitos de treinamento, mas, principalmente, na avaliação de necessidades.

Reunidas tais informações, surgiu a necessidade de se localizar os indicadores que serviriam aos fins da avaliação em preparação. Como colocado por Fitzpatrick et al. (2004), a disponibilidade de dados sobre os indicadores de resultado delineados é outro ponto fundamental na determinação da avaliabilidade da avaliação de um programa. A ausência desse tipo de informação impede que avaliações sejam operacionalizadas. Já a disponibilização parcial limita as alternativas de desenho de pesquisa mais robustas a ameaças da validade interna e externa da pesquisa.

No caso do ROSI, esses dados eram sistematicamente monitorados pela organização desde antes da implantação da solução educacional. Mais uma vez, a explicação para tal ocorrência está no fato de o treinamento estudado integrar uma perspectiva do desempenho da organização de extrema relevância para a manutenção e expansão de seu posicionamento de mercado. Casos, como aquele enfrentado por Meneses (2007), em que os dados sobre os indicadores selecionados não estejam disponíveis podem representar entraves consideráveis à condução de avaliação da efetividade de treinamentos.

Estudos de avaliação de treinamentos em níveis são relevantes não apenas por permitirem a observação desses tipos de resultados, mas, principalmente, por permitirem que ao programa de treinamento sejam atribuídos os resultados percebidos. A lógica do investimento em ações de TD&E exige, como clamam alguns profissionais e estudiosos, demonstrações concretas de que os programas de treinamento realmente afetam o desempenho das organizações. E isso demanda o uso de delineamentos quase experimentais que isolem uma gama de variáveis capaz de explicar, mesmo na ausência dos treinamentos, os resultados organizacionais almejados.

O uso de desenhos de pesquisa dessa natureza marcou a solidificação da área de avaliação de programas, em meados da década de 1950, como campo cientifico de estudos e, agora, assume centralidade em pesquisas também da área de TD&E. Segundo Shadish, Cook e Campbell (2002), diversos delineamentos quase experimentais podem ser utilizados, alguns mais frágeis, outros mais robustos a interferências de variáveis estranhas, embora conhecidas, ao contexto da pesquisa. O que determinara a escolha de um ou outro delineamento, entre tantos aspectos, é a disponibilidade de dados.

Como destacado pelos autores, estudos mais resistentes à influência de variáveis interferentes são compostos por diversos parâmetros avaliativos, como pré-testes e diversos grupos de comparação. Estudos mais frágeis fazem uso de um número menor de parâmetros (exemplo, um único grupo e uma única testagem), o que resulta em conclusões mais duvidosas acerca das relações entre as variáveis estudadas. Nessa pesquisa, os dados eram sistematicamente monitorados mesmo antes da projeção da ação educacional, de forma que estudos posteriores de avaliação bem poderiam fazer uso de delineamentos de pesquisa mais robustos.

Mas quando este não é o caso, colocam-se em risco os esforços de preparação da sistemática de avaliação do impacto de treinamentos sobre o desempenho das organizações. Esta talvez seja a principal limitação do uso dos Modelos Lógicos apenas na etapa de avaliação de efeitos de TD&E. Elaborá-los exige esforço considerável e nem sempre há garantia da pertinência da avaliação. Como asseveram James (1992) e Shelton e Aligger (1993), nem sempre avaliações da efetividade de treinamentos são oportunas.

Mais uma vez, destaca-se o uso de desenhos quase experimentais em pesquisas de avaliação pela necessidade de ao treinamento ser atribuído, seguramente, os resultados observados no desempenho da organização. E justamente porque tais delineamentos permitem maior controle sobre outras tantas variáveis, como políticas, programas e ações organizacionais paralelas, que concorrem pelos mesmos resultados almejados pela ação de treinamento.

No caso ora estudado, havia indícios de que outras variáveis precisariam ser consideradas nos estudos derradeiros de avaliação, pois, de acordo com os resultados da etapa 3, constatou-se que, apesar de os participantes terem avaliado bem o treinamento no que dizia respeito ao desempenho didático, ao próprio desempenho e à programação do curso (4.37 < Média < 4.67), as taxas de desempenho individual pós-treinamento foram relativamente baixas (M = 2,93 para autoavaliação e M = 2,95 para heteroavaliação percebida pelos gerentes).

De outra forma, pode-se afirmar que os participantes gostaram do curso, mas não o utilizavam com tanta intensidade na execução de suas tarefas e atividades. Se as taxas de utilização eram baixas, seria improvável que alterações no desempenho da organização pudessem ser atribuídas ao treinamento. Isto não significa que alterações não pudessem ser constatadas, até poderiam, mas isso não determina que os resultados organizacionais fossem decorrentes unicamente da realização do ROSI.

Tal fato remete a um último aspecto, porém de grande importância na medida em que permite concluir sobre a avaliabilidade da avaliação do ROSI nos níveis de resultados organizacionais - o comportamento dos demais componentes do Modelo Lógico, principalmente no que diz respeito aos produtos e resultados de curto-prazo, equivalentes aos níveis de aprendizagem e desempenho individual pós-treinamento. Como já informado, os resultados neste último nível - é preciso lembrar que dados sistemáticos sobre avaliações de aprendizagem não estavam disponíveis - estavam aquém do esperado, de forma que a avaliação do impacto do curso sobre os resultados de médio e de longo-prazos previstos no modelo tornava-se inoportuna.

Pelo menos do ponto de vista profissional, não se justificava o esforço de prosseguir com esta avaliação, tanto porque, se os resultados fossem constatados, não poderiam ser creditados integralmente ao curso de ROSI. De qualquer forma, bem poderiam ser usados pela organização na composição de alguma estratégia remediadora que elevasse os desempenhos individuais pós-treinamentos. Já do ponto de vista científico, ante o escasso desenvolvimento teórico-metodológico da área sobre a efetividade de TD&E, torna-se evidente a relevância da continuidade da pesquisa, principalmente se fosse possível a construção de um modelo investigativo integrado por variáveis do contexto organizacional já reconhecidas pela literatura mundial como determinantes de efeitos no nível individual de análise. Há suposições de que essas variáveis também determinam resultados mais abrangentes, de forma que testes nesse sentido seriam de grande valia para a área.

 

Considerações Finais

Considera-se satisfeito o principal objetivo desta pesquisa - identificar a avaliabilidade da avaliação de um programa de treinamento em termos de resultados organizacionais. Como discutido por Meneses (2007), a Teoria do Programa, operacionalizada por meio da elaboração de Modelos Lógicos, foi de grande valia para a compreensão do potencial do treinamento de ROSI de impactar positivamente no desempenho da organização estudada. Importantes informações puderam ser coletadas, de forma que se sabe, agora, serem baixas as probabilidades de que o treinamento possa ser responsabilizado caso sejam observadas mudanças no desempenho da organização.

Entendida como solução remediadora integrada à etapa de avaliação de treinamento, a ferramenta, em termos práticos, mostrou-se útil para que a organização proponha configurações contextuais mais favoráveis ao desempenho pós-treinamento, seja qual for o nível de análise pretendido. Para fins científicos, o uso da ferramenta possibilita a retomada das taxas de produtividade da área de avaliação de efeitos de TD&E, estagnadas quando níveis mais elevados de análise passam a ser considerados. Principalmente porque a ferramenta exige o compartilhamento de dados e impressões que, nesses níveis mais elevados, estão fora da alçada dos profissionais tradicionalmente responsáveis por pesquisas de avaliação.

A ciência do treinamento, e somente recentemente, passou a preocupar-se, de modo mais sistemático, com o planejamento e entrega de ações de TD&E para grupos e equipes de trabalho, de forma que ferramentas que permitam uma melhor compreensão desses níveis têm muito a contribuir para a área. Este é o caso dos Modelos Lógicos, que, operante sob uma lógica de compartilhamento de decisões, permitem melhor manipulação de variáveis nesses níveis de análise sem que necessariamente teorias e conceitos referentes tenham de ser dominados pelos profissionais de treinamento.

Destes, apenas se espera capacidade de articulação entre os modelos retóricos e reais concebidos pelos diversos atores organizacionais interessados no programa de treinamento enfocado. Apesar de o objetivo ter sido alcançado, esta pesquisa detém uma importante limitação. Como discutido anteriormente, dados relativos à aprendizagem não foram considerados na composição do Modelo Lógico do treinamento de ROSI. Assim, especulou-se que a quebra dos elos do Modelo se deu no componente denominado de Resultado a Curto-prazo, quando, de fato, pode ter se dado em um nível anterior de análise - Resultados. Também consiste fragilidade desta pesquisa a mera especulação, não antecedida, portanto, pela obtenção de dados confiáveis acerca da questão, sobre variáveis interferentes das relações de causalidade supostas no Modelo preparado para o curso de ROSI.

Pesquisas que façam uso da ferramenta aqui apresentada devem incorporar na checagem da discrepância entre o modelo ideal e real do programa avaliado, questionamentos sobre variáveis, no nível individual, de grupos e equipes, organizacional e socioambiental, capazes de afetar as relações de causalidade supostas. Neste estudo apenas se questionou sobre outros resultados como consequência dos efeitos do curso, mas não sobre variáveis intervenientes. De qualquer forma, tem-se uma importante ferramenta remediadora de processos não sistemáticos de avaliação de necessidades de treinamento que até mesmo pode vir a se configurar, na ausência de produção sobre o assunto e, pelo menos, do ponto de vista profissional, como uma nova metodologia qualitativa de análise organizacional.

 

Referências

Abbad, G. S., & Borges-Andrade, J. E. (2004). Aprendizagem humana em organizações de trabalho. In J. C. Zanelli, J. E. Borges-Andrade, & A. V. B. Bastos (Orgs.), Psicologia, organizações e trabalho no Brasil (pp. 237-275). Porto Alegre: Artmed.         [ Links ]

Alliger, G. M., & Janak, E. A. (1989). Kirkpatrick's levels of training criteria: Thirty years later. Personnel Psychology, 42(2), 331-342. doi: 10.1111/j.1744-6570.1989.tb00661.x        [ Links ]

Aguinis, H., & Kraiger, K. (2009). Benefits of training and development for individuals teams, organizations e society. Annual Review of Psychology, 60, 451-474. doi: 10.1146/annurev.psych.60.110707.163505        [ Links ]

Borges-Andrade, J. E., Pereira, M. H. G., Puentes-Palácios, K. E., & Morandini, D. C. (2002). Impactos individual e organizacional de treinamento: Uma análise com base num modelo de avaliação institucional e na teoria multinível. Revista Psicologia, Organizações e Trabalho, 2(1), 117-146.         [ Links ]

Cameron, K. S. (1981). Domains of organizational effectiveness in colleges and universities. Academy of Management Journal, 24(1), 25-47. doi: 10.2307/255822        [ Links ]

Campbell, J. P. (1971). Personnel training and development. Annual Review of Psychology, 22, 565-602. doi: 10.1146/annurev.ps.22.020171.003025        [ Links ]

Connolly, T., Conlon, E. J., & Deutsch, S. J. (1980). Organizational effectiveness: A multiple-constituency approach. The Academy of Management Review, 5(1), 211-217.         [ Links ]

Eboli, M. P. (2004). Educação corporativa no Brasil: Mitos e verdades. São Paulo: Gente.         [ Links ]

Ferreira, R. R., Abbad, G. S., Pagotto, C. P., & Meneses, P. P. M. (2009). Avaliação de necessidades organizacionais de treinamento: O caso de uma empresa latino-americana de administração aeroportuária. REAd - Revista Eletrônica de Administração, 15(2), 1-26.         [ Links ]

Fitzpatrick, J. L., Sanders, J. R., & Worthen, B. R. (2004). Program evaluation: Alternative approaches and practical guidelines (3rd ed.). Boston, MA: Pearson Education.         [ Links ]

Freitas, I. A. (2005). Impacto de treinamento nos desempenhos do indivíduo e do grupo de trabalho: Suas relações com crenças sobre o sistema de treinamento e suporte à aprendizagem contínua. Tese de doutorado não publicada, Universidade de Brasília, Brasília, DF.

Freitas, I. A., & Borges-Andrade, J. E. (2004). Efeitos de treinamentos nos desempenhos individual e organizacional. Revista de Administração de Empresas, 44(3), 44-56. doi: 10.1590/S0034-75902004000300005        [ Links ]

Freitas, I. A., Borges-Andrade, J. E., Abbad, G. S., & Pilati, R. (2006). Medidas de impacto de TD&E no trabalho e nas organizações. In J. E. Borges-Andrade, G. S. Abbad, & L. Mourão (Orgs.), Treinamento, desenvolvimento e educação em organizações e trabalho: Fundamentos para a gestão de pessoas (pp. 489-504). Porto Alegre: Artmed.         [ Links ]

James, H. (1992). Simplifying ROI. Training, 29(9), 53-58.         [ Links ]

Mattessich, R. (1978). Accounting and analytical methods: Measurement and projection of income and wealth in the micro and macro economy. Homewood, IL: R. D. Irwin.         [ Links ]

McGehee, W., & Thayer, P. W. (1961). Training in business and industry. New York: John Wiley & Sons.         [ Links ]

McLaughlin, J. A., & Jordan, G. B. (2004). Using logic models. In J. S. Wholey, H. P. Hatry, & K. E. Newcomer (Eds.), Handbook of practical program evaluation (2nd ed., pp. 7-32). San Francisco, CA: Jossey-Bass.         [ Links ]

Meneses, P. P. M. (2007). Avaliação de um curso de desenvolvimento regional sustentável no nível de resultados: A contribuição dos modelos lógicos e do método quase-experimental. Tese de doutorado não publicada, Universidade de Brasília, Brasília, DF.

Mourão, L. (2004). Avaliação de programas públicos de treinamento: Um estudo sobre o impacto no trabalho e na geração de emprego. Tese de doutorado não publicada, Universidade de Brasília, Brasília, DF.

Mourão, L., Borges-Andrade, J. E., & Salles, T. J. (2006). Medidas de valor final e retorno de investimento em avaliação de TD&E. In J. E. Borges-Andrade, G. S. Abbad, & L. Mourão (Orgs.), Treinamento, desenvolvimento e educação em organizações e trabalho: Fundamentos para a gestão de pessoas (pp. 505-513). Porto Alegre: Artmed.         [ Links ]

Pilati, R. (2006). História e importância de TD&E. In J. E. Borges-Andrade, G. S. Abbad, & L. Mourão (Orgs.), Treinamento, desenvolvimento e educação em organizações e trabalho: Fundamentos para a gestão de pessoas (pp. 159-176). Porto Alegre: Artmed.         [ Links ]

Posavac, E. J., & Carey, R. G. (2003). Program evaluation: Methods and case studies (6th ed.). Boston, MA: Pearson Education.         [ Links ]

Salas, E., & Cannon-Bowers, J. A. (2001). The science of training: A decade of progress. Annual Review of Psychology, 52, 471-499. doi: 10.1146/annurev.psych.52.1.471        [ Links ]

Selden, S. C., & Sowa, J. E. (2005). Testing a multi-dimensional model of organizational performance: Prospects and problems. Journal of Public Administration Research and Theory, 14(3), 395-416. doi: 10.1093/jopart/muh025        [ Links ]

Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Boston, MA: Houghton Mifflin.         [ Links ]

Shelton, S., & Aligger, G. (1993). Who's afraid of level 4 evaluation? Training & Development, 47(6), 43-48.         [ Links ]

Zammuto, R. (1984). A comparison of multiple constituency models of organizational effectiveness. The Academy of Management Review, 9(4), 606-616. doi: 10.2307/258484        [ Links ]

 

 

Endereço para correspondência:
Pedro Paulo Murce Meneses
SHCGN 705, Bloco P/apto. 406
CEP 70.735-080. Brasília-DF, Brasil
E-mail: pemeneses@yahoo.com.b

Recebido: 07/10/2010
1ª revisão: 03/04/2011
Aceite final: 12/10/2011

 

 

Sônia Maria Souza Damasceno, Mestre em Administração pelo Programa de Pós-graduação em Administração da Universidade de Brasília
Gardênia Abbad Professora Adjunta do Instituto de Psicologia da Universidade de Brasília, campus Darcy Ribeiro
Pedro Paulo Murce Meneses Professor Adjunto da Faculdade de Administração, Ciências Contábeis e Economia da Universidade de Brasília, campus Darcy Ribeiro