Módulo 3O valor das pesquisas nas ouvidorias

A pesquisa visa, essencialmente, produzir conhecimento, buscando respostas para problemas e indagações teóricas e práticas. A metodologia da pesquisa, por sua vez, estuda, estabelece e descreve os métodos, interpreta e avalia os dados.

Neste módulo, vamos tratar de alguns elementos básicos dessa teoria, considerados essenciais no trabalho de pesquisa que vocês deverão realizar acerca dos serviços que a sua ouvidoria presta aos cidadãos.

A pesquisa é, sem dúvida, uma ferramenta importante nos processos de avaliação dos serviços de sua ouvidoria.

No fim deste módulo, portanto, você deverá ter noção básica sobre métodos e técnicas de pesquisa, informações específicas de como elaborar um projeto de pesquisa, voltado para avaliar a percepção dos usuários sobre os serviços prestados no âmbito da sua ouvidoria, saber como elaborar um questionário com perguntas abertas ou fechadas e, finalmente, como fazer o relatório de uma pesquisa.

Navegue pelos itens a seguir clicando sobre eles.

A razão e o significado da pesquisa nas ouvidorias

Por que fazer pesquisa?

Antes de prosseguir, faça um exercício rápido, anotando possíveis respostas a essa pergunta em seu caderno de estudo ou em uma folha de papel.

Depois, clique na palavra pesquisa, a seguir, e confira se algumas das suas respostas se alinham com o conteúdo que é apresentado.

Pesquisa
Ferramenta que permite ampliar o conhecimento sobre uma determinada realidade
É uma atividade obrigatória
Promove a participação popular e favorece o exercício da cidadania
Faz uso dos direitos básicos do usuário (garantia de acesso a informações e a proteção de informações pessoais)
A Carta de Serviços aos Usuários e o Conselho de Usuários reforçam os compromissos e padrões de qualidade dos serviços de atendimento ao público por meio da pesquisa
Devem ser publicados em sítio do órgão ou entidade

A pesquisa é uma ferramenta que permite ampliar o conhecimento sobre uma determinada realidade. Nas instituições, entre outras possibilidades, ela é utilizada para avaliar o desempenho dos serviços prestados a seus usuários.

A Lei n. 13.460/2017, assunto introduzido no Módulo 1 da Unidade de Aprendizagem II, estabelece normas básicas para participação, proteção e defesa dos direitos do usuário dos serviços públicos. A partir desse dispositivo legal, as pesquisas passaram a ser atividade obrigatória nas instituições da administração pública direta e indireta da União, dos estados, do Distrito Federal e dos municípios, em conformidade com o inciso I, §3º do art. 37 da Constituição Federal de 1988. Assim, é um direito do usuário sua participação no acompanhamento da prestação e na avaliação dos serviços (BRASIL, 2017, art. 6º, inciso I). Nesse sentido, a pesquisa promove a participação popular e favorece o exercício da cidadania.

É importante reforçar que os serviços prestados pelos órgãos e entidades abrangidos pela referida Lei n. 13.460/2017 deverão constar da Carta de Serviços ao Usuário, com o objetivo de informar sobre os serviços prestados, as formas de acesso a esses serviços e seus compromissos e padrões de qualidade de atendimento ao público.  As informações constantes da Carta de Serviços devem ser claras e precisas em relação a cada um dos serviços prestados, conforme § 1º e § 2º do art. 7º da lei mencionada (BRASIL, 2017).

Fiquem atentos sobre os serviços relacionados na Carta de Serviços de sua ouvidoria.

Além da Carta de Serviços, a mencionada lei institui os chamados Conselhos de Usuários para permitir a participação dos usuários no acompanhamento da prestação e na avaliação dos serviços prestados pelos órgãos e instituições do poder público. Todo cidadão e/ou qualquer instituição, usuários de serviços públicos podem participar como voluntários desses conselhos e, por meio deles, responder enquetes e propor melhorias dos serviços. Como será exposto adiante, essas pesquisas já vêm sendo aplicadas no âmbito federal, por meio de instrumentos próprios criados pela Controladoria-Geral da União (CGU).

De acordo com o art. 23 do mencionado texto legal, o resultado das pesquisas...

§ 2º [...] deverá ser integralmente publicado no sítio do órgão ou entidade, incluindo o ranking das entidades com maior incidência de reclamação dos usuários na periodicidade a que se refere o § 1º [art. 23], e servirá de subsídio para reorientar e ajustar os serviços prestados, em especial quanto ao cumprimento dos compromissos e dos padrões de qualidade de atendimento divulgados na Carta de Serviços ao Usuário (BRASIL, 2017).

Em 2018, foi publicado o Decreto n. 9.492 que regulamenta a Lei n. 13.460/ 2017 e, entre outras providências, institui o Sistema de Ouvidoria do Poder Executivo Federal. No tocante ao tema dos Conselhos de Usuários, definidos como órgãos de natureza consultiva, o Decreto diz o seguinte:

Art.24-C. Sem prejuízo de outros meios de participação dos usuários no acompanhamento da prestação e na avaliação dos serviços públicos, cada órgão ou entidade a que se refere o art. 2º criará um ou mais conselhos de usuários de serviços públicos, os quais não poderão exceder a quantidade de serviços previstos na Carta de Serviços ao Usuário de que trata o art. 11 do Decreto nº 9094, de 2017 (BRASIL, 2018).
Recomendamos a leitura destes dispositivos legais da Lei n. 13.460/2017;
e do Decreto n. 9.492/2018.

Como a pesquisa vem sendo usada na Ouvidoria-Geral do SUS?

Para responder a essa pergunta, clique na linha do tempo a seguir.

Como já foi mencionado, o tema da pesquisa nas ouvidorias ganha força a partir dos referidos textos legais. Por isso, vamos trazer aqui um pouco da experiência do trabalho desenvolvido, desde 2021, pela Ouvidoria-Geral do SUS. Veja o texto
Extrato do histórico das pesquisas da Ouvidoria-Geral do SUS. Além disso, conheça o exemplo de um roteiro e questionário da pesquisa de satisfação sobre serviços das ouvidorias do SUS.

Extrato do histórico das pesquisas da Ouvidoria Geral do SUS

Em 2011 foi criado o Núcleo de Pesquisa (Nupe), da Ouvidoria- Geral do SUS, que atende, principalmente, as áreas técnicas do Ministério da Saúde (MS). Suas pesquisas visam monitorar ações e programas específicos, disseminar informações de interesse do MS e estudar cenários conjunturais, que exigem providências no sentido de reorientar decisões por parte da gestão pública.

Com essa finalidade, por exemplo, foi realizada, em 2017, uma pesquisa sobre cirurgias eletivas pendentes no âmbito do SUS, com o objetivo de conhecer a real situação da lista de espera e, dessa forma, poder encaminhar solução ao problema, que, naquela oportunidade, vinha sendo apontado pela mídia.

Essa pesquisa cobriu um público-alvo de quase 800.000 usuários/pacientes, constante da referida lista. Como resultado, observou-se que uma parte, em torno de 30%, dessa lista de espera já tinha sido atendida, pelo próprio SUS ou por instituições particulares, colocando em evidência o problema da falta de controle e monitoramento de informações importantes, para tomada de decisão da gestão pública.

Observem que essa pesquisa foi pensada para incluir toda a população de pessoas em lista de espera por cirurgia eletiva, naquele momento, uma vez que pelo processo amostral não seria possível conhecer integralmente quais pacientes já teriam sido atendidos e os não atendidos.

Mesmo assim, trabalhando a população, isso não foi possível tendo em vista o reduzido número de contatos efetivamente realizados, em torno de 16%. Esse baixo rendimento das pesquisas geralmente ocorre por diversos problemas, entre os mais frequentes, telefone errado, desatualizado, não atende ou o entrevistado/paciente não se encontra no momento, apesar das seis tentativas que o sistema permite fazer. Esse é um dos mais importantes desafios das pesquisas, realizadas com banco de dados a partir de registros cadastrais dos pacientes do SUS. A baixa qualidade das informações tem sido responsável por grande parte dos baixos rendimentos das pesquisas realizadas pelo Nupe.

Pensando no resultado da pesquisa cirurgias eletivas e levando em conta o conteúdo apresentado até aqui, na UAIII, quais reflexões vocês poderiam trazer para discussão? Que ferramentas do controle dos processos de trabalho faltaram na execução dos serviços avaliados nessa pesquisa?

O que se espera com as pesquisas de satisfação?

A partir das pesquisas, busca-se promover a participação dos cidadãos nos processos de reflexão e de eventual revisão das políticas de seu interesse, implementadas pelas ouvidorias. Para que isso ocorra, é necessário que as questões levantadas pela pesquisa sejam formuladas de forma clara e objetiva para que as respostas do cidadão sejam compatíveis com a sua real percepção do objeto avaliado.

Resultados efetivos da avaliação são capazes de contribuir para a melhoria dos processos de trabalho. Quanto melhor for o nível das respostas do cidadão, maiores são as possibilidades de que essas informações sejam utilizadas como subsídios nas ações implementadas pela gestão.

Elementos técnicos essenciais de uma pesquisa

Para realizar uma pesquisa, é preciso que a instituição tenha equipe técnica com conhecimento específico em metodologia de pesquisa, a fim de garantir que seus resultados sejam representativos do universo estudado. A pesquisa não é uma atividade trivial que possa ser improvisada e, por isso, exige recursos financeiros devidamente previstos no orçamento da instituição, principalmente no tocante à contratação de operadores e implementação de sistema de operação.

Como fazer uma pesquisa?

Considerando que a pesquisa busca conhecer uma determinada realidade, é necessário estabelecer, a priori, um projeto, conduzido por técnicas metodológicas que permitam descobrir fatos novos, relações ou leis próprias da realidade estudada. O projeto nada mais é do que um esquema que vai auxiliar na escolha de uma abordagem técnica objetiva, estabelecendo uma ordem lógica de como realizar o trabalho de pesquisa.

Para Ander-Egg (1978, p. 28 apud MARCONI; LAKATOS, 2005, p. 157), a pesquisa é um “procedimento reflexivo sistemático, controlado e crítico, que permite descobrir novos fatos ou dados, relações ou leis, em qualquer campo do conhecimento”.

A ordem e a seleção dos temas que vão ser apresentados a seguir refletem, de algum modo, a natureza e o formato das pesquisas realizadas no âmbito da Ouvidoria-Geral do SUS.

O conhecimento pode ser entendido como o acúmulo de informações de cunho intelectual, como o domínio, teórico ou prático, acerca de um assunto, científico ou não.

Vamos, então, entender mais sobre as etapas que compõem uma  pesquisa. Clique nos itens a seguir:

Planejamento

Etapa em que é definido o tema, o problema a ser estudado, os objetivos da pesquisa, a equipe de trabalho, o levantamento de recursos, o cronograma, público-alvo, a fonte de dados a serem pesquisados, o método,

Execução

Etapa em há coleta de dados e o monitoramento dessa coleta.

Apuração, análise e interpretação de dados

Etapa em que são utilizadas tabelas de distribuição de frequência e representações gráficas para transformar dados brutos em informação.

Relatório de pesquisa

Documento que reúne um conjunto de informações que evidencia, em detalhe, como o projeto foi executado, desde o planejamento até as conclusões.

Vamos ver mais detalhadamente o passo a passo dentro de cada uma dessas etapas.

Planejamento

Percorra os itens a seguir, que compõem a fase de planejamento da pesquisa.

Definição do tema

O tema responde aquilo que será pesquisado. Sua escolha, entretanto, deve atender alguns pré-requisitos, tais como: o que se quer estudar é exequível e adequado, tendo em vista a disponibilidade de recursos técnicos, financeiros e humanos? E, ademais, responde aos objetivos previamente determinados?

Exemplo: Percepção dos usuários/pacientes sobre os serviços prestados pelas Unidades de Saúde do SUS do grupo de procedimentos da alta e média complexidade.
Definição do problema/pergunta

Toda pesquisa se inicia com a definição do problema a ser estudado. Ele deve ser especificado de forma clara, precisa e objetiva. Segundo Marinho (1980, p. 55 apud MARCONI; LAKATOS, 2005, p. 161): “um problema muito abrangente torna a pesquisa mais complexa”; e, se for “bem delimitado, simplifica e facilita a maneira de conduzir a investigação”.

Em geral, o problema vai transformar-se na pergunta central da pesquisa.

Imagine que o gestor queira estabelecer novas políticas ou diretrizes, visando à melhoria dos serviços no âmbito de sua gestão. Algumas perguntas que poderiam ser feitas, por exemplo, seriam: de acordo com a percepção dos usuários do SUS ou das ouvidorias, quais são os pontos fortes e fracos do atendimento prestado pelo SUS? Qual é a percepção da violência obstétrica no SUS, desde o ponto de vista das parturientes atendidas nas unidades públicas de saúde?
Especificação dos objetivos

Os objetivos norteiam todos os demais passos da pesquisa, definindo desde a natureza do trabalho, o tipo de problema a ser observado e o material de coleta dos dados (MARCONI, LAKATOS, 2005).

Por exemplo, avaliar a satisfação dos usuários do SUS com a finalidade de subsidiar as ações estratégicas da gestão no âmbito do Ministério da Saúde.
Dar transparência ao trabalho da Ouvidoria- Geral do SUS, por meio da divulgação dos resultados da pesquisa.
Constituição da equipe de trabalho

A pesquisa exige uma equipe de trabalho com qualificação técnica específica, principalmente em metodologia de pesquisa, estatística e informática. A formação da equipe engloba desde o recrutamento, o treinamento e a distribuição das tarefas, de acordo com o perfil de cada integrante.

Levantamento dos recursos

Em geral, é alto o custo de uma pesquisa. Por isso, é necessário elaborar uma planilha de desembolso e assegurar-se de que esses recursos vão estar disponíveis de acordo com o cronograma preestabelecido.

Cronograma da pesquisa

Como em qualquer projeto de trabalho, é fundamental estabelecer um cronograma para que se possa monitorar e acompanhar cada etapa da execução da pesquisa, permitindo que se façam ajustes, identificados ao longo do processo de trabalho.

Definição do público-alvo

Quem serão os entrevistados? A escolha de quem deve responder à pesquisa precisa recair sobre a pessoa com propriedade para dar as informações que se deseja obter, atentando para o fato de que menores de idade e pessoas declaradamente incapazes não devem responder à pesquisa. Se as informações dizem respeito a qualquer um desses respondentes, a alternativa é falar com os seus responsáveis.

Por exemplo, pacientes com câncer de próstata, atendidos na rede pública do SUS, no primeiro semestre de 2020.
Identificação da fonte dos dados pesquisados

A qualidade do banco de dados cadastrais dos pesquisados é fundamental para o êxito da pesquisa. Sem prejuízo de outras fontes particulares, se for realizar uma pesquisa com usuários/pacientes do SUS, o banco mais completo é formado pelos registros da Autorização de Internação Hospitalar (AIH) e da Autorização de Procedimentos de Alta Complexidade (Apac), administrados pelo DATASUS, do MS. Os dados são solicitados ao DATASUS que analisa o pedido e libera as informações.

Seleção do método e das técnicas metodológicas

Quem serão os entrevistados? A escolha de quem deve responder à pesquisa precisa recair sobre a pessoa com propriedade para dar as informações que se deseja obter, atentando para o fato de que menores de idade e pessoas declaradamente incapazes não devem responder à pesquisa. Se as informações dizem respeito a qualquer um desses respondentes, a alternativa é falar com os seus responsáveis.

Agora que já vimos todos os itens essenciais do planejamento, é hora de entender como executar o projeto, o que faremos na próxima seção.

Execução

Esta etapa é composta pela coleta de dados e monitoramento. Veja a seguir os itens que compõem a fase de execução da pesquisa.

Coleta de dados

A execução da pesquisa tem início com a coleta dos dados, ou seja, com a aplicação do instrumento coletor das informações. Em geral, costuma-se fazer um pré-teste antes de aplicá-lo em definitivo, para averiguar a sua validade. Isso reduz a incidência de erros.

Uma fase importante que antecede a coleta de dados diz respeito ao treinamento da equipe de operadores. Quanto aos registros dos dados da pesquisa, existem várias opções disponíveis pelas novas tecnologias da informática.

Como é feita a coleta de dados das pesquisas na Ouvidoria-Geral do SUS?
As pesquisas da Ouvidoria-Geral são feitas por telefone, por uma equipe de operadores, devidamente treinada e vinculada à empresa de Call Center, contratada para operar o Disque Saúde 136.

O questionário é acompanhado de um roteiro com orientações básicas, para atender situações que fogem ao padrão esperado. No caso de o informante ser menor de idade, o operador é orientado a falar com o responsável e, caso esse concorde em responder, aplica-se a pesquisa.

Toda pesquisa é feita por meio de um sistema próprio, desde a importação dos dados aos registros das informações prestadas pelo pesquisado. Para isso, existe um manual de normas de como operar o Sistema de Pesquisa da Ouvidoria (SPO).  Cada sistema deve ter o seu manual de como operá-lo.

A criação de um sistema próprio para realizar pesquisa é uma forma ideal de armazenar essas informações, além de outros recursos que podem ser incluídos, visando à produção de relatórios, inclusive parciais. No entanto, convém ter em mente que a construção e a manutenção de um sistema dessa natureza exigem recursos financeiros e humanos que, em geral, não são de fácil acesso à maioria das ouvidorias do SUS.

Monitoramento

Quando a pesquisa é realizada por terceiros/operadores, diferentemente do pesquisador, o monitoramento é uma ferramenta importante de controle de qualidade. Deve ser realizado desde a fase inicial da aplicação dos questionários, visando corrigir falhas da execução. É importante observar a postura do operador em relação à linguagem, que, ademais de respeitosa, deve ser formal, seguindo o roteiro que traz orientação a esse respeito.

Também cabe observar se as respostas marcadas conferem com as informações dadas pelo entrevistado, por meio da escuta dos áudios. Permite, ademais, identificar possíveis dúvidas na compreensão das respostas oferecidas, ou mesmo na formulação das questões. Portanto, o monitoramento é um recurso valioso no processo de aperfeiçoamento do instrumento.

Terminada a etapa de Execução, vamos saber mais um pouco sobre Apuração, análise e interpretação de dados.

Apuração, análise e interpretação de dados

Os dados provenientes da aplicação do questionário são considerados brutos, uma vez que não possuem as informações necessárias para a tomada de decisão, no âmbito de qualquer gestão. A informação é fruto da adequada organização desses dados e da capacidade de análise e interpretação do investigador.

A planilha em Excel é uma ferramenta importante no trabalho de apuração dos dados da pesquisa.

Em geral, a análise descritiva de uma pesquisa resulta da apuração e da interpretação dos dados feita à luz de instrumentos técnicos apropriados, como:

Veja cada um deles a seguir:

Tabelas de distribuição de frequências

Para a organização de um conjunto de dados, são utilizadas as tabelas de distribuição de frequências, contendo a disposição tabular dos dados agrupados em classes, associados às suas frequências correspondentes.

Em geral, usam-se dois tipos de frequência, a simples e a acumulada, que podem ser expressas em termos absoluto e relativo.

  • a frequência simples é representada pelas ocorrências da respectiva classe;
  • a frequência acumulada corresponde ao valor da sua própria classe somado aos valores das classes anteriores, de modo que a primeira é sempre igual ao valor da própria classe e a última classe é sempre igual ao número total de casos;
  • a frequência absoluta é o valor numérico de cada classe/categoria de frequência enquanto a relativa, expressa em percentual, é a proporção do valor numérico da classe/categoria no total de casos, aplicada tanto às frequências simples como as acumuladas.
Representações gráficas

As representações gráficas também são recursos técnicos importantes na análise de dados numéricos, ao permitir uma visualização mais compreensível dos resultados de uma distribuição de frequência. Entre os principais tipos de representação gráfica, podem ser citados o polígono de frequência e o histograma. Nesses casos, é importante conhecer o tipo da variável utilizada na pesquisa:

A depender da natureza das variáveis que compõem o conjunto de dados, elas podem ser classificadas como variáveis qualitativas ou quantitativas.
Medidas de posição central

As medidas de posição central são indicadores numéricos que refletem o valor típico de uma distribuição de dados. Em geral, esses dados se concentram mais em torno de um valor central, sendo baixa a concentração em torno dos valores extremos. Entre essas medidas, estão incluídas a média, a mediana e a moda.

Depois de tratar e organizar os dados, é necessário organizar a apresentação deles em um relatório de pesquisas, como veremos a seguir.

Relatório de pesquisa de satisfação

É um documento que reúne um conjunto de informações que evidencie, em detalhe, como o projeto foi executado, desde o planejamento até as conclusões. Um relatório tem como base a lógica, a imaginação e a precisão. Deve ser escrito com linguagem simples, clara, objetiva, concisa e coerente. Tem a finalidade de apresentar os resultados obtidos em uma pesquisa. A objetividade e o estilo são requisitos importantes de um relatório, devendo, ademais, manter a expressão impessoal e evitar frases qualitativas ou valorativas, pautando-se por descrever e explicar os fatos, sem julgamento.

Se você deseja conhecer ou tirar dúvidas, conheça um modelo de relatório de
pesquisa
. Além disso, conheça também um relatório produzido pelo Nupe, referente à pesquisa realizada, em 2019, sobre câncer de mama.
Qual o impacto dos dados coletados, tratados e organizados em sua ouvidoria para os usuários e o SUS?

Como vimos nesta unidade de aprendizagem, o trabalho da ouvidoria está muito além da captação e retorno das manifestações ao usuário. É necessário realizar o tratamento dos dados operacionais e gerar relatórios gerenciais para informar não só aos gestores como também aos usuários. Além disso, as pesquisas de satisfação contribuem para o aperfeiçoamento dos serviços prestados pelo SUS e ampliam a participação popular, garantida pela Constituição de 1988.

Agora queremos saber, você já teve experiência em desenvolver um projeto de pesquisa de satisfação? Queremos ouvi-lo na próxima atividade.

Atividade

Aprendendo Juntos

Como vimos nesta Unidade de Aprendizagem III, a Lei n. 13.460/2017 estabelece a obrigatoriedade da realização de pesquisas de satisfação sobre serviços públicos. Conheça a proposta da primeira enquete realizada pela Ouvidoria-Geral do SUS, apresentada aos usuários que se voluntariaram como conselheiros dos serviços da ouvidoria.

Agora, vamos adaptar esse questionário para a realidade de suas ouvidorias.

Quais as questões que se aplicam e podem ser reproduzidas para a sua realidade? Que outras questões podem ser agregadas a esse questionário?

Lembrem-se de que as questões devem ser formuladas com clareza para que as respostas possam trazer informações que atendam aos objetivos da pesquisa e possam servir de subsídios para o aperfeiçoamento dos processos de trabalho e dos resultados de sua ouvidoria.

Ao final, que tal compartilhar esses resultados com os demais ouvidores de sua rede?

Acesse o AVA e poste, no fórum, sua proposta de questionário; depois, conheça e comente as respostas dos colegas, procurando identificar questões que considere importantes para a sua própria realidade de trabalho. Além disso, apresente ideias que contribuam para o aprimoramento do questionário de outros participantes da comunidade de práticas.