Revista: CCCSS Contribuciones a las Ciencias Sociales
ISSN: 1988-7833


MODALIDADES LICITATÓRIAS E O RISCO DE OCORRÊNCIA DE FRAUDES NOS MUNICÍPIOS BAIANOS FISCALIZADOS PELA CONTROLADORIA GERAL DA UNIÃO*

Autores e infomación del artículo

Neila Carla Silva Rodrigues*

Raimundo Nonato Lima Filho**

Investigadores independientes, Brasil

rnlfilho@gmail.com

RESUMO
Este estudo buscou averiguar a relação existente entre a modalidade de licitação aplicada e o risco de ocorrência de fraudes nos processos licitatórios realizados pelos municípios baianos. O alto índice de ocorrência de fraudes licitatórias municipais tem demandado pesquisas nesse sentido. Esta pesquisa foi caracterizada como documental, descritiva e quantitativa, já que organiza informações, descreve dados e emprega técnicas estatísticas.  A metodologia desenvolvida foi realizada com a análise de 152 relatórios do Controle Interno da Controladoria Geral da União (CGU) relativos ao Programa de Fiscalização a partir de Sorteios Públicos, dos quais foram coletados os dados. O universo da pesquisa compreendeu os relatórios que foram publicados no período de 2004 a 2014. Com os resultados encontrados, mediante a aplicação do Teste de Normalidade Kolmogorove-Smirnov e do Teste Paramétrico (Estatística Z), destacou-se a grande relação existente entre a modalidade Carta Convite e o risco de ocorrência de fraudes licitatórias no âmbito municipal. Deste modo, demonstraram-se para os agentes públicos e para a sociedade os riscos de fraudes que a utilização de determinada modalidade de licitação pode ocasionar para a Administração Pública, proporcionou a interdisciplinaridade do tema, bem como foram apresentadas oportunidades para a realização de outras pesquisas com esse enfoque.
PALAVRAS-CHAVE: Corrupção, Licitação, Fraude, Modalidades de Licitação, Administração Pública.

LICITATORY MODALITIES AND THE RISK OF OCCURRENCE OF FRAUDS IN THE BAHIA MUNICIPALITIES MONITORED BY “CONTROLADORIA GERAL DA UNIÃO”

ABSTRACT
This study sought to analyse the relationship between the bidding modality applied and the risk of fraud in the bidding processes carried out by the municipalities of Bahia. The high rate of occurrence of municipal bidding frauds has demanded research in this sense. This research was characterized as documentary, descriptive and quantitative, since it organizes information, describes data and employs statistical techniques. The methodology was developed with the analysis of 152 reports of the Internal Control of “Controladoria Geral da União” (CGU) related to the Inspection Program from Public Drawings, from which the data were collected. The research universe comprised the reports that were published in the period from 2004 to 2014. With the results found, using the Kolmogorove-Smirnov Normality Test and the Parametric Test (Statistic Z), stood out the great relationship between the Invitation Letter mode and the risk of bid rigging at the municipal level. In this way, shown to public officials and society the risks of fraud that the use of a form of bidding may lead to the Public Administration, provided the interdisciplinary of this theme, as well as were presented opportunities for conducting other research with this approach.
KEYWORDS: Corruption; Bidding; Fraud; Bidding Modalities; Public administration.

LAS MODALIDADES LICITATORIAS Y EL RIESGO DE OCURRENCIA DE FRAUDES EN LOS MUNICIPIOS BAHIA MONITORIZADOS POR MODALIDADES LICITATORIAS Y EL RIESGO DE OCURRENCIA DE FRAUDES EN LOS MUNICIPIOS BAHIA MONITOREADOS POR“CONTROLADORIA GERAL DA UNIÃO”

RESUMEN
Este estudio busca averiguar la relación existente entre la modalidad de licitación aplicada y el riesgo de fraude en los procesos licitatorios realizados por los municipios bahianos. El alto índice de fraudes licitatorios municipales ha generado investigaciones en este sentido. Esta investigación es caracterizada como documental, descriptiva y cuantitativa, debido a que organiza informaciones, describe datos y emplea datos estadísticos. La metodología fue desarrollada con un análisis de 152 informes de Control Interno de la Contraloría General de la Unión (CGU) relativos al Programa de Fiscalización a partir de los Sorteos Públicos, de los cuales se recogieron los datos. El universo de la investigación incluyó los informes publicados desde 2004 hasta 2014. Con los resultados encontrados, mediante la aplicación del Test de Normalidad Kolmogorove-Smirnov y del Test Paramétrico (Estadística Z), Se destaca una gran relación entre la modalidad de Carta de Invitación y el riesgo de fraudes licitatorios a nivel municipal. De ese modo, se demuestran para los agentes públicos y para la sociedad los riesgos de fraudes que la utilización de determinada modalidad de licitación puede ocasionar para la Administración Pública, proporcionó la interdisciplinaridad del tema, así como las oportunidades fueron presentadas para la realización de otras investigaciones en este enfoque.
PALABRAS CLAVE: Corrupción; Licitación; Fraude; Modalidades de Licitación; Administración Pública.



Para citar este artículo puede utilizar el siguiente formato:

Neila Carla Silva Rodrigues y Raimundo Nonato Lima Filho (2017): “Modalidades licitatórias e o risco de ocorrência de fraudes nos municípios baianos fiscalizados pela Controladoria Geral da União”, Revista Contribuciones a las Ciencias Sociales, (enero-marzo 2017). En línea:
http://www.eumed.net/rev/cccss/2017/01/fraudes.html

http://hdl.handle.net/20.500.11763/cccss1701fraudes


1 INTRODUÇÃO

Na Administração Pública Brasileira, a prática de corrupção é constante, quer seja no âmbito Federal, seja no âmbito Estadual, Municipal ou Distrital, assim aponta Delforge (2011), ela se configura como um dos principais obstáculos ao desenvolvimento econômico e social (MAURO, 1995). A corrupção é um assunto extenso, questionável e, grosso modo, até arraigado na cultura administrativa de um país. Ela nem sempre é perceptível, contudo, sobrevém quando um ou mais agentes avantajam-se do poder público para benefício próprio ou de outrem. De acordo com Rausch e Soares (2010), ela acontece quando há uma aceitação tácita de ambos os lados, corrupto e corruptor, com naturalidade; quando a sociedade não cumpre as leis e os dirigentes não as cumprem também.
Uma das vertentes da corrupção é a fraude em licitações. Dada a necessidade de aquisição de bens e serviços, o setor público deve se submeter a processos licitatórios (BRASIL, 1993). Nesses processos a fraude pode advir desde a fase inicial, que se dá por meio do instrumento convocatório, até o momento da adjudicação, que é a fase final.
Assim como nas outras esferas, no âmbito Municipal os órgãos, secretarias e as demais entidades controladas direta ou indiretamente pelos Municípios, por vezes, para realizar suas tarefas, precisam adquirir bens e/ou contratar serviços, por esta razão devem realizar licitações. Nesses processos licitatórios, comumente, são encontrados indícios de fraudes que se fazem ocultas. De maneira bem simples, pode-se afirmar que a licitação é um processo administrativo por meio do qual a Administração Pública celebra contratos com terceiros, assegurando igualdade de condições a todos que dela participam. A licitação é disciplinada pela Lei nº 8.666 de 21 de Junho de 1993, esta lei foi instituída para deliberar critérios objetivos de seleção de propostas mais vantajosas para o interesse público.
Com o intuito de reduzir a discricionariedade dos agentes públicos e, consequentemente, aumentar a competitividade entre os fornecedores, a Lei de Licitações prevê várias modalidades de compra, a saber: Dispensa de Licitação, Inexigibilidade, Carta Convite, Concurso, Tomada de Preços, Concorrência, Leilão e Pregão que também segue essa lei, porém tem regras específicas disciplinadas na Lei do Pregão (BRASIL, 1993).
De acordo com Speck e Ferreira (2011) o nível de corrupção está atrelado à discricionariedade do agente público e à competitividade do certame. O risco de ocorrência de fraudes será menor à medida que a discricionariedade for menor e a competitividade for maior. Para Faria (2013) o nível de corrupção do país está ligado à eficácia de seu governo, existindo, mutuamente, uma tendência de que governos mais eficazes sejam associados ao menor índice de corrupção percebido pela sociedade, do mesmo modo ocorre em relação à eficácia da lei, isto é, o índice de percepção da corrupção é menor nos países em que a lei é mais eficaz.
Nos últimos dez anos foram descobertas diversas fraudes em licitações no âmbito municipal. A Controladoria Geral da União (CGU), órgão do Governo Federal competente para desenvolver atividades de controle interno, auditoria pública, correição, prevenção e combate à corrupção e ouvidoria, aponta que tais fraudes lideram as irregularidades encontradas em municípios. Várias metodologias são desenvolvidas e utilizadas quando há necessidade de detecção de fraudes, entre elas estão a auditoria interna e externa, os controles internos, as informações de terceiros ou de funcionários e a denúncia anônima (MOURÃO; COUTO, 2011).
As fraudes licitatórias trazem custos econômicos para a Administração Pública e os prejuízos provocados são evidentes. Elas prejudicam os setores que fornecem bens e serviços ao governo de maneira lícita, reduzem os investimentos, a produtividade e a eficiência econômica do município, podendo acarretar até um déficit financeiro (FARIA, 2013). Todos esses danos afetam diretamente a sociedade, já que os insumos públicos serão consequentemente reduzidos, havendo disfunções na prestação do serviço e comprometendo o desenvolvimento do Estado. 
De acordo com Speck e Ferreira (2011) a modalidade adotada no processo licitatório pode cooperar com a ocorrência de fraudes em licitações, os autores atribuem níveis de riscos de corrupção para cada modalidade, tendo menores riscos as que detêm procedimentos mais rígidos e possuem maior transparência e concorrência entre os fornecedores, em contrapartida, as mais flexíveis, menos transparentes e de menor concorrência possuem riscos mais altos. 
Dessarte, foi realizado um estudo acerca das irregularidades e possíveis ocorrências de fraudes licitatórias em municípios do Estado da Bahia. Os dados foram retirados dos relatórios de Controle Interno da Controladoria Geral da União relativos ao Programa de Fiscalização a partir de Sorteios Públicos. Para tanto foram utilizados os relatórios publicados no período de 2004 a 2014. Esse estudo busca responder ao seguinte problema de pesquisa: qual a relação existente entre a modalidade de licitação aplicada e o risco de ocorrência de fraudes nos processos licitatórios realizados pelos municípios baianos?
O objetivo do estudo se constitui em averiguar a relação existente entre a modalidade de licitação aplicada e o risco de ocorrência de fraudes nos processos licitatórios realizados pelos municípios baianos.
Diante do quadro de corrupção em que a sociedade tem se deparado nos últimos anos, um estudo como esse se torna importante, uma vez que poderá contribuir para que os agentes públicos possam refletir e se atentar mais no momento da escolha da modalidade de licitação, levando em consideração, obviamente, as regras dispostas pela legislação. Além disso, poderá proporcionar à sociedade maior clareza em relação às possíveis causas de corrupção nos processos de aquisição de mercadorias, bens e serviços, dando respaldo para que as populações afetadas acompanhem mais de perto as atividades da Administração Pública Municipal, reivindiquem por mudanças na estrutura social, econômica e política e supervisionem a conduta dos administradores públicos. Assim, poderá haver maior probabilidade de institucionalização da participação social na gestão administrativa.
Diversas pesquisas sobre corrupção já foram realizadas, algumas abordando o tema de maneira geral outras de maneira mais específica (FARIA, 2013; DELFORGE, 2011). A problemática da atual pesquisa se apodera do tema de forma mais específica, tentando demonstrar a relação entre as modalidades de licitação e os riscos de fraudes, utilizando dados concretos, técnicos e objetivos, e envolvendo diretamente aspectos da área contábil, isso é um diferencial, pois a maioria dos estudos feitos, até então, trabalha com dados mais subjetivos e direcionados, sobretudo, para a área administrativa.  Além disso, as evidências trazidas pela concretização da pesquisa poderão somar-se às encontradas pelos autores mencionados anteriormente, cultivando uma interdisciplinaridade do tema e possibilitando o aumento de futuras discussões sob várias perspectivas.
Além desta, o artigo possui mais quatro seções. Na seção 2, apresenta-se a revisão de literatura acerca do tema abordado, acentuando os trabalhos mais recentes. Na seção 3, são apresentados os procedimentos metodológicos da pesquisa. Em sequência vem a seção 4, onde são expostos os resultados; e, por fim, estão as considerações finais.

2 REFERENCIAL TEÓRICO

2.1. Corrupção nas licitações

A corrupção é um fenômeno que ocorre há vários anos no Brasil, Miranda (2010) afirma que ela se encontra intimamente ligada à formação do Estado Brasileiro, que desde a colonização convive-se com a corrupção em suas diversas formas.
Para uma melhor compreensão, a Controladoria Geral da União (2009) conceitua a corrupção como uma relação social que possui caráter pessoal, extramercado e ilegal, estabelecida entre dois agentes corruptos ou dois grupos de agentes corruptores, em que o objetivo é a transferência de renda dentro da sociedade ou do fundo público para a realização de fins inteiramente privados. Essa relação envolve a troca de favores entre os grupos de agentes e, no geral, a remuneração dos corruptos ocorre com o uso de propina ou de qualquer tipo de prêmio ou recompensa.
Assim, quando um ou mais agentes públicos abusam do poder público em benefício próprio ele está praticando a corrupção, que pode ser materializada por meio de desvios de verbas públicas, apropriação particular de bens públicos, lavagem de dinheiro, suborno, oferta de dinheiro para acelerar a concessão de uma licença, fraudes em procedimentos licitatórios, entre outros (FARIA, 2013). Esses são apenas alguns exemplos, no entanto, aqui, a atenção será voltada para a última forma mencionada.  De acordo com as Normas Brasileiras de Contabilidade – NBCT 11, a fraude ocorre quando o indivíduo realiza ato intencional omitindo ou manipulando transações, alterando ou falsificando documentos, entre outros. 
Licitação é um procedimento administrativo formal por meio do qual a Administração Publica convoca, mediante condições pré-estabelecidas em edital ou convite, empresas interessadas na apresentação de propostas para o oferecimento de bens e serviços (TCU, 2010). Esse procedimento está disciplinado na Lei nº 8.666 de 21 de Junho de 1993. De acordo com essa Lei, quando a Administração Pública precisa celebrar contratos com terceiros, essa celebração deve ser necessariamente precedida de licitação, observadas as hipóteses de dispensa e de inexigibilidade de licitação (BRASIL, 1993).                    
Na realização de qualquer licitação, os agentes públicos devem observar a legislação em vigor, bem como os princípios que norteiam os procedimentos licitatórios públicos previstos na Constituição Federal de 1988 e na Lei de Licitações: Legalidade, Isonomia, Impessoalidade, Moralidade, Publicidade, vinculação ao instrumento convocatório, o julgamento objetivo e a celeridade. A licitação decorre do princípio da indisponibilidade do interesse público e se constitui em uma restrição à liberdade administrativa na escolha do contratante, a Administração terá que escolher aquele cuja proposta melhor atenda ao interesse público. A depender da modalidade de licitação utilizada, é necessário respeitar igualmente as regras da Lei nº 10.520 de 17 de Julho de 2002, famosa lei do pregão, que rege os processos de aquisições de bens e serviços comuns (BRASIL, 2002).
O fato é que na esfera pública há distorções na realização das licitações, repetidas vezes são descobertas irregularidades e incoerências, a partir dessas distorções inicia-se um processo de investigação que, comumente, tem como conclusão a existência de fraudes. Mourão e Couto (2011) asseguram que para identificar fraudes em licitação é necessário que haja a devida observância à formalização do processo, por meio da análise do edital, dos documentos apresentados pelos concorrentes e de toda a documentação relativa aos procedimentos realizados.
Mourão e Couto (2011) abordam, ainda, a importância de atentar para o contexto real do processo licitatório, no sentido de verificar aspectos como a demonstração da necessidade de contratar por parte da autoridade administrativa, o valor do contrato que deve ser comparado com os valores de mercado e o objeto contratado.

2.2. Tipos de fraudes

As fraudes podem ocorrer de diversas formas e serem cometidas por diferentes agentes, entre eles os servidores e empregados públicos, os agentes políticos e as próprias empresas participantes dos certames. Macedo (2009) apresenta algumas formas por meio das quais as fraudes podem se concretizar, a saber:
O Superfaturamento, que é a cobrança de preços superiores aos preços de mercado, no geral é acompanhado de dispensa, inexigibilidade ou direcionamento de licitação. O Direcionamento de Licitação, que ocorre quando o órgão licitante busca beneficiar determinado fornecedor com o uso de artifícios, que inclui, por exemplo, exigências técnicas combinadas que acabam eliminando os outros concorrentes (MACEDO, 2009). A estratégia mais corriqueira é a exigência de qualificações técnicas excessivamente detalhadas e específicas para um serviço ou produto, na maioria das vezes beneficiando apenas um dos concorrentes.
Já a Inexigibilidade e a Dispensa de Licitação são maneiras por meio das quais a Administração pode deixar de realizar a licitação, tais situações estão previstas na Lei nº 8.666/93. A inexigibilidade é um recurso que só pode ser usado quando não existe possibilidade de competição. Esses procedimentos são usados de má-fé reiteradas vezes, em situações que não deveriam ser admissíveis. Já a dispensa pode ser usada em circunstâncias em que, em tese, poderia ser realizado o procedimento licitatório, mas o legislador decidiu não fazê-lo, dada as particularidades do caso (MACEDO, 2009). Há casos de agentes que se valem dessas brechas na legislação para direcionar e superfaturar uma compra.
Há também o Fracionamento de Despesas, esse tipo de fraude ocorre quando a administração fraciona uma compra de grande volume, que deveria ser realizada por meio das modalidades Concorrência ou Tomada de Preços, em várias compras menores, de maneira que possa ser realizada pela modalidade Convite. Esta modalidade é menos exigente e rigorosa do que aquelas e permite aos agentes fraudar mais facilmente o processo licitatório. Por último tem o Acordo Prévio e Combinações que normalmente ocorre entre os concorrentes de forma explicita ou implícita. Eles fixam preços, dividem clientes e mercado de atuação, com o objetivo de eliminar a concorrência com o aumento dos preços nas propostas. Tal acordo é tipicamente conhecido como cartel. É comum fazerem rodízio nas vitórias. Pode acontecer também entre o comprador e certo fornecedor, que recebe informações privilegiadas previamente, saindo consequentemente vitorioso (MACEDO, 2009).
De maneira geral, os cartéis se manifestam, principalmente, em forma de fixação de preços, direcionamento privado de licitações, divisão de mercado, supressão de propostas, apresentação de propostas habituais, rodízio e subcontratação (MOURÃO; COUTO, 2011). Diante do que foi explanado, percebe-se que a iniciativa e a esquematização da corrupção podem partir tanto do gestor público quanto do setor privado.

2.3. Modalidades de licitação e o risco de fraudes

O marco regulatório traz em seu bojo cinco modalidades de licitação, que nada mais são do que a forma específica de se conduzir uma licitação, cada uma com regras e procedimentos próprios. A concorrência é a mais criteriosa e abrangente, é uma modalidade por meio da qual pode-se realizar licitações de valores permitidos para a carta convite, como também aquelas de valores muito altos, podendo ser usada na compra de bens, contratação de obras e serviços, sem distinção. A tomada de preços fica abaixo da concorrência em relação à rigidez e à abrangência. A carta convite, por sua vez, é caracterizada pela simplicidade dos procedimentos e regras que lhes são aplicadas e possui pouca abrangência, em suma, é utilizada em compras de pequeno valor. Essas três modalidades compram o mesmo objeto, no entanto distinguem-se pela alteração na estrutura procedimental fixadas na lei.
Há também o concurso e o leilão que foram criados para realizar atividades bem específicas. O primeiro é empregado para escolha de trabalho técnico, científico ou artístico, o último é a modalidade por meio da qual a Administração vende bens móveis inservíveis, produtos legalmente apreendidos ou penhorados ou aliena bens imóveis. 
A Lei nº 8.666/93 assegura a possibilidade de contratação sem que haja prévia licitação, mediante dispensa ou inexigibilidade, são formas de contratação direta, perfazendo uma exceção à regra. Não são conceituadas como modalidades, porém têm casos estabelecidos expressamente na lei e são rotineiramente utilizadas em situações incabíveis, por esta razão são importantes objetos de estudo quando se fala em corrupção (BRASIL, 1993).
O pregão, criado pela Lei nº 10.520/02, é a modalidade de licitação empregada para a aquisição de bens e serviços comuns, independentemente do valor da contratação. A disputa pelo fornecimento é realizada por meio de lances, podendo ser presencial ou eletrônico (BRASIL, 2002).
De maneira geral, a escolha da modalidade se dá em virtude do valor econômico da contratação. Para tanto a Administração deve se embasar em estimativas de preços correntes de mercado, considerando a complexidade do objeto. De acordo com a Lei nº 8.666/93, é válido ressaltar que não é lícito realizar uma licitação nas hipóteses em que as propostas superem o limite permitido para a modalidade escolhida, devendo a Administração, nesses casos, anular o procedimento e realizar outro certame com a modalidade compatível.
Speck e Ferreira (2011), em uma pesquisa realizada sobre o sistema de integridade nos estados brasileiros, agruparam as modalidades de licitações em três categorias de acordo com o risco de manipulação e corrupção esperado. Para os autores, quando a competição é ampla e o arbítrio é baixo, consequentemente, a corrupção também será baixa. Ainda segundo os mesmos autores, as modalidades inclusas nessa categoria são o leilão e o pregão, por conta da presença de todos os fornecedores e da decisão transparente; e a tomada de preços e a concorrência por se basearem no cadastramento prévio de fornecedores na Administração Pública, além disso, possuem alta competitividade.
Já nos casos em que a competição é reduzida e o arbítrio é médio, eles afirmam que o risco será médio. Nessa categoria estão a carta convite e o concurso, nesta haverá maior arbitrariedade do gestor devido à importância do conteúdo das propostas, dada a necessidade de escolha de trabalhos intelectuais, e naquela, pelo fato de o agente ter autonomia para convidar, pelo menos, três empresas do setor a apresentar uma oferta e poder escolher a menor, além disso, a Administração poderá limitar o convite à apresentação de propostas, bem como manter o sigilo sobre o projeto da aquisição, ou até mesmo enviar convites para empresas com qualificações totalmente diferentes das requeridas (SOREIDE, 2002). Na última categoria estão os formatos de contratação em que a competição é baixa e arbítrio amplo e, por conseguinte, o risco será alto, são eles: dispensa e inexigibilidade de licitação (SPECK; FERREIRA, 2011).
A fim de calcular o risco de corrupção nos estados brasileiros Speck e Ferreira (2011) analisaram os dados das licitações realizadas no ano de 2009 pelas secretarias de saúde e de educação, nesta pesquisa eles fizeram um resumo das compras efetuadas pelas diferentes modalidades de licitação tendo como parâmetro os valores empenhados para aquele ano. No estado da Bahia, na área da saúde e na área da educação, do volume total de licitações, foram realizados, respectivamente, 6% e 92% por meio de dispensa, 1% e 0% por inexigibilidade, 1% e 0% por carta convite, 89% e 7% por pregão, 0% e 1% por tomada de preços e 4% e 0% por concorrência. Com isso o indicador de risco de corrupção nas compras públicas na Bahia, calculado pela média do volume de compras nessas modalidades, foi considerado médio (SPECK; FERREIRA, 2011).

3 PROCEDIMENTOS METODOLÓGICOS

3.1. Caracterização da pesquisa e obtenção dos dados

Com a finalidade de alcançar respostas para o problema do estudo, foram delineados os procedimentos metodológicos. Inicialmente procedeu-se à coleta dos dados, que foram obtidos a partir dos relatórios de Controle Interno da CGU, relativos ao Programa de Fiscalização a partir de Sorteios Públicos. O referido programa é um extraordinário mecanismo que, por meio de sorteios realizados em parceria com a Caixa Econômica Federal, define os municípios que serão fiscalizados, por amostragem.
O Programa de Fiscalização a partir de Sorteios Públicos abrange todos os estados brasileiros, entretanto, para melhor compreensão e interpretação dos dados, foram utilizados apenas os relatórios referentes aos municípios do estado da Bahia sorteados no período de 2004 a 2014. Nesse interstício houve 32 eventos e foi sorteado um total de 152 municípios, dentre eles dezoito foram sorteados duas vezes e um foi sorteado três vezes, mas em eventos diferentes, sendo assim, analisou-se 152 relatórios, dos quais foram extraídas as irregularidades detectadas nas licitações.
A cada evento são definidos 60 municípios. Fazem parte dos sorteios apenas aqueles com até 500 mil habitantes, exceto as capitais estaduais. Os Analistas de Controle Interno da CGU examinam contas e documentos e fazem a inspeção pessoal e física das obras e serviços em realização. A fiscalização tem o objetivo de analisar a aplicação dos recursos federais nos municípios, portanto os relatórios apresentam os resultados dos exames realizados sobre as ações do governo executadas nas bases dos municípios, expondo as irregularidades ocorridas relativas à aplicação dos recursos federais, inclusive as pertinentes aos processos licitatórios.
Após a definição do problema, objetivo, justificativa e do plano empregado para chegar aos resultados do estudo, classificou-se a pesquisa no que tange aos procedimentos metodológicos. Em face das características depreendeu-se que quanto aos objetivos da pesquisa este é um estudo do tipo descritivo, quanto aos procedimentos ele é classificado como documental e em relação à abordagem do problema caracteriza-se como quantitativo. De acordo com Raupp e Beuren (2013) uma pesquisa se enquadra como descritiva pelo fato de identificar, descrever, relatar e comparar aspectos ou comportamentos de determinada população analisada. Para os autores acima é possível considerar uma pesquisa como documental quando, entre outros fatores, ela pode organizar informações que estão dispersas, atribuindo-lhes uma nova importância como fonte de consulta. A abordagem será quantitativa, à medida que são empregados instrumentos e técnicas estatísticas.

3.2. Formulação de hipóteses

Para cada modalidade de licitação a legislação determina procedimentos variados que podem ser mais ou menos rigorosos, isso geralmente ocorre em função do valor da contratação, da competitividade e da discricionariedade do agente público. Considerando esses fatores e sabendo que já houve estudos que agruparam as modalidades de licitações em categorias, de acordo com o risco de corrupção ou até mesmo considerando o grau de competitividade e da discricionariedade do agente público, a exemplo dos estudos de Speck e Ferreira (2011) e Fernandes (2003), e observando também que a maioria das licitações municipais são realizadas mediante Carta Convite, formularam-se as seguintes hipóteses:
Primeira hipótese (H1): A média de irregularidades evidenciadas como fraudes, ocorridas nas modalidades Carta Convite, Dispensa e Inexigibilidade de Licitação é superior à média de irregularidades evidenciadas como fraudes ocorridas nas demais modalidades.
O aumento ou a diminuição do grau de competitividade, instituído entre os fornecedores, é coincidente com a distinção entre os processos licitatórios que proporcionam aos agentes maior ou menor liberdade na realização dos procedimentos (SPECK;  FERREIRA, 2011).
Segunda hipótese (H2): Carta Convite é a modalidade que apresenta maior média de ocorrência de irregularidades evidenciadas como fraude.
É uma modalidade na qual há alto grau de arbitrariedade da Administração Pública, uma vez que o agente público tem a possibilidade de limitar o número de fornecedores e decidir quais empresas convidar (SOREIDE, 2002).
Terceira hipótese (H3): A média de ocorrência de irregularidades evidenciadas como fraude na modalidade Tomada de Preços é maior do que na modalidade Concorrência.
O risco de corrupção na modalidade Concorrência é baixo, pois a competitividade entre os licitantes é ampla e a arbitrariedade da Administração Pública é reduzida (SPECK; FERREIRA, 2011). Concorrência é considerada a modalidade mais rigorosa, quando se trata de procedimentos.

3.3. Plano de análise dos dados

Para colher, organizar, analisar e interpretar os dados inicialmente foi realizado o download dos 152 relatórios no site da CGU (www.cgu.gov.br), em seguida, através da leitura dos relatórios, identificaram-se as irregularidades ocorridas nos processos licitatórios, estas foram extraídas e organizadas por tipo de modalidade em planilhas do Microsoft Excel. Em um segundo momento separaram-se as irregularidades em evidência de fraude ou outras impropriedades, aquelas que foram claramente identificadas como indício de fraude nos próprios relatórios e as que assim são caracterizadas por muitos autores ficaram no grupo das irregularidades evidenciadas como fraude. As demais foram caracterizadas como outras impropriedades por não terem sido claramente identificadas como indício de fraude nos relatórios, por apresentarem problemas passíveis de esclarecimento ou por não acarretarem prejuízos irreversíveis considerando o interesse público.
Posteriormente os dados foram agrupados e resumidos por meio de tabelas, utilizando também as ferramentas do Microsoft Excel. Feito isso procedeu-se à analise e interpretação dos mesmos considerando a forma como foram agrupados.

4 ANÁLISE E DISCUSSÃO DOS RESULTADOS

Neste capítulo são discutidos os resultados da pesquisa e evidenciados os resultados dos testes de hipóteses, obtidos a partir da aplicação de instrumentos estatísticos no tratamento dos dados coletados.

4.1. Análise descritiva dos dados

Nos relatórios analisados foram identificadas 1.790 irregularidades desde o ano de 2004 até o ano de 2014, sendo que 12 dos 152 relatórios não apresentaram nenhuma irregularidade licitatória, cada irregularidade foi identificada em um único procedimento licitatório, ou seja, para cada procedimento licitatório havia uma irregularidade. As irregularidades ocorreram de diferentes formas, partindo de uma simples falha procedimental a um forte indício de fraude, como demonstra a Tabela 1. 

Do total de irregularidades, 72,46% foram evidenciadas como fraude e apenas 27,54% foram caracterizadas como outras impropriedades, isso corrobora que a maioria das irregularidades caracterizam fortes indícios de ocorrência de fraude nos processos licitatórios realizados pelos municípios baianos. A maior parte das irregularidades está relacionada à prática de simulação de licitação (38,55%), nesses casos os agentes públicos forjavam os processos licitatórios, falsificando assinaturas e documentos para montar propostas, inserindo nos certames empresas que declararam nunca ter participado de qualquer licitação. O segundo maior percentual de irregularidades (25,81%) ocorreu com indícios de fracionamento ou direcionamento de licitação, uma contratação que, pelo valor, deveria ser realizada por meio de Tomada de Preços era realizada mediante Carta Convite, ou deveria ser feita por meio de Carta Convite e era realizada mediante Dispensa, e em boa parte dos casos os vencedores das licitações eram sempre os mesmos. 
Do total, 21,90% das irregularidades foram caracterizadas como falhas procedimentais, a exemplo de subcontratação irregular de contrato, alterações indevidas nos projetos, ausência de publicação de extrato contratual, inexistência do mínimo de propostas válidas. Alguns certames não seguiram à risca as determinações da legislação em vigor, mas foram falhas menos relevantes do que as demais, e que não causaram prejuízos significativos para a Administração Pública, e em alguns casos foram justificados pelos gestores dos municípios nos próprios relatórios.
As demais irregularidades evidenciaram simulação de competição, empresas inabilitadas, conluio, restrição à competitividade, superfaturamento e falta de fundamentação legal na realização dos processos de dispensa e inexigibilidade, e apresentaram percentuais inferiores a 5%, o que pode parecer inexpressivo, mas as consequências acarretadas são significativas.
As irregularidades foram agrupadas de acordo com a frequência ocorrida em cada tipo de modalidade, como expõe a Tabela 2, com isso é possível inferir a relação de cada modalidade com as incongruências ocorridas.
Denota-se que mais de 50% das irregularidades ocorreram na modalidade Carta Convite, por ser uma modalidade que demanda procedimentos pouco rigorosos, com limites de valores baixos, como já foi defendido por Speck e Ferreira (2011), além disso, os municípios realizam grande parte de seus processos licitatórios utilizando-a, isso é um fator a se ponderar na obtenção desse percentual. Na Tomada de Preços o percentual de irregularidades foi o segundo maior, 12,96%. Considerando as características dessa modalidade percebe-se que esse percentual é expressivo.
A Dispensa de Licitação foi a terceira maior responsável pela ocorrência de irregularidades, apresentando um percentual de pouco mais de 12%, seguida do pregão que foi responsável por cerca de 8%.  As Dispensas são procedimentos rotineiros, mas nem sempre são realizados corretamente. Diversas vezes os agentes públicos utilizam artifícios para driblar a lei, deixando de realizar a modalidade mais indicada para contratar por meio de Dispensa, ferindo o interesse público e praticando arbitrariedades que podem ser concretizadas como fraudes, após uma minuciosa investigação (MACEDO, 2009).
As modalidades Concurso e Leilão não apresentaram irregularidades (sem frequência na amostra) e, dentre as que apresentaram, Concorrência e Inexigibilidade de Licitação foram as que menos se destacaram. Era de se esperar que as irregularidades ocorridas na modalidade Concorrência fossem poucas, por conta da rigorosidade procedimental e pela superfluidade nas licitações municipais, mas a Inexigibilidade provocou resultados expressivos, por ter características que proporcionam altos riscos para a ocorrência de fraude.   
Ao segregar as irregularidades em evidência de fraude ou outras impropriedades, identificaram-se, mais claramente, quais modalidades proporcionam maior ou menor margem para a ocorrência de fraudes. Das 1.790 irregularidades identificadas, 1.297 foram caracterizadas como fraudes, enquanto apenas 463 foram classificadas como outras impropriedades. Com isso, percebe-se que mais de 70% das irregularidades identificadas indicam fortes indícios de fraudes licitatórias, a maioria das falhas nos procedimentos são resultados de erros intencionais, de acordo com os dados dos relatórios e menos de 30% são decorrentes de erros não intencionais.
As modalidades Carta Convite e Dispensa de Licitação revelaram os maiores percentuais de irregularidades assinaladas como fraude com 71% e 14% respectivamente. De todas as que apresentaram esses tipos de irregularidades, a modalidade Inexigibilidade de Licitação foi a que obteve um percentual menor, apenas 1%. Carta Convite e Tomada de Preços foram as modalidades responsáveis pelo maior número de incongruências licitatórias não caracterizadas como fraude, seguidas da modalidade Inexigibilidade de Licitação, apresentaram, respectivamente, os percentuais 43%, 27% e 14%. 
A Tabela 3 demonstra a média de ocorrência de irregularidades por tipo de modalidade e por ano de fiscalização, com o desvio padrão correspondente.
Percebe-se que no geral ocorrem em média 224 irregularidades por tipo de modalidade, no entanto o desvio padrão (379) indica que os dados estão espalhados por uma série de valores, isto é, existe uma grande dispersão em relação à média, isso porque houve uma disparidade significativa no número de ocorrência de irregularidades em cada tipo de modalidade, como já foi demonstrado na Tabela 2. Essa interpretação também é estendida ao avaliar as irregularidades evidenciadas como fraude.
Considerando os onze anos de fiscalização analisados, pode-se afirmar que são identificadas em média 163 irregularidades por ano. Percebe-se também que, por ano, uma média de 118 irregularidades são evidenciadas como fraude.

4.2. Teste de normalidade

            Para testar a normalidade do conjunto de dados foi proposto o teste Kolmogorov-Smirnov, aperfeiçoado por Lilliefor. Kolmogorov-Smirnov é um teste capaz de verificar se existe alguma relação entre a amostra e a distribuição de probabilidade especificada (BARBETTA; REIS; BORNIA, 2010). A Tabela 4 demonstra o resultado obtido com a aplicação desse teste.
O resultado do teste (21%) foi superior ao nível de significância (NS) de 5%, frequentemente adotado estatisticamente, corroborando a aceitação da hipótese nula (H0) da normalidade de distribuição dos dados. Como os dados da pesquisa estão voltados para a normalidade, aplicaram-se Testes Paramétricos para testar as hipóteses.

4.3. Resultados dos testes de hipóteses

A abordagem utilizada para testar as hipóteses está baseada na estatística teste Z, aplicando o teste unicaudal de limite inferior. Foi adotado um nível de significância (NS) de 5%, com nível de confiança (NC) de 95%. Os testes de hipóteses unicaudais com limites inferiores são utilizados nas situações em que se pretende averiguar se uma determinada estimativa amostral será igual ou maior que um limite alegado (BRUNI, 2013).
A proposta da H1 foi testar a margem de ocorrência de fraudes nos processos licitatórios, levando em consideração o tipo de modalidade utilizada. Sendo assim foi formulada a hipótese nula:
H10: a média de irregularidades evidenciadas como fraudes, ocorridas nas modalidades Carta Convite, Dispensa e Inexigibilidade de Licitação é superior à média de irregularidades evidenciadas como fraudes ocorridas nas demais modalidades. Separando as modalidades em dois grupos, temos:
Grupo 1 - Carta Convite, Dispensa e Inexigibilidade de Licitação (modalidades que possuem menor grau de competitividade, maior discricionariedade do agente público e menos rigorosidade nos procedimentos).
Grupo 2 - Concorrência, Tomada de Preços, Pregão, Leilão e Concurso (modalidades que possuem maior grau de competitividade, menor discricionariedade do agente público e maior rigorosidade nos procedimentos).
 Percebe-se que o valor de Z teste está na área de aceitação, já que 3,41 > -1,65, indicando que a média do grupo 1 é superior à média do grupo 2. Logo, aceita-se a hipótese nula.
A segunda hipótese propôs que a modalidade Carta Convite apresentaria a maior média de ocorrência de irregularidades evidenciadas como fraude dentre as demais modalidades.
H20: Carta Convite é a modalidade que apresenta maior média de ocorrência de irregularidades evidenciadas como fraude.
O resultado da estatística teste evidencia que a hipótese nula foi aceita, pois o valor de Z teste encontra-se na área de aceitação (Z teste > valor crítico).
A terceira hipótese objetivou comparar as médias de ocorrência de irregularidades evidenciadas como fraude nas modalidades Tomada de Preços e Concorrência, esperando que a média da primeira fosse maior do que a média da segunda.
            H30: A média de ocorrência de irregularidades evidenciadas como fraude na modalidade Tomada de preços é maior do que na modalidade Concorrência.
            De acordo com o resultado apresentado, o valor de Z teste localiza-se na área de confiança, por este motivo aceita-se a hipótese nula, já que 5,71 > -1,65.
            Os resultados dos testes de hipóteses ratificam o que já foi apresentado durante a discussão dos dados, pelo que foi exposto é inegável que a modalidade Carta Convite apresenta alto índice de ocorrência de fraudes nas licitações municipais. Aprofundando-se mais é plausível organizar as modalidades de acordo com a relação que cada uma apresentou no que diz respeito à ocorrência de irregularidades acentuadas como fraude, na ordem decrescente (daquela que possui maior relação para a que possui menor relação com a ocorrência de fraudes), tem-se: Carta Convite, Dispensa de Licitação, Tomada de Preços, Pregão, Inexigibilidade de Licitação, Concorrência, Concurso e Leilão (os dois últimos sem frequência na amostra).

5 CONSIDERAÇÕES FINAIS

Este estudo averiguou a relação existente entre a modalidade de licitação aplicada e o risco de ocorrência de fraudes nos processos licitatórios realizados pelos municípios baianos. Dessa forma, foram analisados 152 relatórios de fiscalização publicados no site da CGU, no período compreendido entre 2004 e 2014, e deles foram coletados os dados.
Nem todas as irregularidades licitatórias identificadas nos relatórios foram caracterizadas como evidência de fraude, no entanto a maioria recebeu essa classificação. Após analisar todas as irregularidades encontradas, separando-as e agrupando-as da forma como foi demonstrada no capítulo de Análise e Discussão dos Resultados, foi possível inferir quais modalidades apresentaram maior e menor relação com a ocorrência de fraude. Pela média  e pelo percentual de irregularidades descobertas ao ano, a modalidade Carta Convite se destacou como sendo a que proporcionou maior margem para a ocorrência de fraude licitatória no âmbito municipal. Percebeu-se que a razão disso não é apenas por ela ser uma modalidade que possui menos rigidez procedimental, pouca competitividade e alta discricionariedade dos agentes públicos, mas também pelo fato de ela ser muito utilizada quando da necessidade dos municípios realizarem uma licitação. Obviamente quanto mais realizar licitações em determinada modalidade, maior será o risco de ocorrerem irregularidades e maior será a margem para a ocorrência de fraude.  
Os resultados do presente estudo corroboraram achados de outros desta mesma linha de pesquisa (SOREIDE, 2002; MACEDO, 2009). Entretanto, se contrapõem a resultados de outros estudos, a exemplo do estudo de Speck e Ferreira (2011). Diferentemente do estudo supracitado, a modalidade Carta Convite pode ser classificada como de alto risco para a ocorrência de fraudes, já que obteve destaque na ocorrência de irregularidades evidenciadas como fraudes, e a Inexigibilidade de Licitação pode ser classificada como de médio risco para a ocorrência de fraudes, por ter apresentado poucas incongruências graves.
Apesar de as informações da pesquisa apresentarem certo otimismo quanto aos resultados, não é possível generalizá-lo para outras esferas do governo, já que cada esfera realiza um volume de licitação por tipo de modalidade diferente das demais, além de outros fatores.  Também é importante haver uma relativização quanto aos resultados da pesquisa em virtude das limitações, porquanto alguns relatórios apresentaram informações um tanto superficiais para serem consideradas na pesquisa e demandaram esclarecimentos sobre algumas interpretações por parte da CGU, processo este realizado através do sistema de acesso à informação.
Contudo, as conclusões da pesquisa trazem contribuições importantes para a área da Contabilidade, em especial para a Contabilidade Governamental, pois foi possível demonstrar a relação existente entre cada tipo de modalidade e o risco de ocorrência de fraudes licitatórias realizados nos municípios baianos, possibilitando que os gestores e os agentes públicos em geral se atentem mais quando da escolha da modalidade e quanto às normas aplicadas a esses processos.  Além disso, este estudo implicou a interdisciplinaridade do tema, permitindo que a sociedade entenda de forma mais objetiva os riscos de corrupção aos quais a gestão dos recursos públicos pode estar submetida, para que esta acompanhe mais de perto as atividades da Administração Pública Municipal.
Por fim, cabe uma sugestão para pesquisas futuras, no sentido de estendê-la para municípios de outros estados, e até mesmo estendê-la para o âmbito estadual, a fim de que os resultados possam ser mais alargados e efetivos.

REFERÊNCIAS

BARBETTA, P. A.; REIS, M. M.; BORNIA, A. C. Estatística para cursos de Engenharia e Informática. 3ª ed. São Paulo: Atlas, 2010.

BRASIL. Constituição Federal, 05 de Outubro de 1988. Legislação, Brasília, DF: 1988. Disponível em: <http://www.planalto.gov.br/ccivil_03/constituicao/constitui%C3%A7ao .htm>. Acesso em: 27 de Dezembro de 2014.

–––––––. Lei n. 8.666, de 21 de junho de 1993. Legislação, Brasília, DF: 1993. Regulamenta o art. 37, inciso XXI, da Constituição Federal, institui normas para licitações e contratos da administração pública e dá outras providências. Disponível em: <http://www.planalto.gov.br/ccivil_03/Leis/ L8666cons.htm>. Acesso em: 21 de Dezembro de 2014.

BRUNI, A. L. Estatística aplicada à gestão empresarial. 4ª ed. São Paulo: Atlas, 2013.

CONTROLADORIA GERAL DA UNIÃO. Instituto Ethos de Empresas e Responsabilidade Social. Grupo de Trabalho do Pacto Empresarial pela Integridade contra a Corrupção. Responsabilidade Social das Empresas no Combate à Corrupção. Brasília: CGU, 2009. Disponível em: <http://www.cgu.gov.br/Publicacoes/eticaintegridade/arquivos/ manualrespsocialempresas_baixa.pdf>. Acesso em: Acesso em: 21 de Dezembro de 2014.

–––––––. Fraudes em licitações lideram irregularidades em municípios. Notícias. Brasília, 11 de Agosto de 2004. Disponível em:< http://www.cgu.gov.br/noticias/2004/08/fraudes-em-licitacoes-lideram-irregularidades-em-municipios>. Acesso em: 17 de Janeiro de 2015.

DELFORGE, T. C. S. A governança pública no combate à corrupção. Publicações Escola de Administração Fazendária. Disponível em: <http://www.esaf.fazenda.gov.br/premios/premios-1/premios-realizados/pasta-concurso-de-monografias-da-cgu/copy_of_concurso-de-monografias-da-cgu-2011>.  Acesso em: 20 de Novembro de 2014.

FARIA, N. R. Controle Social e combate à corrupção: O papel dos Tribunais de Contas no fortalecimento do controle social no Brasil. Publicações Escola de Administração Fazendária. Disponível em:<http://www.esaf.fazenda.gov.br/esafsite/premios/TCE_GO /monografias/1Lugar_Servidores-TCE.pdf>. Acesso em: 20 de Novembro de 2014>.

FERNANDES, C. C. C. Transformações na gestão de compras da administração pública brasileira. Escola Nacional de Administração Pública. Disponível em: <http://repositorio.enap.gov.br/handle/1/1713>. Acesso em: 15 de Junho de 2015.

MACEDO, G. J. L. Licitações – Competições ou Fraudes – Realidades, Mitos e Combates. Disponível em: < http://www.fesmpdft.org.br/conteudo.asp?area=113>. Acesso em: 21 de Junho de 2015.

MAURO, P. Corruption: causes, consequences and agenda for further research. Finance &
Development, v. 35, n. 1, p. 11-14, 1998.

MIRANDA JÚNIOR, J. C.. A corrupção nos municípios brasileiros: uma análise a partir dos relatórios de fiscalização produzidos pela Controladoria Geral da União. 2010. x, 52 f. Dissertação (Mestrado em Economia do Setor Público) - Universidade de Brasília, Brasília, 2010. Disponível em: < http://repositorio.unb.br/handle/10482/9660>.  Acesso em: 10 de Janeiro de 2015.

MOURÃO, L.; COUTO, D. U. C. A fiscalização dos processos licitatórios na Administração Pública. Revista do Tribunal de Contas do Estado de Minas Gerais. Belo Horizonte, v. 78, nº 1, janeiro/fevereiro/março, 2011. Disponível em: < http:// revista.tce.mg.gov.br/Content/Upload/Materia/1129.pdf.>. Acesso em: 07 de Janeiro de 2015.
NBCT 11. Normas Brasileiras de Contabilidade Interpretação Técnica NBC T 11 – It –03 Fraude E Erro. Disponível em: <http://www.portaldecontabilidade.com.br/nbc/t1103.htm >. Acesso em: 21 de Dezembro de 2014.
RAUPP, F. M.; BEUREN, I. M. Metodologia da Pesquisa Aplicada às Ciências Sociais. In: Ilse Maria Beuren. (Org.). Como Elaborar Trabalhos Monográficos em Contabilidade: Teoria e Prática. 3ª ed. 8ª reimpressão. São Paulo: Atlas, 2013, p. 76-97.

REATÓRIOS DE AUDITORIA, FISCALIZAÇÃO E AVALIAÇÃO. Governo Federal. Disponível em: <http://sistemas2.cgu.gov.br/relats/relatorios.php?linha_atuacao=Avalia% C3 %A7%C3%A3o+da+Execu%C3%A7%C3%A3o+de+Programas+de+Governo+%2F+Relat% C3%B3rio+de+Fiscaliza%C3%A7%C3%A3o+em+Munic%C3%ADpios&ano=&titulo=&ministerio=TODOS&ano_exercicio=&
programa=Selecione&uf=BA&municipio=Selecione&sorteio=>. Acesso em: 08 de Junho de 2015.

SOREIDE, T. Corruption in public procurement. Causes, consequences and cures. Disponível em: <http://hdl./handle/10202/185 >. Acesso em: 19 de Junho de 2015.

SPECK, B. W.; FERREIRA, V. M. Instituto Ethos de Empresas e Responsabilidade Social. Sistemas de Integridade nos Estados Brasileiros. Bruno Wilhelm Speck (coordenador) et al.1ª ed. Pg 15-24. São Paulo: Instituto Ethos, 2012. Disponível em: < http://www3.ethos.org.br/cedoc/sistema-de-integridade-nos-estados-brasileiro-marco2012/#. VfIl_NJViko>. Acesso em: 19 de Maio de 2015.

TRIBUNAL DE CONTAS DA UNIAO. Licitações e contratos: orientações e jurisprudência do TCU/Tribunal de Contas da União. Brasília, Ação, 2010.

* Artigo apresentado oralmente no XVI USP International Conference in Accounting, disponível em http://www.congressousp.fipecafi.org/anais/artigos162016/63.pdf

** Bacharela em Ciências Contábeis (UNEB) e Técnica-Administrativo da Universidade Federal do Recôncavo Baiano (UFRB)

*** Pós-Doutorado pela Universidade Federal da Paraíba (UFPB) e Doutor em Controladoria e Contabilidade pela Universidade de São Paulo (USP). http://lattes.cnpq.br/8371310058634760


Recibido: 30/01/2017 Aceptado: 31/01/2017 Publicado: Enero de 2017

Nota Importante a Leer:

Los comentarios al artículo son responsabilidad exclusiva del remitente.
Si necesita algún tipo de información referente al articulo póngase en contacto con el email suministrado por el autor del articulo al principio del mismo.
Un comentario no es mas que un simple medio para comunicar su opinion a futuros lectores.
El autor del articulo no esta obligado a responder o leer comentarios referentes al articulo.
Al escribir un comentario, debe tener en cuenta que recibirá notificaciones cada vez que alguien escriba un nuevo comentario en este articulo.
Eumed.net se reserva el derecho de eliminar aquellos comentarios que tengan lenguaje inadecuado o agresivo.
Si usted considera que algún comentario de esta página es inadecuado o agresivo, por favor, escriba a lisette@eumed.net.
Este artículo es editado por Servicios Académicos Intercontinentales S.L. B-93417426.