IA e Dados
Pensando em Conjunto
Há situações em que as variáveis não se correlacionam, mas ainda explicam juntas um resultado. Este texto explora como visualizar essas relações com lógica Booleana e diagramas de conjuntos.
Muitas equipes de inteligência de dados e diretores executivos vivem uma frustração silenciosa: após semanas coletando dados, os relatórios estatísticos tradicionais concluem apenas que “não há correlação significativa entre as variáveis”. Nesses momentos, a impressão é de que a intuição dos gestores estava errada e que os dados não servem para nada. Mas e se o problema não forem os dados, e sim a forma limitada como aprendemos a analisá-los e visualizá-los?
Todo mundo já fez um Diagrama de Venn. Desde as aulas de matemática na escola, aprendemos que essa é uma das formas mais básicas de representação visual. Não é à toa que as ferramentas de desenho sempre têm um template pronto para esse tipo de gráfico. Contudo, para além da sua ubiquidade, o estudo de caso desses diagramas tem algo mais a nos ensinar. De fato, analisar as principais maneiras de se representar conjuntos e suas relações traz lições fundamentais sobre visualização de dados.
- Vendo o que falo para rever o que penso
“Como posso saber o que penso até ver o que digo?”
(E. M. Forster, Aspects of the Novel, 1927)
A teoria dos conjuntos é uma das principais interpretações dos elementos de uma álgebra Booleana. A lógica proposicional, ramo da lógica que analisa frases declarativas, é outra. Como tais, elas providenciam linguagens formais para falarmos com clareza sobre o que estamos pensando.
| Elemento de uma álgebra Booleana | Interpretação na teoria dos conjuntos | Interpretação na lógica proposicional |
|---|---|---|
| 1 | Conjunto universo | Verdadeiro |
| 0 | Conjunto vazio | Falso |
| + | União | Disjunção (“ou”) |
| * | Interseção | Conjunção (“e”) |
| - | Complemento | Negação (“não”) |
A lógica proposicional nos fornece, portanto, uma interpretação da álgebra Booleana em termos que já usamos corriqueiramente na nossa linguagem natural – o que é ótimo! No entanto, a sua forma de representação típica, a tabela-verdade, embora transparente do ponto de vista lógico, não é lá tão visualmente representativa assim.
Por outro lado, a teoria dos conjuntos propõe uma interpretação da mesma álgebra em termos que não usamos no dia-a-dia – pelo menos, não em seus sentidos técnicos. Porém, os seus diagramas (como os desenvolvidos por John Venn) são, em geral, imediatamente compreensíveis.
Assim, podemos nos expressar formalmente nos termos usuais da lógica proposicional e, ao mesmo tempo, “ver o que estamos falando” por meio dos diagramas intuitivos da teoria dos conjuntos. Isso é possível pelo menos para todas as coisas sobre as quais podemos nos referir por meio de sentenças verdadeiras ou falsas, conectadas por “ou”, “e” ou “não”. Ou seja: para muita coisa!
- Dizendo mais com mais clareza
De fato, a partir de combinações dessas operações básicas da álgebra Booleana, podemos dizer ainda mais coisas com igual clareza formal. Isso porque, na lógica proposicional, a expressão Booleana “-P + Q” é interpretada como “se P, então Q”, a fim de corresponder ao que geralmente queremos dizer quando nos expressamos dessa maneira no cotidiano. Para simbolizar essa operação composta, denominada de “implicação material” na lógica proposicional, o sinal “→” é comumente utilizado.
Pense, por exemplo, na seguinte proposição: “Se um número é múltiplo de 4 (P), então ele é par (Q).” Como toda vez em que P é verdade, Q também é verdade, dizemos que P é “suficiente” para Q e que Q é “necessário” para P – mais dois termos que também usamos com frequência na nossa linguagem natural. Ou seja, um número ser múltiplo de 4 é suficiente para que ele seja par. E um número ser par é necessário para que ele seja múltiplo de 4.
Quando a implicação se verifica nos dois sentidos, podemos dizer, então, que P é “necessário e suficiente” para Q e vice-versa; ou, simplesmente, que P e Q são “equivalentes”. Um exemplo simples: suponha que P represente “um número é par” e Q, “um número é divisível por 2”. Todo caso que verifica P verifica Q e vice-versa.
Novamente, portanto, a lógica proposicional proporciona-nos clareza ao formalizar os significados de outros termos que também usamos costumeiramente. Contudo, mais uma vez, a representação dessas definições em tabelas-verdade lembra mais a forma bruta de um banco de dados do que a sua visualização de uma maneira elucidativa.
Por outro lado, novamente também, a teoria dos conjuntos adota termos pouco usuais para se referir a essas mesmas relações. A suficiência da verdade da proposição P para a verdade da proposição Q corresponde, na linguagem de conjuntos, a dizer que o conjunto P “está contido” no conjunto Q – ou que P é um “subconjunto” de Q. Semelhantemente, dizer que Q ser verdade é necessário para que P seja verdade corresponde a dizer que Q “contém” P – ou que Q é um “superconjunto” de P (um termo que dificilmente usaremos em uma reunião ou em um e-mail!).
Porém, mais uma vez também, a diagramação desses conceitos na teoria dos conjuntos transmite as noções correspondentes de maneira muito mais intuitiva do que as tabelas-verdade o fazem. Da figura abaixo, por exemplo, percebemos instantaneamente que Q é necessário para P e que P é suficiente para Q. Simples assim. (Pense, por exemplo, em P como sendo o conjunto de números múltiplos de 4; e Q, o de números pares.)
- Mudando de assunto
Algo importante a destacar neste ponto é que essa relação expressável pela álgebra Booleana – e interpretada como “implicação” na lógica proposicional e “contenção” na teoria dos conjuntos – NÃO tem vinculação com as famosas “correlações” estatísticas. Considere o exemplo abaixo. Nele, à esquerda, temos um pequeno banco de dados e, à direita, a matriz de correlação correspondente. C=1 pode representar “usuário de sistema de TI satisfeito”; A=1, “usuário expert”; e B=1, “sistema de TI com funcionalidades avançadas”, por exemplo.
Na matriz, fica evidente que não há nenhuma correlação entre as variáveis – afinal, todos os valores fora da diagonal principal são iguais a zero. Porém, ao analisar o banco de dados, conclui-se, por exemplo, que a conjunção de A e B é suficiente para C e que C também é necessário para a conjunção -A*-B. Ou seja, o usuário de sistema de TI fica satisfeito em uma de duas situações: quando ele é expert e o sistema é avançado, ou quando ele não é expert mas o sistema é simples. Portanto, um caso tão elementar como esse já mostra que é possível encontrar relações de necessidade e suficiência mesmo quando correlações não estão presentes.
Essa observação é importante, porque muitas análises estatísticas que fazemos são baseadas no cálculo de correlações. Nessa abordagem, se nenhuma correlação é encontrada, não há nenhuma conclusão a ser tirada – e nenhuma visualização de dados a ser construída –, a não ser a de que “não há correlação”. Dessa forma, não haveria nada significativo a dizer ou ver. Mas, se mudássemos de assunto e passássemos a falar em termos de “necessidade” e “suficiência”, aí sim teríamos muito o que dizer – e, pelos diagramas de conjunto, muito o que ver.
Ou seja: nossas formas típicas de análise e de visualização de dados podem estar desnecessariamente limitando nossas reflexões e discussões. E isso bem em relação ao que mais se aproxima das coisas sobre as quais falamos no dia-a-dia. Afinal, a pessoa das ruas – que é também a mesma que se assenta à mesa da diretoria – certamente conversa mais em termos de “ou”, “e”, “não” e “se, então” do que de “coeficiente de correlação de Pearson”!
- Falando em vendas
Suponha, por exemplo, que uma empresa varejista queira entender o que explica o seu desempenho em termos de lucratividade. Para fins de simplificação, consideremos L=1 (ou “L” maiúsculo) como “lucro satisfatório no período” e l=0 (ou “l” minúsculo) como “lucro insatisfatório”. Da experiência dos gestores, em situações normais de operação, quatro variáveis principais parecem fazer diferença nesse resultado:
- A: Investimento em publicidade. A variável A seria verdadeira (A=1) se a empresa investisse em publicidade durante o período de análise e falsa (A=0, ou a) caso contrário.
- B: Disponibilidade de estoque. A variável B seria verdadeira (B=1) se a empresa mantivesse um estoque suficiente para atender a qualquer demanda durante o período de análise e falsa (B=0, ou b) se houvesse escassez de produtos para atender a pedidos excepcionalmente grandes.
- C: Competição. A variável C seria verdadeira (C=1) se a concorrência estivesse oferecendo promoções ou descontos agressivos durante o período de análise e falsa (C=0, ou c) caso contrário.
- D: Condições econômicas. A variável D seria verdadeira (D=1) se a economia estivesse em uma fase de crescimento, com aumento do poder de compra dos consumidores, e falsa (D=0, ou d) se a economia estivesse em recessão ou estagnação.
Baseada nessas intuições dos especialistas na área, o time de inteligência de negócios monitorou essas variáveis regularmente durante um tempo e obteve o seguinte conjunto de dados:
(Nota: cada linha pode corresponder a mais de um período analisado.)
Da análise Booleana desses dados, é possível concluir que o lucro é satisfatório (L=1) se, e somente se, a*B*D + A*c*d + b*C*D, expressão em que:
- a*B*D representa ausência de investimento em publicidade (A=0), disponibilidade de estoque adequada (B=1) e condições econômicas favoráveis (D=1). (Por exemplo, se a empresa não investiu em publicidade, mas teve estoque suficiente e operou em um contexto econômico favorável, isso impulsionou o lucro no período.)
- A*c*d representa investimento em publicidade (A=1), ausência de competição agressiva (C=0) e ausência de condições econômicas favoráveis (D=0). (Por exemplo, se a empresa investiu em publicidade e a concorrência não foi intensa, o lucro foi satisfatório mesmo com condições econômicas desfavoráveis.)
- b*C*D representa estoque insuficiente para grandes compras (B=0), competição agressiva (C=1) e condições econômicas favoráveis (D=1). (Por exemplo, mesmo quando a empresa não estava com estoque para atender a grandes pedidos e enfrentava concorrência agressiva, o lucro no período foi satisfatório se o ambiente econômico estava favorável.)
Essa explicação complexa – como o é boa parte das explicações no mundo real – pode ser prontamente visualizada, no entanto, de algumas formas complementares.
O quão elucidativas são essas duas visualizações de conjuntos e qual delas é mais apropriada para quais contextos são questões para futuras reflexões. Por ora, basta enfatizar que a correlação entre as variáveis monitoradas é igual a zero para todos os pares de variáveis – exceto entre D e L, que é de apenas 0,26. (Pode calcular para conferir!)
Ou seja, se nossa análise desse conjunto de dados fosse partir do cálculo de correlações bivariadas (como acontece nos principais métodos estatísticos e probabilísticos), tudo o que teríamos a dizer sobre esse conjunto de dados seria que “não há correlação entre as variáveis monitoradas” – e não veríamos nada mais… O monitoramento potencialmente trabalhoso do time de inteligência para coletar esses dados não traria benefício nenhum para os gestores. Pelo contrário, poderia até desencaminhá-los, sugerindo que as intuições que eles tinham de que aquelas variáveis eram relevantes para o desempenho estavam erradas.
Por outro lado, uma figura como o diagrama linear acima pode não ser a mais simples que você já viu, mas ela permite que os tomadores de decisão enxerguem, com relativa facilidade, o que ninguém – nem os métodos estatísticos – estavam vendo! E olha que os gestores, a seu modo, já sabiam que alguma relação existia; só precisavam ver com mais clareza o que estavam falando para rever, com segurança, o que estavam pensando. Isso, sim, é visualização de dados de qualidade, fazendo o time de inteligência e os gestores pensarem “em conjunto(s)”!