terça-feira, 10 de maio de 2016

Aula 10 (11/5/2016) - ANOVA - Modificação do Problema Colocando um Outlier no Banco de Dados:

Sequencia:
- Rodar ANOVA com Outlier
- Mostrar Saídas de MANOVA
- Todos os alunos montam exemplo de ANOVA-CLUSTER - MANOVA da sua área de pesquisa
- Seminários?
 Rodar ANOVA dos Dados do Exemplo Anterior (aula passada). 


data imc_dat;
input cat $ imc corr kcal;
cards;
AT    20.2  60.7  3200
AT    21.3  54.8  3100
AT    19.3  49.6  2800
AT    21.1  52.3  3300
SEM   22.4  14.9  2600
SEM   21.9  17.8  2700
SEM   23.8  18.6  3200
SEM   24.1  15.1  3300
SE    27.3  2.5   2700
SE    23.4  4.3   2300
SE    25.2  2.3   2600
SE    26.4  2.6   3200
PR    26.2  4.1   2600
PR    24.2  2.1   2700
PR    25.4  1.9   2650
;
proc print;
run;
proc glm;
 class cat;
 model imc corr kcal = cat;
 means cat / tukey lines;
run;


Resultado de Rodar o Programa Acima:
Arquivo para Download (Tipo Word) Arquivo de Resultados para Download

Modificação do Problema Colocando um Outlier no Banco de Dados:
data imc_dat;
input cat $ imc corr kcal;
cards;
AT    20.2  60.7  3200
AT    21.3  54.8  3100
AT    19.3  49.6  2800
AT    21.1  52.3  3300
SEM   22.4  14.9  2600
SEM   21.9  17.8  2700
SEM   23.8  18.6  3200
SEM   24.1  15.1  3300
SEM   24    70    3420
SE    27.3  2.5   2700
SE    23.4  4.3   2300
SE    25.2  2.3   2600
SE    26.4  2.6   3200
PR    26.2  4.1   2600
PR    24.2  2.1   2700
PR    25.4  1.9   2650
;
proc print;
run;
proc glm;
 class cat;
 model imc corr kcal = cat;
 means cat / tukey lines;

run;

Fotos da Louça Sobre Outliers e RANOVA




















    - Análise Multivariada Exemplos: 











    data imc_dat;
    input cat $ imc corr kcal;
    cards;
    AT 20.475 54.35 3100
    PR 25.175 2.55 2662.5
    SE  25.575 2.925 2700
    SEM 23.05 16.6 2950
    ;
    proc cluster data=imc_dat outtree=tree method=average;
    var imc corr kcal;
    id cat;
    run;
    PROC TREE DATA=TREE;
    RUN;


    Próxima aula:

    • Comparar resultados ANOVA com Kruskal-Wallis.
    • Resultados ANOVA dados brutos, transformados e da Estat. Robusta,

    segunda-feira, 2 de maio de 2016

    Aula 9 (4/5/2016) - Seminários. Outro Exemplo de Tabela Dinámica - ANOVA e MANOVA.

    Aula 9 (4/5/2015) Seminários. Outro Exemplo de Tabela Dinâmica - ANOVA  e MANOVA. 





    Passo 0 - Elaborar um seminário de 15 minutos sobre seu trabalho de pesquisa, mais 10 minutos de perguntas. Quanto antes apresentar mais tempo para discutirmos e encaminharmos para LAE.

    Passo 1 - Rever aula anterior - Eric apresenta tese dele com analise multivariada.

    Passo 2 - Outro exemplo:


    Outro Exemplo de Tabela Dinâmica: 
    Gestão de Custos

    Exemplo do Gabriel em Excel:
    Banco de Dados de Custo - Pivot Table

    Siga os mesmos passos da aula anterior, somente não calcule as medias aritméticas.

    Tecnologia: Pivot Table, Filtros, Ordenação e Consistência de Bancos de Dados (Listas de Verificação)
    Dead Line: 


    Mostrar diferença de utilização em estatística e 
    gestão de custos:

    Estatística:

    Ver exemplo da aula anterior (Categorias=Tratamentos, Var_1=IMC , etc.

    Observ. Trat. Repet. Var_1 Var_2 .... Var_n
    1
    2
    ...

    Trat. serão as linhas
    Medias de cada variável de resposta as colunas
    Objetivo: analise estatística: Cluster An. ou PCA, etc.


    Gestão:

    Registro Més Dia Item Custo
    1
    2
    ....

    Estes Campos Entrarão na Tabela Dinâmica:
    Como linas
    Como colunas
    Como corpo da tabela
    Objetivo: Elaborar totais parciais por linha (Item) e coluna (mês);


    Passo 3 - Rodar ANOVA dos Dados do Exemplo Anterior (aula passada). 


    data imc_dat;
    input cat $ imc corr kcal;
    cards;
    AT    20.2  60.7  3200
    AT    21.3  54.8  3100
    AT    19.3  49.6  2800
    AT    21.1  52.3  3300
    SEM   22.4  14.9  2600
    SEM   21.9  17.8  2700
    SEM   23.8  18.6  3200
    SEM   24.1  15.1  3300
    SE    27.3  2.5   2700
    SE    23.4  4.3   2300
    SE    25.2  2.3   2600
    SE    26.4  2.6   3200
    PR    26.2  4.1   2600
    PR    24.2  2.1   2700
    PR    25.4  1.9   2650
    ;
    proc print;
    run;
    proc glm;
     class cat;
     model imc corr kcal = cat;
     means cat / tukey lines;
    run;


    Resultado de Rodar o Programa Acima:
    Arquivo para Download (Tipo Word) Arquivo de Resultados para Download




    Passo 4 - Rodar MANOVA dos Dados do Exemplo Anterior (aula passada)

    Programa para Rodar MANOVA:

    data imc_dat;
    input cat $ imc corr kcal;
    cards;
    AT 20.2 60.7 3200
    AT 21.3 54.8 3100
    AT 19.3 49.6 2800
    AT 21.1 52.3 3300
    SEM 22.4 14.9 2600
    SEM 21.9 17.8 2700
    SEM 23.8 18.6 3200
    SEM 24.1 15.1 3300
    SE  27.3 2.5 2700
    SE  23.4 4.3 2300
    SE  25.2 2.3 2600
    SE  26.4 2.6 3200
    PR 26.2 4.1 2600
    PR 24.2 2.1 2700
    PR 25.4 1.9 2650
    ;
    proc print;
    run;
    proc glm;
     class cat;
     model imc corr kcal  = cat;
     contrast "AT e SEM Vs. PR e SE "  cat 1 -1 -1 1;
    contrast " PR Vs. SE "  cat 0 1 -1 0;
    contrast " PR e SE Vs SEM "  cat 0 1 1 -2;
     manova h=_all_ / printe printh;
    run;
    /* Se tirar o comando manova faz os contrastes univariados 
    contrast " Se Vs Prof " cat 0 0 1 -1;
    A ordem das categorias é a albafética, ver relatorio de proc glm
    */





    Resultado do Programa de MANOVA:
    Arquivo para Download (mht abrir no Wodr)
    Arquivo de Resultados - Abrir com Word






    - Análise Multivariada Exemplos: 















    data imc_dat;
    input cat $ imc corr kcal;
    cards;
    AT 20.475 54.35 3100
    PR 25.175 2.55 2662.5
    SE  25.575 2.925 2700
    SEM 23.05 16.6 2950
    ;
    proc cluster data=imc_dat outtree=tree method=average;
    var imc corr kcal;
    id cat;
    run;
    PROC TREE DATA=TREE;
    RUN;


    Próxima aula:

    • Comparar resultados ANOVA com Kruskal-Wallis.
    • Resultados ANOVA dados brutos, transformados e da Estat. Robusta,

    segunda-feira, 18 de abril de 2016

    Aula 8 (27/4/2016) - Tabela Dinâmica e Cluster Analysis

    Primeiro todos apresentam ANOVA e discutimos, (já tem pessoas que apresentaram). Ninguém fica sem apresentar. Testar requisitos de ANOVA e transformar dados se necessário.



    Aula 8 - Tabela Dinâmica e Cluster Analysis


    Estatística Multivariada – Cluster Analysis

    Vamos começar a “olhar” com a Estatística (algoritmos matemáticos), de forma multivariada.

    Isso é muito familiar para a gente por que nosso cérebro (muito mais poderoso que qualquer computador) enxerga de forma multivariada.

    Como reconhecemos os objetos ou as pessoas, por somente um item? Por exemplo, como reconhecemos uma pessoa: sexo, altura, cor do cabelo, formato do rosto, timbre da voz, sotaque, perfume que utiliza (ou que não utiliza), etc.

    Na verdade utilizamos todos esses dados e muitos mais simultaneamente, ou seja, nosso sistema de reconhecimento natural é multivariado (como a Estatística Multivariada).

    Como nosso cérebro processa toda essa informação em frações de segundo não sabemos. A neurociência está quebrando cabeça com isso. Podemos perguntar para Nicolelis (o neurocientista que dizem ter a maior chance de conseguir um Premio Nobel para o Brasil).

    O que podemos fazer com a matemática, estatística e computação é simular de alguma forma primitiva o funcionamento do cérebro.

    Esse tipo de abordagem é utilizado nas áreas de Inteligencia de Negócios (BI), Sistemas de Informação ( Data Mining, Data Crunching, Decision Support Systems-DSS e Big Data) e Pesquisa Cientifica.

    No exemplo a ser apresentado (arquivo de Excel para download), temos 4 categorias de pessoas: Atletas, Semi-atletas, Sedentários e Professores da ESALQ. Nessas pessoas foram medidas 3 variáveis, Índice de Massa Corporal, Quantos quilômetros corre ou anda por semana e Quilocalorias que Ingere por Dia (modelo trivariado, se tem mais do que uma já é multivariado).
    Exemplo para Download:



    Aqui apresentamos o nosso objetivo, elaborarmos um dendrograma, que é a representação gráfica da saída do procedimento Cluster Analysis do Programa SAS:




                          Tabela Dinâmica em Excel

    Podemos ver nesse exemplo que temos vários representantes de cada categoria, são exatamente 4 (ou quatro repetições de cada categoria)

    Para aplicarmos Cluster Analysis devemos calcular previamente as medias aritméticas de cada categoria, para cada uma das 3 variáveis de resposta.






    Vamos colocar a sequencia de passos para obtermos essas medias utilizando um recurso muito poderoso de bancos de dados do Excel (tal vez o mais poderoso):


     Tabela Dinâmica ou Pivot Table ou Pivot.


    Passo 1 – Marcar o banco de dados original

    Passo 2 – Entrar em Inserir e Depois em Tabela Dinâmica.






    Passo 3 – Dar OK. Entraremos no Ambiente de Trabalho da Tabela Dinâmica:





    Passo 4 – Clicar em Categorias “Cat.”(sem soltar o mouse, operação “Drag”) e arrastar as categorias para o local Rótulos de Linha.





    Passo 5 – Arrastar as 3 variáveis observadas: IMC, Corr e Kcal para o local Somatória de Valores (Σ valores). Veja que o protótipo da Tabela Dinâmica, já está pronto, no canto superior esquerdo.



    Passo 6 – O problema é que temos somatória dos valores e precisamos de medias aritméticas para entrar no Programa de 

    Cluster Analysis do SAS. Como fazer para trocar 

    somatória para medias?:


    Veja que os dados são de soma, um IMC de 100, praticamente não existe ( 81,9 ; 100,7 ...)


    ·       Colocar o cursor na célula “soma de IMC”

        ·   Pressionar o botão direito do mouse







      ·       Escolher a opção: “Configurações do Campo de Valor”

      ·       Veja que está em “Soma”, clicar em “Média”. 





      Veja que agora temos Média de ICM para cada categoria.


      ·       Fazer mesma operação para Corr e Kcal.





      Fim do calculo das medias de cada categoria.


      Agora é somente copiar e colar no SAS.


      Programa SAS para Cluster Analysis dos Dados Calculados no Excel:

      data  pessoas;
      input cat $ imc corr kcal;
      cards;
      DADOS DO SAS DEPOIS DE APLICAR TABELA DINAMICA
      ;
      proc cluster data=pessoas outtree = arvore method = average;
      var imc corr kcal;
      id cat;
      run;
      PROC TREE DATA = arvore;
      RUN;


















      quarta-feira, 6 de abril de 2016

      Aula 6 (13/4) - Estrutura Programa SAS - ANOVA

      Teríamos que treinar mais Teste T 

      (amostras independentes e amostras pareadas) porem estamos com ameaça de greve forte, assim vamos a entrar rápido no SAS e em ANOVA.




      Quando temos mais de duas categorias para comparar (No Teste T tínhamos somente 2 categorias)



      - Tarefa montar um banco de dados para rodar ANOVA – Rodar e elaborar um relatório.
      Anexos do Teste ANOVA na Linguagem SAS:


      Programa SAS :

      data SUCOS;
      input suco $ NaOH;
      cards;
      Maca    8
      Maca    11
      Maca    10
      Maca    8
      Maca    9
      Uva 8
      Uva 6
      Uva 7
      Uva 9
      Laranja 5
      Laranja 4
      Laranja 5
      Manga   2
      Manga   1
      Manga   1
      ;
      proc ANOVA;
      class suco;
      model NaOH=suco;
      means suco/ tukey lines;
      run;







      Resultado da Análise:






      Dependent Variable: NaOH
      Source
      DF
      Sum of Squares
      Mean Square
      F Value
      Pr > F
      Model
      3
      129.8000000
      43.2666667
      36.24
      <.0001
      Error
      11
      13.1333333
      1.1939394


      Corrected Total
      14
      142.9333333





      O número em vermelho é a margem de erro da ANOVA, em termos proporcionais, chamado nas publicações de p valor (p value).
      No âmbito corporativo se utiliza (1- p valor) * 100 = Margem de confiança para se rejeitar a hipótese Ho: Hipótese nula (ou Hipotese de Nulidade) ou Hipótese de Igualdade, ou seja que todos os sucos contem igual quantidade (concentração) de OHNa. Se tivermos p valor < 0,05 ou margem de confiança > 95%, então rejeita-se Ho, em favor de H1: Hipótese Alternativa, assim existe alguma diferença de concentração de OHNa entre os sucos.
      Assim os sucos tem diferenças na quantidade de NaOH.
      Mas onde estão as diferenças?
      Temos que ver os Box Plot de cada suco e a comparação de medias efetuada neste casso pelo Teste de Comparações Múltiplas de Tukey.




      Box and wisker plot - Wikipedia











      Relatório de ANOVA (SAS):

      Resultados e Discussão
      O quadro de análise da variância mostra que existem diferenças entre o teor de Na OH dos sucos analisados (p<0,0001), com mais do que 99,99% de confiança (ou menos de 0,01% de erro). Assim o experimento mostra diferenças altamente significativas (quando o p valor e < 0,01) (se estive-se o p valor entre 0,01 e 0,05, as diferenças seriam simplesmente significativas) e por ultimo se o p valor for > do que 0,05 então não se rejeita a hipótese de igualdade.
      O suco que apresentou maior teor de Na OH foi o de maça (9,2 mg/kg) que não diferiu significativamente (pelo Teste de Comparações Múltiplas de Tukey ao nível de 95% de confiança) do suco de uva (7,5 mg/kg), por que as medias dos 2 sucos são precedidas pela letra "A". Esses dois sucos diferiram estatisticamente dos sucos de laranja (letra "B") e manga que apresentaram as menores medias aritméticas de Na OH (letra "C").
      Por sua vez os suco de laranja apresentou uma média aritmética superior estatisticamente (4,7mg/kg) em relação ao suco de manga (1,3 mg/kg).
      O texto em verde é somente para esclarecimentos, na o deve ser colocado na tese.









       Estrutura Programa SAS






      Diferentes Cores de Letras Atribuídas pelo SAS



      Veja que você poderá mudar o que esta em fonte cor preta, as palavras em azul, são palavras reservadas do SAS, isso não poderá ser mudado. Tambem veja que o banco de dados, que seguramente você digitou no Excel esta com uma sobra cor amarelo-marrão.





       Fim Estrutura Programa SAS


      Como Gravar os 2 Arquivos Gerados pelo SAS
      1) O arquivo de programa SAS e dados tem exetencao ".sas"
      2) O arquivo de resultados tem extencao " .mht".
      Esse dois arquivos podem ser lidos pelo Word, clicando no nome do arquivo com o botão direito do mouse e escolhendo a opção "Abrir com" do Microsoft Explorer.


      Exercício na Aula: 

      • Digitar no SAS  para refletir em cada linha digitada. 
      • Perguntar qualquer duvida, todo deve fazer sentido, pode não ser fácil por que estamos trabalhando numa linguagem de computação (de alto nível, quarta geração) e na língua inglesa.
      • Discutir os resultados com base em postagem da aula anterior. Reescreva ou copie interpretando cada paragrafo.
      Programa SAS com Problemas de Prerrequisitos de ANOVA:
      data SUCOS_B;
      /* Outlier e Escala (homocedasticidade) */
      input suco $ NaOH;
      cards;
      Maca    8
      Maca    50
      Maca    7
      Maca    60
      Maca    7
      Uva 2
      Uva 4
      Uva 12
      Uva 13
      Laranja 14
      Laranja 2
      Laranja 3
      Manga   2
      Manga   3
      Manga   89
      ;
      proc ANOVA;
      class suco;
      model NaOH=suco;
      means suco/ tukey lines;
      run;

      Arquivo de Telas SAS para Diagnostico ANOVA:

      Telas_Dianostico



      SAS Students Remoto Servidor LCE:
      143.107.212.50:10080