quarta-feira, 7 de abril de 2021

Regressão Robusta - A escolhida pela Inteligencia Artificial e as Normas ISO (não é dada em nenhuma disciplina da USP em Piracicaba)

 Estatística Robusta - A escolhida pela Inteligencia Artificial e as Normas ISO (não é dada em nenhuma disciplina da USP em Piracicaba)


Resutado da IA - Machine Learning Supervicionado para Regressão - TCC Vanessa Taconha (2020)

Temp_Are =

      8.8438 * Temp_Gra +

     10.6381 * Concorr +

      6.5265 * CD_IA_Bi +

    -61.9764

Regressão Robusta no SAS

Videoaulas:
https://youtu.be/w8xR2m6FMx4
https://youtu.be/WeIg5FG6wb4
https://youtu.be/4mI-6RKm6so

Dados do Excel:

Propaganda

Vendas

30

430

21

335

35

520

42

490

37

470

2

1500

8

195

17

270





data com;
input x y;
cards;
30   430
21   335
35   520
42   490
37   470
2    1500
8    195
17   270
35   400
25   480
20   400
;
/* Com Outlier Y = 1500??? */

proc robustreg data = com method = m;
model y = x;
run;


/* Para a Gente nao descartar, eliminar, dados podemos utilizar
regressao robusta proc robustreg, o oulier na afeta à analise, nao
temos nescesidade de normalidade nem ausencia de outliers */


Dados de Propaganda e Vendas - Com um erro de digitação

- Pense que poderiam ser 10.000 dados, facilmente acontecem erros de digitação!


X

Y

30

430

21

335

35

520

42

490

37

470

2

2100

8

195

17

270

35

400

25

480



Programa SAS Utilizando Estatística Robusta

 data com;

input x y;

cards;

30   430

21   335

35   520

42   490

37   470

2    2100

8    195

17   270

35   400

25   480

20   4000

;

/* Com outlier Y =2100 */



proc robustreg data = com method = m;

model y = x;

run;


Dados e Data Mining - Com Estatística Robusta:

( Também analise errada em Excel)














 Regressão Robusta e Paramétrica no SAS


Modo de checar o resultado da IA


data com;
input x y;
cards;
30   430
21   335
35   520
42   490
37   470
2    2100
8    195
17   270
35   400
25   480
20   400
;
/* Com orlier Y = 2100 */

proc robustreg method = m;
model y = x;

/* y: Efeito x: Causa */
run;




terça-feira, 6 de abril de 2021

Videoaulas de Regressão - Macro em Excel - EXCEL AVANÇADO

Resutado da IA - Machine Learning Supervicionado para Regressão - TCC Vanessa Taconha (2020)

Temp_Are =

      8.8438 * Temp_Gra +

     10.6381 * Concorr +

      6.5265 * CD_IA_Bi +

    -61.9764


 

          



                Videoaulas de Regressão  

              Macro em Excel  

                             (EXCEL AVANÇADO)




Videoaula 1 - Resolvendo Graficamente e Sem Probabilidade 
( Sem Macros em Excel)

https://www.youtube.com/watch?v=HWnrEfMHOZw&feature=youtu.be





Videoaula 2 - Resolvendo com Probabilidade, Margem de Erro e Margem de Confiança, Inferência Estatística - Macro de Regressão em Excel


https://www.youtube.com/watch?v=qLbziQKSeB8&feature=youtu.be


 Propaganda - Vendas 

X

Y

30

430

21

335

35

520

42

490

37

470

2

210

8

195

17

270

35

400

25

480





Arquivo para Download








Coeficiente Angular ou Coeficiente de Regressão = 8,3
Quanto aumenta a Venda (Y) quando incremento uma unidade em Propaganda (X)

 

 

Coeficiente Linear = 170,78

Indica quanto venderei em cada unidade de negócio se não fizer propaganda (X=0) 



     Coeficiente de Determinação ou R Quadrado = 

Se Coef. Determinação:
0-0,2 = Muito Ruim o Modelo
0,2-0,4 = Ruim
0,4-0,6 = Regular (nem bom nem ruim)
0,6-0,8 = Bom
0,8 - 1 = Muito Bom


O coeficiente de determinação, também chamado de R², é uma medida de ajustamento de um modelo estatístico linear generalizado, como a Regressão linear, em relação aos valores observados. O R² varia entre 0 e 1, indicando, em percentagem, o quanto o modelo consegue explicar os valores observados. Quanto maior o R², mais explicativo é modelo, melhor ele se ajusta à amostra.
Por exemplo, se o R² de um modelo é 0,8234, isto significa que 82,34% da variável dependente (Y) consegue ser explicada pelos regressores (X) presentes no modelo. Fonte Wikipedia.



Regressão Linear é um dos modelos mais atrativos devido a sua representação entendível, no caso da regressão linear simples sua utilização é mais para aprendizado, já que na prática ela não é muito aplicada, visto que, em muitos casos a gama de variáveis de entradas é maior, fazendo-se uso da Regressão Linear Multivariável, ao qual não adentraremos nesse post. O modelo de representação da regressão linear simples é a tradicional equação conhecida como equação da reta ou em inglês slope-intercept form, usaremos a notação mais utilizada em exemplos de Machine Learning e não da matemática, mas você pode saber mais sobre a própria equação neste link.
Temos o y a variável dependente que representa a predição, as letras gregas β (Beta), também conhecidos como coeficientes, que são a representação das variáveis que o algoritmo irá utilizar para “aprender” a produzir as previsões mais precisas e o x a variável independente que representa o dado de entrada. As letras gregas β também são conhecidas como inclinação e interceptação ou em inglês intercept-slope.

Função de custo


Função de custo, no inglês cost function ou ainda ordinary least squares é uma função utilizada para medir o quão errado o modelo está, os chamados resíduos. Isto é, consiste no cálculo da distância de cada ponto (distância essa entre as variáveis x e y) em relação a reta de regressão, esse valor é elevado ao quadrado e somado, o total é a quantidade média de erro do modelo.

Aula 3 - 7/4/2021

 Aula 3

Link do Site da Disciplina LCE5736:

https://sites.google.com/view/lce5736-usp-gabriel




Link Permanente (Google Meet):  zwz-pbzr-qkx

Link Hoje: 


Videos de Hoje:

Video 1

https://youtu.be/WwKQPgHAg-I

Video 2

https://youtu.be/EMKxALeDjl0



Pauta:

- Inrodução Contexto

- Site: https://sites.google.com/view/intel--sol-50-usp

- Pasar Exercícios

- Pessoas adiantadas - Autoaprendizagem – Vídeo-aulas no Blog

- Regressão em Excel

- Introdução ao SAS

     - Brainstorming se problemas de cadastro

     - Exemplos SQL

     - Exemplo ANOVA

Exercícios - Lista

 


Exercícios - Lista


Mandar os exercícios para e-mail:


lce5736.usp@gmail.com


A Lista de Exerccios Tambem Esta no Site da Disciplina LCE5736:

https://sites.google.com/view/lce5736-usp-gabriel



Exercício 1 - Teste se a média aritmética dos dois estados é igual. Se existirem outliers elimine-os.  Analise os dados com o outlier e eliminando-o, compare os resultados. Discuta os resultados da analise sem o outlier. Dead Line: 21/4/2021.

Teste T - Macro em Excel - Inferência Indutiva

Inferência Indutiva utilizando Estatística



Cidade

Estado

Salario na Industria Tático/Operacional

1

MS

1678

2

SP

1850

3

MS

1650

4

MS

1890

5

SP

1950

6

SP

2050

7

SP

2320

8

SP

1800

9

MS

1789

10

MS

1890

11

MS

1700

12

MS

2550

13

SP

2150

14

SP

1680


Trocar 1680 pelos ultimos 4 digitos do seu numero USP
Rodar como está na Internet e depois trocar o numero 1680 pelos 4 ultimos digitos do seu numero USP



Arquivo do Ecxel feito em dinamica conjunta:
(Arquivo para Downoad)




Livro Introdutorio sobre Machine Learning

https://alex.smola.org/drafts/thebook.pdf

Exercício 2 - Analise os dados do Site a seguir utilizando Regressão em Excel, grafico e Ferramentas de Analise de Dados do Excel (macro). Enviar programa e relatório em Word, discutindo os resultados. Dead line: 28/4/2021.

http://rstudio-pubs-static.s3.amazonaws.com/431946_418d123eabd94c75b1eb1799e14da71e.html

Rodar como está na Internet e depois trocar o numero 202 pelos 3 ultimos digitos do seu numero USP

Resolução:

Âmbito Acadêmico:

A relação entre População (Variável X, causa) e Vendas (Variável Y, efeito) é significativa (p<0,0001), sendo o coeficiente de regressão estimado igual a 5, com intervalo de confiança de 95% entre os limites, 3,7 e 6,3.

Assim para cada unidade de aumento da população aumenta em média 5 unidades as vendas.

 

Âmbito Corporativo:

O aumento da população implica em aumento das vendas (margem de confiança maior que 99,99%). Coeficiente de regressão 5, assim para cada unidade de aumento da população temos 5 unidades de aumento das vendas em média.


Exercício 3 - Analise estes dados utilizando ANOVA em SAS. Enviar programa e relatório em Word, discutindo os resultados. Dead line: 28/4/2021.


Dados de:
https://www.voitto.com.br/blog/artigo/anova
Resolver no SAS


 

 

domingo, 4 de abril de 2021

SAS - Introdução


SAS - Introdução






Programa para Rodar no SAS na Web

data milho;

    input cidade $ estado $  tamanho L_Liquid;

cards;

Primav     MT 3.5 1567

Ponta       PR  2.4 1678

Rondon   MT 5.2 1456

Pirai         PR  3.2 1768

;

PROC PRINT;

Run;

 



















 Estrutura Programa SAS









Programa: 

data SUCOS;

input suco $ NaOH;

cards;

Maca 8.2

Maca 10.8

Maca 10.3

Maca 7.7

Maca 9.2

Maca 9.0

Maca 8.5

Uva 7.8

Uva 6.3

Uva 6.7

Uva 9.2

Uva 6.5

Uva 8.0

Uva 7.9

Laranja 4.8

Laranja 4.3

Laranja 4.7

Laranja 4.6

Laranja 4.5

Laranja 4.6

Laranja 4.5

Manga 3.7

Manga 2.5

Manga 1.6

Manga 1.8

Manga 1.9

Manga 1.1

Manga 1.4

Manga 1.3

;

proc ANOVA;

class suco;

model NaOH=suco;

means suco/ tukey lines;

run;



Autor de todos os slides e exemplos - Gabriel A. Sarriés

sábado, 3 de abril de 2021

Horario de Consulta Hoje Sabado 3/4/2021

 Horario de Consulta Hoje Sábado 3/4/2021


Oi Gente, hoje não poderei entrar no horário de consultas por que estou com um probleminha de saúde.

Entrarei na quinta à noite.

Desculpem!

Um abraço!

Gabriel.