Lecture Statistical techniques in business and economics - Chapter 14: Multiple regression

When you have completed this chapter, you will be able to: Understand the importance of an appropriate model specification and multiple regression analysis, comprehend the nature and technique of multiple regression models and the concept of partial regression coefficients, use the estimation techniques for multiple regression models,...

When you have completed this chapter, you will be able to:

    Understand the importance of an appropriate model 

specification and multiple regression analysis

   Comprehend the nature and technique of 

though a joint test of hypothesis (F test) on the 

coefficients of all variables

  Draw inferences  about the importance of the 

independent variables through       tests of hypothesis (t­tests)

5 Explain the goodness of fit   of an estimated model.

   Identify the problems raised, and the remedies 

thereof, by the presence of outliers/influential observations in the data sets

9.

  Comprehend the  concept of partial correlations and 

10   Identify the  violation of model assumptions, including 

linearity, homoscedasticity, autocorrelation, and 

normality through simple diagnosic procedures. 

14   Draw inferences about the importance of a subset of 

the importance in multiple regression analysis

The general  multiple regression  with k 

y a bx b x1 1 2 2 . . . b xk k

… is measured in the same units as the            dependent variable        

Multiple Standard Error of Estimate

… is a  measure of the effectiveness      

      of the 

regression equation

… it is difficult to determine  what is a  large  value  

and  what is a small value of the standard error!

Assumptions

 Multiple Regression and Correlation 

Assumptions  … the independent variables and the dependent variables 

have a linear relationship

 … the dependent variable must be continuous and       

uncorrelated

A  correlation matrix  is used       

       to show all possible  simple correlation coefficients among the 

variables 

… i t shows how strongly              each independent variable         

      is correlated              with the 

dependent variable.  

…t he  matrix  is useful for locating  correlated independent variables.

Correlation Matrix Correlation Matrix

The global test is       

       used to investigate whether any of  the independent variables      

       have significant coefficients        

0   equal  s

all Not 

 :

1

H

0

       F distribution with k  (number of 

independent variables)        

and 

n­(k+1) degrees of freedom,       

       where n is the sample size

Global Test … continued

A market researcher for Super Dollar Super  Markets is studying the yearly amount              families of four or more spend on 

food. 

Three independent variables  are thought to be 

related to yearly food expenditures ( Food ).  

Those variables are: 

… total family income ( Income ) in $00, 

… size of family ( Size ), and 

… whether the family has children in college ( College )

… the part is acceptable or unacceptable

… the voter will or will not vote for the incumbent  

… continued Note: …  the following regarding the regression equation

… the variable college is called       

       a dummy or indicator variable.       

      (It can take only one of two possible outcomes,      i.e. a child is a 

Use a computer software package, such as  MINITAB or Excel,       

      to develop a correlation matrix.

 From the analysis provided by MINITAB,     write out the regression equation:

… continued

What food expenditure would you estimate  for a family of 4, with no college students,             and an income 

of $50,000      (which 

is input as 500)?

What food expenditure would you estimate  for a family of 4, with  no college students ,             and an  income 

of $50,000       (which 

is input as 500)?

The regression equation is

Food = 954 + 1.09 Income + 748 Size + 565 Student

Predictor Coef SE Coef T P

The regression equation is

Food = 954 + 1.09 Income + 748 Size + 565 Student

Predictor Coef SE Coef T P

       is 80.4  percent. 

From the regression 

output we note: The  coefficient of  determination        

       is 80.4  percent. 

… continued

This means that      more than 80 percent of the variation         

      in the amount spent on food 

      is accounted for 

by      the variables income, family size, and student

This means that      more than 80 percent of the variation         

        in the amount spent on food 

      is accounted for 

by      the variables income, family size, and student

The regression equation is

Food = 954 + 1.09 Income + 748 Size + 565 Student

Predictor Coef SE Coef T P

An additional family 

member will increase the amount spent per year on food by $748

… continued

A family with a college student will spend $565 more per year on food than those without 

a college student

A family with a college student will spend $565 more per year on food than those without 

a college student

None of the correlations among the independent variables should cause problems.      

       a family of 4 with a           $500 (that is 

The regression equation is

Food = 954 + 1.09 Income + 748 Size + 565

if any of the regression coefficients are not zero

H0 is rejected if F>4.07

…from the MINITAB output,      

      the computed value       

The regression equation is

Food = 954 + 1.09 Income + 748 Size

      (This is the hypothesis for the independent variable 

family size)

The regression equation is

Food versus Size

The regression equation is Food = 340 + 1031 Size

Predictor Coef SECoef Constant 339.7 940.7 Size 1031.0 179.4

Residuals should be approximately       

      normally distributed

Analysis        Residuals 

Analysis         Residuals 

… histograms and stem­and­leaf charts           are useful in 

Analysis        Residuals 

Analysis         Residuals 

Analysis        Residuals 

Analysis         Residuals 

­600         ­200         200      600         1000

876543210

…and much more!

This completes Chapter 14 This completes Chapter 14