Lecture Marketing research (12th edition) - Chapter 20: Discriminant, factor and cluster analysis

Chapter 20 - Discriminant, factor and cluster analysis. In this chapter, the following content will be discussed: Discriminant analysis, objectives of discriminant analysis, basic concept, discriminant function, discriminant function – a graphical illustration,...

Discriminant, Factor and Cluster

Analysis

Analysis

• Determining linear combinations of the predictor variables to 

separate groups by measuring between­group variation relative to within­group variation

• Developing procedures for assigning new objects, firms, or 

individuals, whose profiles, but not group identity are known, to one 

of the two groups

• Testing whether significant differences exist between the two groups based on the group centroids

• Determining which variables count most in explaining inter­group differences

usual value of C is

where X1 and XII are the mean values for the two groups, respectively.

Basic Concept

A Graphical Illustration

• Null Hypothesis: In the population, the group means the  discriminant function are equal

Ho : μA = μB  

• Generally, predictors with relatively large standardized 

coefficients contribute more to the discriminating power of  the function

• Canonical or discriminant loadings show the variance that 

Holdout Method

• Uses part of sample to construct classification rule; other subsample used for validation

• Uses classification matrix and hit ratio to evaluate groups 

classification

• Uses discriminant weights to generate discriminant scores for cases in subsample

U ­ method or Cross Validation

• Uses all available data without serious bias in estimating  error rates

• Estimated classification error rates

P1 =  m1/ n1  P2 =  m2 / n2 

where m1 and m2 = number of sample observations 

mis­classified in groups G1 and G2 

1. Form groups

2 Estimate discriminant function

3 Determine significance of function and variables

4 Interpret the discriminant function

5 Perform classification and validation

Multiple Discriminant Analysis

Multiple Discriminant Analysis

Multiple Discriminant Analysis

Factor Analysis ­ Example

Factor

▫A variable or construct that is not directly 

observable but needs to be inferred from the input  variables

▫All included factors (prior to rotation) must explain 

at least as much variance as an “average variable”

Eigenvalue Criteria

▫Represents the amount of variance in the original  variables that is associated with a factor

▫Sum of the square of the factor loadings of each 

variable on a factor represents the eigenvalue

Marketing Research 12th Edition /

§  Solutions generated by factor analysis for a data set.

▫ Each factor tends to load high (1 or 1) on a smaller number of variables and low, or  very low (close to zero), on other variables, to make interpretation of the resulting  factors easier. 

▫ The variance explained by each unrotated factor is simply rearranged by the 

rotation, while the total variance explained by the rotated factors still remains the  same. 

▫ The first rotated factor will no longer necessarily account for the maximum variance  and the amount of variance each factor accounts for has to be recalculated.

▫ The factors are rotated for better interpretation, such that the orthogonality is not 

correlation matrix

Common Factor Analysis – Results (Contd.)

Common Factor Analysis ­ Results

Common Factor Analysis – Results (Contd.)

Steps in Cluster Analysis

Hierarchical Clustering

▫ Can start with all objects in one cluster and divide and subdivide them until all objects  are in their own single­object cluster ( ‘top­down’ or decision approach)

▫ Can start with each object in its own single­object cluster and systematically combine  clusters until all objects are in one cluster  (‘bottom­up’ or agglomerative approach)

Non­hierarchical Clustering

▫ Permits objects to leave one cluster and join another as clusters are being formed

▫ A cluster center is initially selected and all the objects within a pre­specified threshold  distance are included in that cluster

(the point whose coordinates are the means of all the  observations in the cluster)

Example

(Contd.)A dendrogram for hierarchical clustering of bank data

(Contd.)

▫ Objects can be later reassigned to clusters on the basis of optimizing 

Nonhierarchical Cluster Analysis ­ Example

Analysis – Example (Contd.)

Analysis – Example (Contd.)

Analysis – Example (Contd.)

• Apply two or more different clustering approaches to same data or use different distance  measures and compare the results.

• Split the data randomly into two halves and perform clustering on each half and then  examine the average profile values of each cluster across sub samples.

• Delete various columns (variables) from the original data, compute dissimilarity measures  across remaining variables and compare these results with the results obtained using full  set.

• Using simulation procedures create a data set with the properties matching the overall  properties of the original data but containing no clusters. Use the same clustering method 

• Assumptions

▫ The basic measure of similarity on which the clustering is based is a valid measure of the similarity between the objects

End of Chapter Twenty