Lecture Software process improvement: Lesson 30A - Dr. Ghulam Ahmad Farrukh

Lecture Software process improvement: Lesson 30A provide students with knowledge about: software process benchmarks; macroeconomic benchmarks; economic benchmarks; corporate IT benchmarks; customer satisfaction benchmarks; project-level benchmarks;... Please refer to the detailed content of the lecture!

Lecture # 30­A

• Benchmarks compare a company against 

industry norms

• All of these factors are related to software process improvement initiatives

• Benchmark studies often include 

supplemental information on specific tool suites, programming languages, and formal methods utilized

• Thus, benchmark studies and assessment 

studies overlap to a degree

• Benchmarks are primarily comparisons 

between a specific company and other 

companies in the same kind of business

• Benchmark studies or comparisons of 

quantitative data are older than the software industry. Indeed, comparisons between the companies have been taking place for 

centuries. E.g., studies of market shares, 

staff compensation levels, executive pay, 

and customer satisfaction have long been 

performed

• Software benchmark is a formal comparison 

of software methods and results against 

those of other organizations

• Software benchmarks can be traced back to the 1960s, when studies of data center 

performance and downtimes started to be performed

• These were soon followed by corporate­

level studies of investments in information technology, compensation studies of 

software personnel, and studies of software schedules, cost, and process

• Within the software industry, there are a 

number of levels of benchmark studies that have been noted to occur

• It would be a good idea to consider the 

various kinds of benchmarks

• Macroeconomic benchmarks are concerned with very large­scale issues such as impact 

• Economic benchmarks are concerned with topics such as whether investments in 

computers, software, factory automation, or process improvement benefit the 

profitability and market shares of 

companies that spend more than others

• Productivity paradox

• Economic benchmarks are performed by 

economists, universities, and by 

management consulting groups

• Corporate information technology 

benchmarks deal with a host of interesting comparisons among companies

• Some of the comparisons that are studied under corporate benchmarks include

– Percent of corporate employees in IT

– Number of user supported per staff member in 

software compensation and salary levels 

Benchmarks

• Customer satisfaction benchmarks also 

predate the computer era and can be traced back more than 100 years. In the context of software applications, customer satisfaction surveys for specific products are often 

carried out by the vendors themselves

• However, comparative benchmarks 

between classes of similar products require more extensive data

• Project­level benchmarks for software have been carried out since the 1970s

• With hundreds of companies performing 

scores of benchmarks it is not surprising 

that there are many variations in how the 

work is performed

• Benchmark studies can be carried out in a variety of ways, including

• Benchmarks by means of mailed/e­mailed survey instruments

• Benchmarks by means of telephone surveys

• Benchmarks by means of on­site interviews

• A good benchmark should also uncover 

information on why the results are the way they are

• Also, because benchmarks are precursors to process improvement programs, the 

benchmark should indicate some of the 

steps that might be needed to improve the client’s standing against data

Basic Sequence of Software 

Benchmarks

Benchmarks

• Benchmarks are even more effective than assessments in causing companies to start software process improvement programs

• If a company is well below average ranges 

in productivity and quality, this situation 

presents tangible data that executives can understand easily

• For example, the virtues of moving up from 

an SEI CMMI level 1 to a level 3 might be abstract and difficult to explain, but the 

need to improve productivity rates from 

five function points per staff month to ten to reach industry norms is fairly unambiguous

• Accurate benchmarking of software 

projects was difficult for many years due to problems with the LOC software metric, 

which was unreliable for studies involving multiple programming languages

• The advent of the function point metric has opened a door to more accurate benchmark 

• Benchmark studies can explore a number of different topics

• Very interesting software benchmarks can 

be carried out at the project level. These 

project­level benchmarks can generate very useful information. However, project­level benchmarks require a great deal of care to ensure an apples­to­apples comparisons

• What are best­in­class productivity rates in our industry?

• What are best­in­class development costs per function point in our industry?

• What are best­in­class development 

schedules?

• What are best­in­class quality levels in our industry?

• What are the best development processes 

for software like ours?

• What are the best development tools for 

software like ours?

• What does it cost to move from SEI CMMI level 1 to SEI CMMI level 3?

• What are the differences in results between SEI CMMI level 1 and CMMI level 3?

• As can be seen from these very common 

questions, the most interesting topics from benchmarks are those associated with best practices and best­in­class results

• Averages are interesting and useful, but 

benchmark studies are often commissioned 

by companies with goals that are to be 

much better than average

• For benchmarks to be useful, or even for the  comparisons to be valid, the projects that are  compared during the benchmark have to be 

similar in size and in nature

• For benchmarking purposes, it is not a normal  practice to compare unlike software 

applications, such as comparing the 

productivity level of a small Web applet with 

Benchmarking Overview

Personnel Processes Technology Environment

Productivity Rates Quality Levels WhereYou Are Department ModelsProject Profiles WhyYou Are MEASURING

ASSESSING

Summary

• Software Assessments, Benchmarks, and 

Best Practices by Capers Jones (Chapter 3)