Wie bekannt die verschiedenen Methoden den befragten US-Managern sind, ist in Abbildung 1 grafisch dargestellt.. Auch einfache quantitative Methoden sind den Studienteilnehmern bestens b
Trang 1Seminar: Datamining and Prediction
Verwendung von Vorhersagen
in der Praxis
Literaturgrundlage:
Makridakis, S.; Wheelwright, S C.; Hyndman, R J.: Forcasting – Methods and Applications (Third Edition);
John Wiley and Sons Inc.; 1998
Doreen Rosenthal rosentha@inf.fu-berlin.de
Trang 2Inhalt
1 Motivation 3
2 Umfragen bei den Benutzern 3
3 Genauigkeit 9
3.1 Einfache vs Komplexe Methoden 9 3.2 Zeithorizont des Vorhersagens 10
3.3 Verschiedene Methoden und deren unterschiedlichen Genauigkeitsmaße 11
3.4 Kombination von Vorhersagen 11
4 Faktoren, die die Vorhersage beeinflussen 11
4.1 Vorhersagen vs Erklärungen 11
4.2 Charakteristika von Zeitperioden 11
4.3 Typ der Daten 12
4.4 Zahl und Häufigkeit von Vorhersagen 12
5 Zusammenfassung 13
Trang 31 Motivation
Im Rahmen des Seminars „Datamining and Prediction“ wurden verschiedenste
Vorhersagemethoden vorgestellt, allerdings wurde in diesem Zusammenhang nicht
darauf eingegangen, wie sich diese unterschiedlichen Techniken in der Praxis
bewähren Diese Ausarbeitung setzt sich deshalb mit diesem Thema auseinander
Zuerst wird in diesem Zusammenhang auf eine Benutzerumfrage eingegangen Danach soll erötert werden, wie genau die verschiedenen Vorhersagemethoden sind
Abschließend wird sich dann mit den Faktoren, welche eine Vorhessage beeinflussen können, beschäftigt
2 Umfragen bei den Benutzern
Die Grundlage dieses ersten Abschnitts ist eine Studie von Metzner und Cox aus dem Jahre 1989, welche auf einer Befragung von mehr als 150 US-Managern aus
verschiedenen Bereichen beruht Diese Studie untersuchte den Grad der Bekanntheit von subjektiven und qualitativen (objektiven) Vorhersagemethoden Interessant ist hier
in diesem Fall der Bekanntheitsgrad der verschiedenen Vorhersagemethoden, die
Benutzerzufriedenheit mit den unterschiedlichen Methodiken und der Einsatz dieser Techniken in der Praxis
Wie bekannt die verschiedenen Methoden den befragten US-Managern sind, ist in
Abbildung 1 grafisch dargestellt
81 79 73
85 82 73 72 67 55 48 42 26
6 5 7
7 11 12 8 16 22 11
9 9
13 16 20
8 7 15 20 17 23 41 49 65
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
*Subjektive
Jury of executive opinion
Sales force composite
Customer expectations
*Objective (quantitative)
Moving avarage
Straight-line projection
Exponential smoothing
Regression
Trend-line analysis
Simulation
Life cycle analysis
Classical decomposition
Box-Jenkins
Very Familiar Vaguely Familiar Completely Unfamiliar
Abb 1: Bekanntheit von Vorhersagemethoden
Trang 4Wie man in der Grafik sieht, sind subjektive Methoden den meisten Befragten geläufig, teilweise sogar geläufiger als objektive Vorhersagemethoden Auch einfache
quantitative Methoden sind den Studienteilnehmern bestens bekannt, wobei die
bekannteste objektive Vorhersagemethode Moving Average ist, obwohl sie nicht so genaue Ergebnisse wie Exponential Smoothing liefert Die Box-Jenkins Methodik für ARIMA Modelle ist den wenigsten geläufig, was auch für andere komplexere
Vorhersagemodelle gilt Erstaunlicherweise ist Classical Decomposition die
zweit-unbekannteste Methode, nur die Hälfte aller Befragten kannte sie Dabei ist sie sehr nützlich, da sie als äußerst flexibel gilt
Obwohl die subjektiven Vorhersagemethoden den Befragten geläufiger sind, sind die Studienteilnehmer mit den objektiven Methoden wesentlich zufriedener (Abbildung 2)
54 45 43
67 60 58 58 55 54 40 32 30
24 23 25
19 19 21 28 14 18 20
31 13
22 32 32
14 21 21 15 31 28 40 37 57
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
*Subjektive
Jury of executive opinion
Customer expectations
Sales force composite
*Objective (quantitative)
Regression
Exponential smoothing
Moving avarage
Trend-line analysis
Classical decomposition
Simulation
Life cycle analysis
Straight-line projection
Box-Jenkins
Satisfied Neutral Dissatisfied
Abb 2: Zufriedenheit mit Vorhersagemethoden
Die Befragten der Studie sind also mit Regression am zufriedensten, obwohl die Time-Series Methode genauer ist Auf Rang zwei der Zufriedenheit steht Exponential
Smoothing Diese Vorhersagemethode ist leicht zu verstehen und liefert recht genaue Ergebnisse Außerdem kann man sie mit wenig Aufwand auf große Datensätze
anwenden
Die beiden Methoden Moving Average, welches zur Zufallsfehlerentfernung aus Daten genutzt wird, und Trend-line Analysis, die zur Erstellung von Benchmarks dient, sind ebenfalls sehr beliebte Vorhersagemethoden Auffallend ist, dass bei dieser Studie kaum jemand der Befragten mit Trend-line Analysis, wohl aber mit Box-Jenkins
unzufrieden ist Dies liegt wahrscheinlich daran, dass die meisten Teilnehmer der Studie Box-Jenkins als zu kompliziert empfanden und sie keine besseren Ergebnisse wie einfachere Methoden lieferte Die Box-Jenkins Methodik wird nämlich hauptsächlich von
Trang 5Akademikern in der Forschung genutzt, weshalb es in der Wilsonstudie von 1996 auch mehr Studienteilnehmer gab, die damit zufrieden waren, da diese einen hohen
Akademikeranteil unter den Befragten aufwies Ein ebenfalls grundlegendes Werkzeug für Analysen und Vorhersagemethoden ist Classical Decomposition Die Fähigkeit
dieser Methode Serien auf Episoden, Trendzyklen und Zufälligkeiten zurückzuführen, ist besonders wichtig für Manager Letzten Endes ist aber die Zufriedenheit mit „expert
systems“ und „neural networks“ nicht grad sehr hoch
Nach der Betrachtung des Grades der Bekanntheit und Benutzerzufriedenheit der
Vorhersagetechniken soll jetzt der Einsatzbereich dieser Techniken erörtert werden Als erstes wird nun darauf eingegangen, in welchen Zeiträumen die verschiedenen
Vorhersagemethoden bevorzugt benutzt werden (Abbildung 3)
0 5 10 15 20 25 30 35 40 45
*Subjektive Sales force composite
Jury of executive opinion
Industrie/Intention to buy survey
*Extrapolation Naive Forecast Moving avarage Percentage/Unit rate of change
Exponential smoothing
Line extension Leading indicators
*Quantitative Box-Jenkins Multiple/Simple regression analysis
Econometric models
over 2 year 3-24 month 0-3 month
Abb 3: Nutzen von Vorhersagemethoden in best Zeiträumen (Mentzer und Cox 1984)
Wie hier ersichtlich, ist die am häufigsten genutzte Methode über alle Zeithorizonte Jury
of executive Opinion Die zweithäufigste Vorhersagemethode ist Sales Force
Composite, welche weniger für Lang- als für Mittel- und Kurzzeituntersuchungen genutzt wird Allerdings führen beide zur Voreingenommenheit bei den Vorhersagen
Die zwei Methoden Exponential Smoothing und Moving Average werden haupsächlich für kurzzeitige Vorhersagen genutzt, wofür sie auch am besten geeignet sind Im
Gegensatz zu Straight-line Projektion, welches überraschender Weise hauptsächlich für Kurzzeitvorhersagen benutzt wird, aber gerade dort wegen der saisonalen und
zyklischen Faktoren sehr ungenau ist Die Box-Jenkins Methodik wird eigentlich fast nicht genutzt, dies liegt aber wie schon erwähnt an der Wahl der Studienteilnehmer
Trang 6Regression wird häufig bei Mittel- oder Langzeitstudien angewandt, was in der Theorie auch als am sinnvollsten erachtet wird
Nach der Frage des Einsatzzeitraums der unterschiedlichen Techniken interessiert nun,
wo die verschiedenen Vorhersagemethoden eigentlich eingesetzt werden und in
welchen Organisationsformen (Abbildung 4) beziehungsweise Anwendungsbereichen (Abbildung 5) sie genutzt werden
26 8 5
18 13 7 6 4 4 4 2 2
41 12
20
22 20 9 10 4 9 6 3 4
32 18
25
21 20 7
11 4 18 14 3 8
32 18
27
29 21 4
10 4
19 14 2
7
22 23
24
12 22 4
11 6
20 23 6
9
0 20 40 60 80 100 120 140 160 180
*Subjektive
Jury of executive opinion
Customer expectations
Sales force composite
*Objective (quantitative)
Regression
Trend-line analysis
Simulation Straight-line projection
Life cycle analysis
Moving avarage
Exponential smoothing
Box-Jenkins
Classical decomposition
Industry Forecast Corporate Forecast Product Group Forecast Product Line Forecast Product Forecast
Abb 4: Vorhersagemethoden in verschiedenen Organisationsformen
Wie wir sehen, nutzen alle Organisationsformen etwa im selben Maße die
verschiedenen Vorhersagemethoden Besonders auffällig ist, dass alle
Organisationsformen sehr stark auf subjektive Vorhersagemethoden setzen Am
beliebtesten ist die Jury of executive opinion, welche von allen außer dem Product Forecast am häufigsten genutzt wird
Trang 7Wenn wir einen Blick auf Abbildung 5 werfen, stellen wir fest, dass bei Material
73 54
45 29
26 22 17 10 10 4
36 11
6
14 13 8 8 3 3 0
20 25 18 5
9 13 3
7 7 0
0 10 20 30 40 50 60 70 Production planning
Budgeting
Stratgetic planning
Sales analysis
Inventory control
Marketing planning
Logistics planning
Purchasing
Material requirements planning
Production planning
Total Primary Decision Secondary Decision
80
Abb 5: Nutzen von Vorhersagen in verschiedenen Anwendungsbereichen
requirements planning kaum Vorhersagen genutzt werden Es ist aber anzunehmen dass die Personen, die befragt wurden, dies mit Production planning vermischt haben
Da die Teilnehmer dieser Studie Manager sind, bietet es sich an, nach den Gebrauch der verschiedenen Vorhersagemethoden in „industrial firms“ und „consumer firms“ zu fragen
„Industrial firms“ sind Unternehmen, deren Produkte ausschließlich von der Industrie weiter verarbeitet werden Die Zahl dieser Unternehmungen beläuft sich bei dieser Untersuchung auf 59, die der „consumer firms“ ist 46 Als „consumer firms“ werden alle Firmen bezeichnet, welche direkten Umgang mit dem Verbraucher haben Dazu zählen Einzelhandel, Handwerk und Dienstleistungsunternehmen
Laut dieser Umfrage nutzen „industrial firms“ häufiger Vorhersagen als „consumer firms“ (Abbildung 6), obwohl gerade diesen Unternehmen dies mehr Nutzen bringen würden,
da hier die Genauigkeit höher wäre als bei den anderen Firmen Ebenfalls kann man in der Grafik erkennen, dass manche statistischen Erhebungen mehr von „consumer firms“ benutzt werden
Trang 833,9 25,4 6,8
6,8
18,6 16,9 8,5 6,8 5,1 3,4 1,7
10,2 10,2 5,1
13 19,6 8,7
4,3
17,4 2,2
10,9 6,5 15,2 10,9 6,5
4,3 4,3 2,2
0 5 10 15 20 25 30 35 40 45 50
Subjektive Sales force composite
Jury of executive opinion
Industrie survay
Intentions to buy
Extrapolation Naive Forecast
Leading indicators
Moving avarage
Unit rate of change
Percentage rate of change
Exponential smoothing
Line extension
Quantitative Econometric models
Multiple regression
Simple regression
Box-Jenkins
Percent of Industrial Firms Percent of Consumer Firms
Abb 6: Vorhersagemethoden in "industrial and consumer firms"
Abschließend muss man sagen, dass formale Vorhersagen den Firmen mehr nutzen würden, die, wie man oben sieht, immer noch stark auf subjektive Methoden setzen, deren Ergebnisgenauigkeit recht zweifelhaft ist
Trang 93 Genauigkeit
Die Genauigkeit der verschiedenen Vorhersagemethoden kann eigentlich nur über empirische Beobachtungen verifiziert werden Das Ergebnis der empirischen Studien, die über 30 Jahre den Erfolg der unterschiedlichen Vorhersagemethoden mit
verschiedenen Daten in der Praxis analysierten, bezeichnet man als die Post-sample Genauigkeit
Die wichtigsten Schlussfolgerungen dieser Untersuchungen sind:
a ökonometrische Methoden sind nicht genauer als alternative und einfache
Methoden.1
b Für multivariate Modelle (ARIMA etc.) existieren kaum Studien und wenn es welche gibt, dann sagen sie nicht, dass diese genauer wären als andere
Vorhersagemethoden.2
c Der Vorteil von nichtlinearen Modellen gegenüber anderen Methoden ist nicht klar erkennbar Selbst wenn diese Techniken besser auf die Daten zugeschnitten sind, erreicht man keine merkliche Steigerung der Vorhersagegenauigkeit.3
d Über die Genauigkeit von makroökonomischen Vorhersagen ist man sich nicht einig Einzig scheint fest zu stehen, dass makroökonomische Vorhersagen über längere Beobachtungszeiträume hinweg immer ungenauer werden.4
e Häufig wird behauptet, dass angepasste Methoden genauer sind als welche, die feste Parameter benutzen Dies konnte aber bisher nicht belegt werden.5
f Für Experten Systeme und neurale Netzwerke gibt es noch keine
Untersuchungen, da nicht klar ist, welchen Wert so eine Untersuchung hätte.6
Wegen dem häufigen Fehlen aussagekräftiger Studien und der großen Uneinigkeit, welche unter den Forschern herrschte, erarbeitete man vier Kriterien, auf die sich alle einigen konnten
3.1 Einfache vs Komplexe Methoden
Die einfachen Methoden sind mindestens genauso gut wie die komplizierten
hochtheoretischen komplexeren Vorhersagetechniken Ein Beispiel dafür stellen die MAPE-Studien (Mean Absolute Percentage Error) von Makridakis/Hibon (1979) und Makidakis u.a (1982) dar In diesen Untersuchungen wurden die durchschnittlichen Fehlerwerte von verschiedenen Vorhersagetechniken, welche auf jeweils 111
1 Armstrong (1978)
2 McNees (1986), Riise und Tjostheim (1984)
3 De Gooijer und Kumar (1992)
4 Ashley (1988)
5 Gardner und Dannenbring (1980), Makridakis u.a (1982)
6 Chatfield (1993)
Trang 10unterschiedliche Datersätze angewandt wurden, erfaßt Die Abbildungen 7a und 7c beruhen auf den ermittelten Werten der ersten Untersuchung, wo die beiden Forscher selbst die Vorhersagen machten Die zwei übrigen Grafiken zeigen die Ergebnisse von Experten der jeweiligen Vorhersagemethodik Folgendes Bild ergibt nun ein Vergleich von beispielsweise drei Methoden: Single Exponential Smoothing, Naive 2 und Box-Jenkins auf der Grundlage dieser zwei Studien
Box-Jenkins 10,6 | 14,7 15,0 15,7 16,6 17,1 18,1 21,6 24,3
Naive 2 10,0 | 14,5 15,0 15,1 15,3 15,6 16,6 19,0 21,0
Single exponential smoothing 8,5 | 12,8 13,4 13,8 14,0 14,3 15,6 18,1 20,2
Box-Jenkins N.A.| 10,3 10,7 11,4 14,5 16,4 17,1 18,9 16,4 26,2 34,2
D Single Exp 8,6 | 7,8 10,8 13,1 14,5 15,7 17,2 16,5 13,6 29,3 30,1 Naive 2 9,1 | 8,5 11,4 13,9 15,4 16,6 17,4 17,8 14,5 31,2 30,8
Abbildung 7a: MAPE Allgemein-Beipiel Abbildung 7b: MAPE Experten-Beispiel
Abbildung 7c MAPE Allgemein-Beipiel Abbildung 7d MAPE Experten-Beispiel
Exponential Smoothing ist wie in diesem Beispiel ersichtlich im Schnitt besser als
ökonometrische und multivariate ARMA-Modelle Im Übrigen gelten einfache Modelle als sehr robust, was bei komplexeren Methoden nicht unbedingt der Fall ist Außerdem liefern Modelle, die historische Daten besser aufnehmen, nicht auch zwingend die besseren Ergebnisse, da bei diesen Modellen die Gefahr des Overfitting recht groß ist 3.2 Zeithorizont des Vorhersagens
Manche Vorhersagetechniken sind besser für kurze Zeiträume und manche für
Langzeitstudien geeignet Die zwei Methoden Exponential Smoothing und Moving Average sind beispielsweise, wie vorher schon erwähnt, besonders für
Kurzzeitvorhersagen geeignet Im Gegensatz zu Straight-line Projektion und
Regression, welche dort sehr ungenau sind und deshalb sinnvoller bei Langzeitstudien genutzt werden können