Design principles for the productive delivery of plended learning services

Philipp BitzerDesign Principles for the Productive Delivery of Blended Learning Services The Case of Standard Software-Trainings in Germany Research on IT/Service/Innovation/Collabora

Philipp Bitzer

Design Principles for the

Productive Delivery of

Blended Learning Services

The Case of Standard Software-Trainings

in Germany

Research on IT/Service/Innovation/Collaboration 8

Research on IT / Service / Innovation / Collaboration

Band 8 / Vol 8

Herausgegeben von / Edited by

Univ.-Prof Dr Jan Marco Leimeister, Universität Kassel

press

Dissertation zur Erlangung des akademischen Grades eines Doktors der Wirtschafts- und Sozialwissenschaften (Dr rer pol.) angenommen

Erster Gutachter: Prof Dr Jan Marco Leimeister, Universität Kassel

Zweiter Gutachter: Prof Dr Tilo Böhmann, Universität Hamburg

Dritter Gutachter: Prof Dr Joachim Zülch, Ruhr-Universität Bochum

Tag der mündlichen Prüfung: 2 Februar 2015

Bibliografische Information der Deutschen Nationalbibliothek

Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen

Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über

Umschlaggestaltung: Jörg Batschi Grafik Design, Tübingen

Druck und Verarbeitung: Print Management Logistics Solutions, Kassel

Printed in Germany

Geleitwort

Betriebliche Weiterbildung soll lebenslanges Lernen im Arbeitskontext ermöglichen und befördern Diese wird immer wichtiger, da sich das wirtschaftliche Umfeld dynamisch verändert und sich damit auch die notwendigen Fertigkeiten und Fähigkeiten sowie das notwendige Fachwissen immer schneller verändern Es ist wettbewerbskritisch für Mitarbeiter und Unternehmen, kontinuierlich und immer besser lebenslang zu lernen Daher gilt die betriebliche Weiterbildung als wichtige Voraussetzung um volkswirtschaftliches Wachstum zu erreichen und zunehmend globalisiertem Wettbewerb begegnen zu können Konkret muss es dabei darum gehen diese unternehmensspezifisch und erfolgreich zu entwickeln, zu erbringen und zu vermarkten Entsprechend bedeutend ist die Erforschung von Theorien, Methoden, Modellen und Werkzeugen zur systematischen Entwicklung, Gestaltung und Erbringung von Lerndienstleistungen Zentrale Forschungsfragen betreffen die Rolle von Informations- und Kommunikationstechnologien (IT) zur (Teil-) Automatisierung von Prozessen sowie neue Formen der Kundenintegration in den Dienstleistungsprozess

Die vorliegende Dissertationsschrift von Philipp Bitzer greift die Bedeutung einer ganzheitlichen Produktivitätsbetrachtung von IT-gestützten Lerndienstleistungen auf Das Ziel der Arbeit ist die Entwicklung von Design Prinzipien, die es ermöglichen, Erkenntnisse zur Gestaltung von Lerndienstleistungen systematisch in die Entwicklung von produktiven, IT-gestützten betrieblichen Weiterbildungsformaten zu überführen Hierzu werden die erforderlichen Grundlagen dargestellt, sowie die Besonderheiten von Lerndienstleistungen hinsichtlich der Besonderheiten von Informationstechnologien Insbesondere wird gezeigt, dass die bisherigen theoretischen Erkenntnisse angereichert und zusammengefasst werden müssen, um eine produktive Erbringung von IT-gestützten Lerndienstleistungen zu ermöglichen

Im Rahmen der Dissertationsschrift wird daher ein eigener theoretischer Ansatz zur Betrachtung der Produktivität von betrieblicher Weiterbildung präsentiert Anschließend werden Design Prinzipien entwickelt, mit deren Hilfe diese theoretischen Erkenntnisse in die systematische Gestaltung von produktiven betrieblichen Weiterbildungsszenarien überführt werden können

Die Arbeit ist sowohl für Praxis als auch Wissenschaft von hoher Relevanz Sie zeigt, wie existierende theoretische Erkenntnisse zur Gestaltung produktiver Weiterbildungen systematisch in die Entwicklung IT-gestützter Weiterbildungen

VI

einfließen können Die geschaffenen Erkenntnisse können Personalentwickler bei der Gestaltung von Weiterbildungsformaten unterstützen und bieten viele Potentiale für weitergehende Forschung Der Dissertationsschrift von Philipp Bitzer wünsche ich daher die ihr gebührende Verbreitung

Prof Dr Jan Marco Leimeister

Vorwort

Während Weiterbildung seit vielen Jahrzehnten intensiv beforscht werden, so steht die Beforschung produktiven IT-gestützten Weiterbildungsformaten noch am Anfang Eine wissenschaftliche Arbeit ist nie das Werk einer einzelnen Person, deshalb ist es jetzt an der Zeit, mich bei allen Menschen zu bedanken, die mir die Erstellung meiner Dissertation ermöglicht haben

Mein Dank gilt allen, die mich im Laufe der Entstehung meiner Dissertation begleitet und unterstützt haben An erster Stelle ist dies Prof Dr Jan Marco Leimeister, der mir

im März 2010 die Chance gegeben hat, in diesem Themenfeld zu promovieren Zudem möchte ich mich bei ihm dafür bedanken, dass er mir in den letzten fünf Jahren genügend Zeit und Freiheit eingeräumt hat, um meinen eigenen Interessen nachzugehen Prof Dr Tilo Böhmann gilt mein Dank für die Übernahme des Zweitgutachtens, Prof Dr Joachim Zülch für die Übernahme des Drittgutachtens sowie Prof Dr Jens Klusmeyer und Prof Dr Arno Wacker danke ich für die Mitgliedschaft in der Promotionskommission

Weiterhin danke ich meinen Kollegen am Fachgebiet Wirtschaftsinformatik der Universität Kassel Einerseits haben die vielen inhaltlichen Diskussionen und spannenden Paperprojekte zum Fortschritt der Arbeit sowie meiner persönlichen Entwicklung beigetragen Andererseits haben die außerhalb der Arbeit entstandenen Freundschaften dazu beigetragen dass ich neben der Dissertation auch viele unvergessliche Erinnerungen aus meiner Zeit am Lehrstuhl behalten habe Hier sind vor allem Dr Christoph Peters, Dr René Wegener, Dr Axel Hoffmann, Dr Matthias Söllner und Dr Andreas Prinz zu nennen In diesem Zusammenhang danke ich außerdem dem gesamten Lehrstuhl für Wirtschaftsinformatik der Universität Hamburg für die fruchtbare und spannende Zusammenarbeit im Projekt ProduSE, insbesondere auch Martin Semmann

Abschließend möchte ich noch den Menschen danken, die mich im Rahmen der Promotion maßgeblich unterstützt und gefördert haben

Hier ist Michael Schein zu nennen, der mich frühzeitig ermutigte den Schritt zu gehen und mich als stets geschätzter Gesprächspartner auf dem Weg begleitet hat

Weiterhin ist mein Bruder Frederik Bitzer zu nennen, dem ich für seine unerschütterliche Unterstützung und seine brüderliche Freundschaft danke

VIII

Außerdem danke ich meiner Freundin Katharine Schein für die Erfahrung, dass Lebensglück für mich nicht von einer Dissertation abhängt, sondern davon, sie an meiner Seite zu haben

Schließlich möchte ich auch meine Eltern Barbara und Hans Bitzer nennen, die mir während meiner gesamten akademischen Laufbahn und insbesondere auch während der Anfertigung der Doktorarbeit immer unterstützend und liebevoll zur Seite standen Ich danke beiden ganz besonders für die unzähligen großen und kleinen Dinge, die sie, seit ich denken kann, in unbedingter Verlässlichkeit, für meinen Bruder und mich getan haben

Ihnen widme ich diese Arbeit

Zusammenfassung

Problemstellung und Ziel der Arbeit: Weiterbildung in Deutschland ist ein zentrales

Element der weltweiten Wettbewerbsfähigkeit der deutschen Volkswirtschaft In diesem Rahmen machen Standardsoftware-Trainings den größten Anteil an betrieblichen Weiterbildungsdienstleistungen aus und betreffen beinahe ausnahmslos alle deutschen Unternehmen Sowohl aus Sicht der IS-Forschung als auch der Praxis bieten diese Trainings aufgrund ihres immanenten IT-Einsatzes während des Trainings besonders viele Potentiale für den Einsatz von IT-gestützten Lernformen Eine Untersuchung von Standardsoftware-Trainings ist daher ein vielversprechender Ausgangspunkt um systematisch Gestaltungsrichtlinien für Blended Learning Services (BLS) zu untersuchen BLS versuchen, die Stärken von unabhängigen E-Learning Anwendungen und die Stärken der Präsenzweiterbildung ideal miteinander zu kombinieren Der Einsatz von IT verfolgt dabei zwei zentrale Ziele: Zum einen soll der Erbringungsprozess der Lerndienstleistung möglichst ressourcenschonend für die Anbieter von BLS sein, z.B durch den Einsatz von autonomen Lernanwendungen die den Trainer entlasten, zum anderen soll der Prozess eine bestmögliche Dienstleistungs-Qualität aufweisen, u.a größtmöglichen Lernerfolg, z.B durch den Einsatz von mobilen Endgeräten zur Steigerung der Interaktivität innerhalb und außerhalb des Trainings Diesen zentralen Zielen von BLS stehen jedoch Herausforderungen in der Praxis gegenüber, welche in der Forschung bislang noch nicht ausreichend einbezogen wurden Hierzu zählen insbesondere die mangelnde, systematische Bewertung von BLS sowie die fehlende systematische Entwicklung von erfolgreichen BLS Hierzu gibt es zwar reichhaltige Forschungsergebnisse auf dem Gebiet der BLS, allerdings sind diese teilweise widersprüchlich sowie umfassen sie bislang keine ganzheitliche Betrachtung von BLS, welche eine wesentliche Voraussetzung für eine systematische Bewertung darstellt Erklärbar ist dies durch die häufig Disziplinen-übergreifend wechselnden Messgrößen die zur Untersuchung des Lernerfolgs verwendet wurden, was zu widersprüchlichen Gestaltungsempfehlungen von BLS führte Außerdem ist Lernen aus Sicht der Dienstleistungsforschung ein Prozess, bei dem Dienstleistungsgeber und Dienstleistungsnehmer miteinander interagieren und das Dienstleistungsergebnis gemeinsam entwickeln Da dieser Prozess in hohem Maße abhängig von den individuellen Anforderungen sowie kognitiven und motivationalen Eigenschaften des Kunden ist, spricht man auch von komplexen Dienstleistungen Der Prozess muss daher berücksichtigt werden, um eine systematische Gestaltung von

Forschungsdesign und –methodik: Die vorliegende Dissertation ist als Action

Design Research Forschungsansatz konzipiert und durchgeführt Dieser umfasst eine Vielzahl an Methoden, die im Verlauf der jeweiligen Schritte eingesetzt wurden Zu Beginn wurde die einschlägige Literatur zum Thema BLS ab dem Jahr 2000, die in verschiedenen Forschungsdisziplinen (Psychologie, Pädagogik, Informatik, Betriebswirtschaft) von Experten doppelblind begutachtet wurden, untersucht und systematisch aufbereitet Im Rahmen der Untersuchung konnten bereits in der Literatur untersuchte Einfluss- und Erfolgsgrößen identifiziert werden, und als Grundlage für die Definition des Qualitäts- und Produktivitätsbegriffs von BLS dienen Anschließend wurden die Ergebnisse mittels Fokusgruppenansätzen erweitert

um im Anschluss mittels Strukturgleichungsmodellierung überprüft zu werden Danach wurden auf Basis des im vorangegangenen Schritt entwickelten Modells konkrete Gestaltungsempfehlungen für BLS mittels einer Literatur-Schau, Fallstudien und Experteninterviews abgeleitet Die anschließende Evaluation der Gestaltungsprinzipien wurde auf Basis des zuvor identifizierten ganzheitlichen Bewertungsrahmens durchgeführt Konkret wurde dazu ein Aktionsforschungsansatz sowie Experteninterviews angewendet

Ergebnisse: Im Rahmen der vorliegenden Dissertation konnten drei zentrale

Ergebnisse erzielt werden:

(1) Das erste Ergebnis umfasst einen neuen Bezugs- und Analyserahmen von BLS , der auf Basis eines Literature Reviews entwickelt und mit bestehenden Ergebnissen verknüpft wurde Zum ersten Mal wurde in diesem Zusammenhang der aktuelle Stand

in der wissenschaftlichen Forschung unter dem Gesichtspunkt einer ganzheitlichen Evaluation und Gestaltung von BLS konzeptionell aufbereitet Auf Basis dieser Erkenntnisse werden Anknüpfungspunkte für weitere Forschung aufgezeigt und in der Literatur beschriebene, wichtige Einflussfaktoren auf BLS vorgestellt Weiterhin werden Unzulänglichkeiten in Bezug auf eine ganzheitliche Betrachtung von BLS aufgezeigt, die durch bislang nicht adressierte bzw nicht vollständig beschriebene Einflussfaktoren ergeben Konkret fehlt eine erweiterte Betrachtung für den Prozess komplexer Dienstleistungen, wie im Fall der BLS, was die Ableitung von verallgemeinerbaren Gestaltungsempfehlungen behindert Hierbei wurde insbesondere auf eine fehlende Qualitätsbetrachtung abgestellt welche zwingend erforderlich ist, um neben den Effizienzgesichtspunkten auch die Perspektive der Wirksamkeit der Prozessgestaltung aus didaktisch-pädagogischer Sicht, d.h der Sicht der Dienstleistungsqualität, sicherzustellen

(2) Aus diesem Grund umfasst das zweite Ergebnis der Dissertation ein Modell zur ganzheitlichen Bewertung der Qualität von BLS, welches Prozessgrößen, deren Einflussgrößen und Ergebnisgrößen in einem ganzheitlichen Modell zusammenführt Die identifizierten Größen wurden empirisch im Rahmen universitärer und betrieblicher Weiterbildungen evaluiert und validiert

(3) Auf Basis der in diesem Modell identifizierten wesentlichen Einfluss- und Prozessgrößen wurden anschließend aus Theorie und Praxis Gestaltungsprinzipien identifiziert, die diese wesentlich beeinflussen und damit systematisch erfolgreiche BLS gewährleisten Dabei wurden sowohl Einflussgrößen einbezogen, welche eine besonders wirtschaftliche, wenig zeitaufwändige Erbringung des Anbieters sicherstellen (Effizienz), als auch Einflussgrößen, welche einen möglichst hohen Lernerfolg sicherstellen (Effektivität) Somit werden zum ersten Mal beide Perspektiven kombiniert, was in der Praxis notwendig ist um die konkrete Ausgestaltung aus einer Produktivitätsperspektive der BLS zu bewerten

Theoretischer Beitrag: Basierend auf den zuvor beschriebenen Ergebnissen können

drei zentrale theoretische Beiträge herausgestellt werden

(1) Bei dem ersten Beitrag handelt es sich um die konzeptionelle Entwicklung eines Produktivitäts-Bezugsrahmens mittels Ergebnissen der Dienstleistungsforschung und der Blended Learning Forschung, welcher die Dimensionen Anbieter-Input, Kunden-Input, Lernprozess sowie Lernergebnisse umfasst Nach Gregor und Hevner (2013)

XII

handelt es sich hierbei um eine im Entstehen begriffene Design Theorie (nascent design theory), genauer eine operationale Forschungs-Architektur welche die Grundlage für die weitere Forschungsergebnisse darstellt Konkret wurden bestehende Erkenntnisse zur Produktivität von Dienstleistungen um Anforderungen von komplexen Dienstleistungen, in diesem Fall von BLS, erweitert Damit wird eine mehrdimensionale Perspektive auf die Bewertung der Produktivität von BLS ermöglicht Zusätzlich ist dies auch die Grundlage für eine systematische, produktivitätsorientierte Gestaltung von BLS

(2) Bei dem zweiten Beitrag handelt es sich gemäß Gregor und Hevner (2013) ebenfalls um eine im Entstehen begriffene Design Theorie (nascent design theory) konkret nach Gregor (2006) um eine „Theory of Explanation and Prediction“ Der theoretische Beitrag umfasst dabei ein empirisch getestetes Modell zur Bewertung (A) der Prozess-Qualität von BLS (Interaktivität, Lerngruppe, Qualität der Übungen, Transparenz, Unternehmens-Unterstützung sowie der Fit), (B) des Einflusses darauf durch Prädisposition des Teilnehmers (Motivation, Selbstwirksamkeit, Selbst-Reguliertes Lernen, IT-Affinität, Wahrgenommene Bedeutung) und deren Einfluss darauf durch die strukturelle Qualität des Trainings-Anbieters (Lernmaterialien, IT-Infrastruktur, Trainer, Lernumgebung), sowie die (C) der Ergebnisgrößen (Lernerfolg und Zufriedenheit) Die Integration dieser Konstrukte in ein mehr-dimensionales Modell bestätigte dabei die vielfach existierende, aber bislang noch nicht empirisch belegte Annahme, dass das Ergebnis komplexer Dienstleistungen insbesondere durch die Prozessqualität beeinflusst wird Darüber hinaus ist das Modell ein quantitativ-empirisch geprüftes Instrument zur ganzheitlichen Evaluation von BLS und adressiert damit die bislang fehlende detaillierte, mehr-dimensionale Betrachtung von BLS (3) Bei dem dritten theoretische Beitrag handelt es sich um eine gut-entwickelte Design Theorie (well-developed design theory) nach Gregor und Hevner (2013) Hierbei handelt es sich um Gestaltungsprinzipien für die produktive Erbringung von BLS Diese enthalten Erkenntnisse wie einzelne, besonders wichtige Komponenten des zuvor entwickelten Modells beeinflusst werden können, um eine IT-gestützte Lerndienstleistung produktiver zu gestalten Dabei wurde sowohl auf Effektivitäts-orientierte als auch auf Effizienz-orientierte Gestaltungsprinzipien abgestellt, so dass eine, wie in der Literatur gefordert, aus Produktivitätssicht ganzheitliche Gestaltung von BLS sichergestellt wird Die sieben Gestaltungsprinzipien wurden in einer Fallstudie sowie im Rahmen von Experteninterviews evaluiert, iterativ verbessert sowie im Rahmen eines Aktionsforschungsansatzes angewendet Drei Prinzipien

enthalten Empfehlungen für die ressourcenschonende Gestaltung von BLS durch IT anhand einer (1) systematischen BLS-Segmentierung, (2) einer systematischen Standardisierung und (3) eines systematischen IT-Einsatzes zur Einsparung von Zeitressourcen Gleichzeitig wurden vier Gestaltungsprinzipien identifiziert welche die Prozessqualität adressierten: (4) systematische Anforderungserhebung, (5) systematisches Lernzielmanagement, (6) systematischer Einsatz von IT zur Verbesserung der Interaktivität sowie (7) ein kontinuierlicher Lernprozess Die Evaluationsergebnisse legen nahe, dass die Prinzipien im Rahmen ihrer Anwendung und nach Einschätzung der Experten dazu geeignet sind, die zuvor genannten Ziele zu erreichen

Praktischer Beitrag: Die vorliegende Dissertation umfasst zwei zentrale praktische

Beiträge Hierbei handelt es sich zum einen um die Möglichkeiten zur ganzheitlichen Bewertung von BLS, die sich aus dem ganzheitlichen Messwerkzeug ergeben Zum Zweiten ermöglichen die identifizierten Gestaltungsprinzipien erfolgreichere und ressourcenschonendere BLS zu entwickeln Vor dem Hintergrund, dass die Disziplin der Wirtschaftsinformatik die Übertragung in die Praxis als zentrale Aufgabe versteht, werden die genannten Beiträge im Folgenden näher erläutert

Mit Hilfe des entwickelten Messwerkzeugs werden Praktiker erstmalig in die Lage versetzt ihre Standardsoftware-Trainings über verschiedene Dimensionen, d.h Teilnehmersicht, Anbietersicht, Prozesssicht und Ergebnissicht, zu untersuchen und systematisch zu verbessern Dabei können Sie auf die Ergebnisse, der im Rahmen der Dissertation entwickelten Theorie, im Bereich der systematischen, ganzheitlichen Evaluation von BLS , zurückgreifen und damit genau die Dimensionen betrachten und mit Verbesserungsmaßnahmen adressieren, die für Prozess- und Ergebnisqualität von besonderer Bedeutung sind Zusätzlich kann das entwickelte Werkzeug zu verschiedenen Messzeitpunkten eingesetzt werden und die Belastung der Teilnehmer durch jeweils sehr kurze Befragungen minimiert werden Anhand der jeweils erhobenen Daten und Werte lassen sich dann kurzfristig Verbesserungsmaßnahmen ableiten, sowie langfristig strukturelle Änderungen in der Erbringung der BLS in den Trainingsablauf einbringen

Der zweite praktische Beitrag schließt direkt an das zuvor entwickelte Messwerkzeug

an Unternehmen können je nach Bedarf bestimmte Einfluss- und Prozessgrößen ihrer Dienstleistung mit Hilfe der Gestaltungsprinzipien passend zu ihren kundenspezifischen Bedürfnissen gestalten und den Ressourcenverbrauch senken

XIV

sowie den Lernerfolg erhöhen Hiermit werden die Erkenntnisse über die systematische, produktivitätsorientierte Beeinflussung in die Praxis getragen und bieten die Grundlage für die Umsetzung spezifischer Bedürfnisse innerhalb unterschiedlicher Trainings der Praktiker Die Gestaltungsprinzipien sind dabei unterteilt in effizienzorientierte Gestaltungsprinzipien und effektivitätsorientierte Gestaltungsprinzipien Aus effizienzorientierter Perspektive werden den Praktikern damit Maßnahmen zur Verfügung gestellt, welche ihnen helfen ihre bestehenden Trainings zu visualisieren, Standardisierungspotentiale herzuleiten sowie diese mit Hilfe von IT - soweit sinnvoll - zu automatisieren Aus effektivitätsorientierter Sicht werden Maßnahmen bereitgestellt, welche die folgenden Gestaltungsprinzipien umfassen: Systematische Anforderungserhebung, systematisches Lernzielmanagement, systematische Interaktionsunterstützung und die systematische Evaluation von Trainings Im Rahmen der Evaluation aller genannten effizienz- und effektivitätsorientierten Gestaltungsprinzipien wurde neben der inhaltlichen Relevanz und Validität auch die Anwendbarkeit, Verständlichkeit und Strukturiertheit der Aufbereitung getestet, was die Praxisrelevanz weiter unterstreicht

Ausblick: Die im Vorfeld beschriebenen theoretischen und praktischen Beiträge der

Dissertation adressieren die fehlende ganzheitliche, produktivitätsorientierte Bewertung von BLS sowie die fehlende systematische Gestaltung von BLS unter Produktivitätsgesichtspunkten Allerdings bestehen über die im Rahmen der Dissertation behandelten Fragestellungen hinaus eine Reihe weiterer möglicher Forschungsschwerpunkte, welche im weiteren Verlauf dieses Abschnitts erläutert werden Ein erstes Potential für zukünftige Forschung bietet die Erweiterung der Sammlung von Gestaltungsprinzipien Zum Beispiel ist die Ergänzung von Gestaltungsempfehlungen hinsichtlich einer systematischen Kommunikation des Nutzens der Trainingsmaßnahme als vielversprechender Forschungsansatz denkbar, wie sie im Rahmen der initialen Entwicklung der Empfehlungen angeregt wurde Denkbar ist, dass beispielsweise in sehr kostenintensiven Trainingsmaßnahmen eine systematische Identifikation des entstehenden Werts für das Unternehmen und die Teilnehmer von großer Bedeutung wäre Des Weiteren könnten noch Gestaltungsprinzipien entwickelt werden, die sich spezifisch mit einer Ausgestaltung der Lerndienstleistung auf dem Gebiet des mobilen Lernens oder auch auf dem Gebiet des Arbeitsplatz-nahen Lernens befassen Diese Bereiche gelten als Zukunftsfelder des IT-gestützten Lernens und könnten zusätzliche erhebliche Produktivitätspotentiale bergen Ein weiteres Forschungspotential ist die Überprüfung der Übertragbarkeit der

Gestaltungsprinzipien, welche im Rahmen der Dissertation identifiziert wurden Durch die Einschränkung des Fokus auf faktenbasiertes Anwendungswissen anhand des Fallbeispiels „Software-Trainings“ ist zu klären, ob eine Gestaltung von Lerndienstleistungen auf Softskill-Bereiche ohne weiteres übertragbar ist oder ob für diese Anwendungsfälle Modifikationen vorgenommen werden müssten Dies ist insbesondere vor dem Hintergrund interessant, dass der Einsatz von IT in Lerndienstleistungen die auf zwischenmenschliches Verhalten zielen, wie zum Beispiel Führungskräfte-Trainings, umstritten ist Ein weiteres Potential ist die Erweiterung des Modells zur Erfassung der Qualität von BLS um Konstrukte, die zusätzlich kulturelle Einflussgrößen erfassen Kultur gilt als ein weiteres großes Thema im Bereich der Weiterbildung und könnte als Forschungsfeld in der Qualitätsbewertung von internationalen Weiterbildungen dienen

Stichworte: E-learning, Blended Learning, Technology-mediated Learning, Service

Productivity, Service Quality, Design Science Research, Design Principles, Standardsoftware-Trainings





XVI

Abstract

Arthur et al (2003) identified the influence of technology in all learning scenarios as a major trend in education, referred to as blended learning services (BLS) (throughout the dissertation the term of “Technology-Mediated Learning Services (TMLS) is used synonymously) These services are the most relevant form of vocational training and will gain in importance by means of more individual, more resource-preserving ways

of learning, e.g computer-based learning from home or IT-support within the classroom (Michel 2011) Thus, it appears that the use of BLS does not automatically lead to increased learning success

BLS, also known as blended learning, are defined as a (blended) combination of learning and face-to-face classroom learning environments (Graham 2006; Wu/Tennyson/Hsia 2010) They feature many variations and are often a combination

e-of the following learning modes: web-based or computer-based, asynchronous or synchronous, instructor led or self-paced, individual-based or team-based (Gupta/Bostrom 2009) The goal of blended learning services is to integrate the strengths of synchronous (face-to-face) and asynchronous (IT-based) learning activities (Garrison/Kanuka 2004) Thereby, the intelligent use of IT within learning scenarios enables BLS providers and customers to deliver and consume learning services in a more flexible and individualized manner, resulting in productivity gains, e.g time and money savings on both sides as well as improved learning success (Cantoni/Cellario/Porta 2004; Kelly/Bauer 2004) Nonetheless, an enormous amount

of possible forms of BLS delivery is possible due to the existence of myriads of IT tools (Lowendahl 2012) and uncountable ways to integrate them into learning scenarios (Gupta/Bostrom/Huber 2008) Therefore, despite its many advantages, it still remains challenging to figure out how to best combine of synchronous and asynchronous learning elements is for specific BLS participants and learning contents (Gupta/Bostrom/Huber 2010; Gupta/Bostrom 2009) Consequently, when delivering BLS researchers and practitioners need to know, how to deliver BLS productively, i.e., efficiently (e.g cost) and effectively (e.g learning success)

The importance of a productivity-oriented perspective on services has already been emphasized by numerous researchers stating that service firms need to consider service productivity as well as service quality in order to assess their firm performance (Parasuraman 2002), that comprehensive service productivity assessment helps to examine the service process (Grönroos/Ojasalo 2004) and that a service productivity

perspective incorporates qualitative and quantitative performance indicators for a comprehensive service assessment (McLaughlin/Coffey 1990; Nachum 1999) Considering the inconclusive and non-formalized processes in the field of blended learning services (BLS) (Gupta/Bostrom 2009), a formalization of knowledge comprising prescriptive and descriptive knowledge is required to establish reproducible delivery processes ensuring effective and efficient working results Therefore, for being able to provide systematically the rich insights service theory and especially BLS theory include, design principles (Lindgren/Henfridsson/Schultze 2004) for productivity-optimized BLS delivery are developed Thereby, the dissertation makes three major theoretical contributions

The first contribution comprises the conceptualization of service productivity in the field of BLS delivery, providing a theoretical framework for a systematic and detailed examination of the knowledge base and existing research gaps The second contribution is a nascent design theory (Gregor / Hevner 2013) for the development of

a multi-dimensional assessment model for BLS process quality in the context of blended learning services The third contribution comprises seven design principles for

a productivity-optimized BLS delivery that will assist BLS providers in delivering more productive BLS, i.e by means of the efficient use of input factors during the delivery process while maintaining a constant or improved output/outcome level for their customers In accordance with Gregor and Hevner (2013), the design principles represent a well-developed design theory.



XVIII

Table of Contents

Geleitwort V

Vorwort VII

Zusammenfassung IX

Abstract XVI

List of Figures XXV

List of Tables XXVII

List of Abbreviations XXIX

1 Introduction 1

2 Methodology 4

3 Service Productivity 7

4 Summary of the Main Dissertation Results 8

4.1 A Framework for the Productivity-Oriented Analysis of Blended Learning Services 8

4.2 An extensive Literature Review on Influencing Factors on Learning Success of Blended Learning Services 9

4.3 A Model for the Assessment of the Process Quality of Blended Learning Services 12

4.4 Design Principles for the Productivity-Oriented Delivery of Blended Learning Services 15

5 Publications included in the Dissertation 17

6 Theoretical Contribution 22

6.1 Combining Insights from Service Science, Information Systems and Education Science 22

6.2 Developing a Multi-Dimensional Model for the Assessment of BLS Process Quality 23

6.3 Formalized Design Knowledge for a Productive Delivery of Blended Learning Services 24

6.4 Implementation of Design Knowledge in Real-World Settings 25

7 Practical Contribution 26

7.1 Requirements for a Multi-Dimensional Evaluation of Blended Learning Services 26

7.2 Dimensions for a Multi-Dimensional Evaluation of Blended Learning Services 26

7.3 Design Knowledge for a Productive Delivery of Blended Learning Services 27

8 Limitations 28

9 Implications for Further Research 29

9.1 Expansion of the Assessment Model on BLS process quality 29

9.2 Extending the Scope of the Design Principles 29

9.3 Identification of Further Design Principles 30

References 31

10 Framework for the Productivity-oriented Conceptualisation of Blended Learning Services 42

10.1 Introduction 43

10.2 Identifying a Productivity Framework for Blended Learning Services 44 10.2.1 Input from the Provider’s Perspective 45

10.2.2 Input from the Consumer’s Perspective 47

10.2.3 Process 48

10.2.4 Output 49

10.3 Conclusion and Outlook 50

References 51

11 A Literature Review on the Indicators for the Measurement of Technology Mediated Learning Productivity 56

11.1 Introduction 57

11.2 Foundations 58

11.3 Methodology 60

11.3.1 Literature Review 60

11.3.2 Literature Selection Process 60

XX

11.4 Results 61

11.5 Discussion 64

11.5.1 Analysis of the Papers 65

11.5.2 IT -Objects of Analysis 66

11.5.3 Validation of Multidimensional Constructs 67

11.6 Conclusion 68

11.6.1 Summary of the Findings 68

11.6.2 Limitations 69

11.6.3 Recommendations for Future Research 70

References 70

12 Towards a holistic Understanding of technology mediated learning services – a state-of-the-art analysis 78

12.1 Introduction 79

12.2 Theoretical Background 80

12.3 Methodology 82

12.3.1 Identification of literature 82

12.3.2 Coding and Validation of the Literature Review Results 83

12.3.3 Analysis of Findings and Codification 84

12.4 Findings 85

12.4.1 Findings on Dependent Variables and Independent Variables 85

12.4.2 Findings on Relationships Between Independent and Dependent Variables 85

12.5 Discussion 93

12.6 Limitations and Future Research 95

12.7 Conclusion 96

12.8 Acknowledgments 96

References 96

13 Identifying a set of relevant input and output factors within a productivity model for educational services 110

13.1 Introduction 111

13.2 Related Work 11213.2.1 Service Productivity 11213.2.2 The Balanced Scorecard 11413.2.3 Productivity of Educational Services 114

13.3 Methodology 11613.3.1 Workshop development 11813.3.2 Description of workshop design 119

13.4 Results 12013.4.1 Input Factors 12113.4.2 Process of Service Delivery 12513.4.3 Learning Results 126

14.3 Research Methodology 139

14.4 The TMLS Productivity Measurement Model 141

14.5 Next Steps and Expected Implications 143

References 143

15 Evaluating the quality of technology mediated learning 147

15.1 Introduction 148

15.2 Theoretical Background 15015.2.1 A Comprehensive Evaluation of TMLS Quality 15015.2.2 Components of TMLS Quality 154

15.3 Evaluating TMLS Quality 155

16 Merging face-to-face and IT-enabled Learning: An Assessment of the Quality

of Vocational Software Training 182

17.4.4 Organizational Support 234

17.5 Discussion 234

References 235

18 Towards a Reference Model for a Productivity-optimized Delivery of

Technology Mediated Learning Services 238

18.1 Introduction 239

18.2 Foundation and Related Work 240

18.3 Research Methodology 241

18.4 Research Results 24218.4.1 Design Goals 24218.4.2 The Reference Model Architecture 243

18.5 Outlook and Expected Contribution 245

19.3 Methodology 254

19.4 Development of the Design Principles 258

Problems 25819.4.2 Building, Intervention, and Evaluation 25919.4.3 Reflecting and Learning 264

Services 266

19.5 Discussion and Outlook 272

References 276

Appendix 283

List of Figures

Figure 10.1: Research process used to develop the design principles 5Figure 10.2: A Framework for the Productivity-Oriented Conceptualisation of BLS 9Figure 12.1: Determinants on BLS Satisfaction from the literature 10Figure 12.2: Determinants of BLS Success from the literature 11Figure 16.1: A Comprehensive Model on BLS Quality 12Figure 10.1 Productivity Framework 45Figure 11.1: Productivity Framework 59Figure 11.2: Literature Review Framework 64Figure 11.3: Classification of Publications 65Figure 11.4: Dimensions of TML Evaluation 68Figure 12.1: Research Framework for TMLS 81Figure 12.2: Publications of TMLS research over time 83Figure 12.3: Determinants of Learning Satisfaction 88Figure 12.4: Determinants of Learning Success 91Figure 13.1: Productivity scheme for educational services 115Figure 13.2: The Learning Scorecard 129Figure 14.1: Visualisation of the research approach 140Figure 14.2: Productivity Measurement Model for TMLS 141Figure 15.1: Research Model 153Figure 15.2: Research Approach 156Figure 15.3: Evaluated Research Model 166Figure 16.1: Determinants of Learning Success 187Figure 16.2: Components of the BLS Evaluation Model 190Figure 16.3: Overview of the Research Process 193Figure 16.4: Evaluated Research Model 204Figure 17.1:Research Method Employed in the Delphi Study 232Figure 18.1: Reference Model Architecture 244Figure 18.2: Process excerpt of the face-to-face training 245Figure 19.1: Action Design Research Process 255Figure 19.2: Example Excerpt of Process Visualization 263

XXVI

Figure 19.3: Screenshot of the learning platform, developed on the basis of the design principles (German) 264Figure A.1: Example Excerpt of a Process Visualization 285Figure A.2: Interaction needs for low appropriation learners in blended learning scenarios with respect to an optimal learning success 292Figure A.3: Interaction needs for high appropriation learners in blended learning scenarios with respect to an optimal learning success 293Figure A.4: Key Performance Indicators for the Evaluation of BLS 295Figure B.1: Learning Management Process 297



List of Tables

Table 16.1: Determinant of BLS process quality: Structural Quality 13Table 16.2: Service Recipient 13Table 16.3: Service Process Quality 14Table 16.4: Service Results Quality 14Table 19.1: Design Principles for a Productivity-Oriented Delivery of BLS 16Table 5.1: Publications included in the dissertation 18Table 11.1: Literature Sources 63Table 11.2: Classification of IT –tools 67Table 12.1: List of independent variables 86Table 13.1: Workshop Agenda 120Table 15.1: Structural Quality 157Table 15.2: Service Recipient 158Table 15.3: Service Process Quality 159Table 15.4: Service Results Quality 159Table 15.5: VIF, Factor Weights, p-value and Factor Loadings for the Indicators of the Formative Measurement Model 163Table 15.6: Evaluation of the Hypotheses 165Table 16.1: Structural Quality 195Table 16.2: Service Recipient 195Table 16.3: Service Process Quality 196Table 16.4: Service Results Quality 197Table 16.5: Cross-Loadings and Composite Reliability for the Reflective Measurement Models 200Table 16.6: AVE and Correlation Among Construct Scores (AVE bold in Diagonals) 201Table 16.7: VIF, Factor Weights, p-value and Factor Loadings for the Indicators of the Formative Measurement Models 202Table 16.8: Multicollinearity among the Predictors of Endogenous Constructs 203Table 16.9: f² and q² effect sizes for the structural model 206Table 16.10: Total effects for the structural model 207

XXVIII

Table 16.11: Measurement Instrument used in the Main Study 216Table 16.12: Evaluation of the formative measurement models 217Table 18.1: Design goals for a reference model for a productivity-optimized TMLS delivery 243Table 19.1: Problem formulation 255Table 19.2: BIE process including, inputs, methods used and outputs 257Table 19.3: Challenges within existing BLS 259Table 19.4: Set of Initial Design Principles 261Table 19.5: Additionally identified Design Principles 261Table 19.6: Design Principles for efficient blended learning service processes 268Table 19.7: Design Principles for successful blended learning services 271Table 19.8: Summary of the ADR Process in the Project 275Table A.1: Requirements for standardizing BLS activities 286Table A.2: Basic determinants for blended learning scenarios 289Table A.3: Design determinants for blended learning scenarios 291Table C.1: Evaluation Questionnaire 301

List of Abbreviations





1 Introduction

In 2010, more than 70% of all German companies invested in vocational trainings and 94% of all major companies (more than 1000 employees) invested in such trainings (Vollmar, 2013) This accounts for a market volume of more than 28bn Euros (Seyda

& Werner, 2012), these numbers reflect not only the major economic importance of such learning services, but also the need to constantly train employees in order to remain competitive, and avoid the loss of knowledge due to demographic change (Vollmar, 2013) Thereby, trainings for enterprise software represent a significant share within vocational training (Gartner 2012b) Nevertheless, the delivery of enterprise software trainings varies widely in terms of training organization structures, applied IT tools, and learning methods with varying yields of success (Gartner 2012a)

In this context, Arthur et al (2003) identified the influence of technology in all learning scenarios as a major trend in education, referred to as blended learning services (BLS) (throughout the dissertation the term of “Technology-Mediated Learning Services (TMLS) is used synonymously) These services are the most relevant form of vocational training and will gain in importance by means of more individual, more resource-preserving ways of learning, e.g computer-based learning from home or IT-support within the classroom (Michel 2011)

Thus, it appears that the use of BLS does not automatically lead to increased learning success BLS, also known as blended learning, are defined as a (blended) combination

of e-learning and face-to-face classroom learning environments (Graham 2006; Wu/Tennyson/Hsia 2010) They feature many variations and are often a combination

of the following learning modes: web-based or computer-based, asynchronous or synchronous, instructor led or self-paced, individual-based or team-based (Gupta/Bostrom 2009)

The goal of blended learning services is to integrate the strengths of synchronous (face-to-face) and asynchronous (IT-based) learning activities (Garrison/Kanuka 2004) Thereby, the intelligent use of IT within learning scenarios enables BLS providers and customers to deliver and consume learning services in a more flexible and individualized manner, resulting in productivity gains, e.g time and money savings on both sides as well as improved learning success (Cantoni/Cellario/Porta 2004; Kelly/Bauer 2004) Nonetheless, an enormous amount of possible forms of BLS delivery is possible due to the existence of myriads of IT tools (Lowendahl 2012) and

2

uncountable ways to integrate them into learning scenarios (Gupta/Bostrom/Huber 2008)

Therefore, despite its many advantages, it still remains challenging to figure out how

to best combine of synchronous and asynchronous learning elements is for specific BLS participants and learning contents (Gupta/Bostrom/Huber 2010; Gupta/Bostrom 2009) Consequently, when delivering BLS researchers and practitioners need to know, how to deliver BLS productively, i.e., efficiently (e.g cost) and effectively (e.g learning success) The importance of a productivity-oriented perspective on services has already been emphasized by numerous researchers stating that service firms need

to consider service productivity as well as service quality in order to assess their firm performance (Parasuraman 2002), that comprehensive service productivity assessment helps to examine the service process (Grönroos/Ojasalo 2004) and that a service productivity perspective incorporates qualitative and quantitative performance indicators for a comprehensive service assessment (McLaughlin/Coffey 1990; Nachum 1999)

Considering the inconclusive and non-formalized processes in the field of blended learning services (BLS) (Gupta/Bostrom 2009), a formalization of knowledge comprising prescriptive and descriptive knowledge is required to establish reproducible delivery processes ensuring effective and efficient working results Therefore, for being able to provide systematically the rich insights service theory and especially BLS theory include, design principles (Lindgren/Henfridsson/Schultze 2004) for productivity-optimized BLS delivery are developed They depict an appropriate measure supporting BLS providers in a resource-optimal BLS delivery without decreasing BLS quality

Nevertheless, IS research needs to overcome two major challenges to develop productivity-oriented design principles First, the complexity, variety, and heterogeneity of research results lead to an inconclusive database for a systematic productivity-oriented BLS delivery, which, in turn, fosters resource-saving aspects of

IT use with potential learning success gains (Lehtinen et al 1999; Gupta/Bostrom/Huber 2008) The lack of transferable insights can be explained by the fact that many studies have used input-output research designs that ignore critical aspects of the learning method and process (Gupta/Bostrom 2009)

Consequently, previous research lacks a comprehensive evaluation of BLS, including the learning process or learning methods, For this reason, previous research requires

additions in order to be able to achieve the potentials of technology in BLS (Alavi/Leidner 2001; Sasidharan/Santhanam 2006) Therefore, a comprehensive BLS productivity model is required to elucidate the antecedents and dependent variables of BLS productivity within various contexts

Second, despite the numerous publications dealing with BLS in the IS domain, design principles which describe how and when to use the rich insights of BLS theory to supplement BLS delivery are still missing Thus, until now, most practical implications drawn from the existing body of literature are only applicable to a specific context, and do not take the abounding theoretical body from various disciplines into account Therefore, design principles for the formalization and systematic provision of these results serve as a basis for a productivity-optimized BLS delivery

The objective of the proposed dissertation project is to contribute to solving these two issues by answering the following research questions:

RQ1: How can the productivity of BLS be conceptualized in the context of standard software trainings?

RQ2: How can the productivity of BLS be measured in the context of standard software trainings?

RQ3: How can a productive BLS delivery be supported by design principles in the context of trainings for software?

RQ4: To which degree are the design principles suitable for the productive BLS delivery in the context of software trainings?

The dissertation makes three major theoretical contributions The first contribution comprises the conceptualization of service productivity in the field of BLS delivery, providing a theoretical framework for a systematic and detailed examination of the knowledge base and existing research gaps The second contribution is a nascent design theory (Gregor / Hevner 2013) for the development of a multi-dimensional assessment model for BLS process quality in the context of blended learning services The third contribution comprises seven design principles for a productivity-optimized BLS delivery that will assist BLS providers in delivering more productive BLS, i.e by means of the efficient use of input factors during the delivery process while maintaining a constant or improved output/outcome level for their customers In

et al 2011) Furthermore, ADR supports Van Aken’s (2004) argument that specific insights – in his words “tested and grounded technological rules” (p 8) - should be developed and evaluated in the target domain, in the case of the dissertation BLS delivery As a result, Sein et al.’s (2011) conceptualization of the IT artifact is applied as an ensemble artifact meaning that the artifact incorporates dimension beyond the technological aspect Furthermore, the application a circular organizational design is chosen (Sein et al 2011; Romme and Endenburg 2006) in order to iteratively evaluate and improve the design principles Consequently, ADR is the most suitable method to achieve the goal to develop design principles which support BLS providers

domain-in providdomain-ing better services (chapter 8-10)

How can the productivity of BLS be conceptualised in the context of standard

software trainings?

1a) Theoretical Background (Publication 1)

Methods: Literature Analysis

Research Question 2

How can the productivity of BLS be measured in the context of

standard software trainings?

2) Model Development (Publications 4, 5, 6, 7)

Methods: Case Studies, Q-Sort, PLS

3a) Requirements for the Development of Productive BLS (Publications 8,9)

Methods: Literature Review, Case Studies

3b) Development of the Design Principles for productive BLS (Publication 10)

Methods: Action Design Research (Case Studies, Action Research, Expert Interviews)

Research Question 4

To which degree are the design principles suitable for the productive BLS delivery in

the context of software trainings?

Research Question 3

How can a productive BLS delivery be supported by design principles in the context

of standard software trainings?

1b) Conceptualisation (Publication 1, 2, 3)

Methods: Literature Review

Figure 10.1: Research Process used to Develop the Design Principles

Source: (Bitzer 2014)

The dissertation structure in combination with the corresponding research questions and methods is shown in Figure 10.1 A plurality of methods has been applied First, relevance and motivation of the research topic were elicited by a literature analysis on BLS in general and BLS productivity in particular Thereby, the conceptual and theoretical foundation was systematically developed More precisely, a conceptualization of BLS was outlined including a framework on blended learning

6

services productivity Moreover, the current state of research was systematically examined in the course a literature review, identifying the existing knowledge within various disciplines as well as existing shortcomings and research potentials In research question 2, the conceptual productivity framework was converted into a holistic model on BLS process quality, its determinants and outputs This was achieved using a plurality of methods including a literature review, case studies, expert interviews, the q-sort method as well as partial least square (PLS) regression

Afterwards, in the course of the ADR approach design principles were derived based

on the findings of chapter 1-6 as well as additional case studies, expert interviews and knowledge derived from the evaluation of four prototypical, real-world artefacts, developed in accordance to the design principles Based on the findings of research question 1 and 2, critical BLS process determinants on learning success were identified and a set of design principles were derived in research question 3 To explore in-depth insights of productivity-oriented design principles a case-study approach was chosen Therefore, three in-depth-case studies within major software-training providers in Germany were conducted in accordance to Yin (2009) They were based on expert interviews, document analyses and observational studies, enriched and complemented by the findings and requirements for productive BLS found in literature Finally, in research question 4, the design principles were evaluated (Vaishnavi/Kuechler 2004) by means of expert interviews and an action research approach Conclusions drawn from the evaluation were used to adapt and optimize the design principles (Hevner et al 2004) and thus, a final set of seven design principles was created



3 Service Productivity

The dissertation at hand focuses on the productive delivery of blended learning services Thereby, service productivity differs greatly from traditional productivity, which is explicated in the following

The term productivity is a well-known expression in business research It is defined as the ratio between outputs and inputs (Prokopenko 1992) In other words, productivity

is a concept that reflects the degree of effectiveness of processes in the course of which input resources are transformed into economic results for the producing firm and into value for its customers This formula has to be modified for services, because services have various characteristics which distinguish them from classical products (Harmon/Hensel/Lukes 2006) Services are time-perishable, intangible experiences rendered for a recipient who serves as both customer and co-producer (Fitzsimmons/Fitzsimmons 2011; Leimeister 2012)

This in itself implies that customers influence the process and the result of a service These characteristics do not lead to challenges for simple, highly standardized services, e.g., fast food supply Nevertheless, complex services such as blended learning services require a specific approach to successfully evaluate and influence productivity, since they contain a high degree of customer-induced activities, e.g., learning activities, which leads to a complex and long-time service delivery process (McLaughlin/Coffey 1990) This thesis focuses on this service delivery process, referring to service productivity as the time which is consumed during the process (input, throughput and output quantity), and the BLS quality which is achieved within the process (input, throughput, and output quality)

It is crucial to note that the internal efficiency of the service development process and its corresponding efforts, e.g., IT costs or rent, are not examined within this dissertation In accordance with Grönroos and Ojasalo (2004), the capacity efficiency

is examined, creating insights on the measurement of service delivery process quality

as well as on the design of a productive service delivery process, i.e efficient (time efficient) and effective (high quality)



8

4 Summary of the Main Dissertation Results

In this section, the main dissertation results are outlined These are:

1 A Framework for the Productivity-Oriented Analysis of Blended Learning Services (Section 4.1)

2 An extensive Literature Review on Influencing Factors on Learning Success of Blended Learning Services (Section 4.2)

3 A Model for the Assessment of the Process Quality of Blended Learning Services (Section 4.3)

4 Design Principles for the Productivity-Oriented Delivery of Blended Learning Services (Section 4.4)

A short comprehension can be found in the following, please find an elaborate results description in chapters 10 to 15

4.1 A Framework for the Productivity-Oriented Analysis of Blended Learning Services

At first, a conceptual productivity framework has been developed which is outlined in chapter 10 (Bitzer 2014) The framework incorporates the influence on BLS delivery

of both, BLS stakeholders, namely the provider and the participant of the BLS Also, it incorporates the learning process (i.e time and process quality), which explicitly emphasizes the importance of the combined service delivery of both input dimensions (i.e provider and customer / participant) determining the BLS output The BLS results perspective is focusing on the learner results, i.e reaction, learning as well as behavior and on the customer results which are the summarized product of behavioral change of participants

4.2 An extensive Literature Review on Influencing Factors on

Learning Success of Blended Learning Services

The dissertation includes two consecutive literature reviews which include dimensions and influencing factors as well as output factors of BLS in chapter 11 and 12 (Bitzer/Janson 2014; Bitzer/Lehmann/Leimeister 2012)

Thereby, the literature reviews focuses on the collection of determinants of satisfaction within BLS for the beforehand identified dimensions Input, Process and Output