Masters thesis of engineering multimodal data fusion for cyber physical human systems

To ensure that the performance of the system and the Mental Workload MWL of the human operator are maintained at an acceptable level, one possible approach is to introduce real‐time adap

Lars Joyce Planke

BEng  (Electrical) (Hon 1st Class) (RMIT University) 

      School  of Engineering  College  of Science, Technology, Engineering and Maths 

RMIT  University  May  2021

Declaration

I certify that except where due acknowledgement has been made, this work is that of the author alone; this work has not been submitted previously, in whole or in part, to qualify for any other academic award; the content of the thesis is the result of work, which has been carried out since the official commencement date of the approved research program; any editorial work, paid or unpaid, carried out by a third party is acknowledged; and, ethics procedures and guidelines have been followed. 

I  acknowledge  the  support  I  have  received  for my  research  through  the  provision  of  an Australian Government Research Training Program Scholarship. 

Acknowledgements

In conducting my Master of Engineering research program, I would firstly like to express my gratitude to my supervisors Prof. Roberto (Rob) Sabatini and Dr. Alessandro (Alex) Gardi, in which their advice, guidance and aspirations have been of utmost importance in completing 

a successful research project. I would like to give my thanks to Rob for identifying a potential 

in me, opening up invaluable opportunities and aspiring me to strive for excellence. I would also like to thank Alex for providing time and thoughtful advice throughout the project. 

A special thanks goes to my friends and colleagues at RMIT University, including Yixiang Lim, Nichakorn  Pongsarkornsathien,  Sam  Hilton,  Rohan  Kapoor,  Suraj  Bijjahalli  and  Federico Rivalta. Their  accompanying  presence  have  made  this  endeavour  highly  rewarding,  with stimulating  interactions  that  have  sparked  valuable  insights  and  helped  progress  my research. 

I would also like to give many thanks to Dr. Neta Ezer from Northrop Grumman Corporation for providing helpful feedback and supporting this research project. Also, thanks to Trevor Kistan from Thales Australia for helping me conduct this research and providing feedback. I would also like to acknowledge and express my gratitude to RMIT University for selecting 

me for a RMIT Research Stipend Scholarship. 

This  research  project  has  been  conducted  amid  a  historic  pandemic,  and  a  particular gratitude goes to my partner Bella Reid and her family for providing extra support through unusual  and  uncertain  times,  without  which  this  research  would  not  have  been  as successful. Finally, I would to like to give my heartfelt appreciation to all my friends and family in Norway and Australia. No matter the physical distance I can always rely on their encouragement, care and constant source of support. 

  6.6.3    Threshold criterion  _  220  

Results     221  

  6.7.1    Round 1 results    221  

  6.7.2    Round 2 results    223  

Discussion   _  232  

  6.8.1    Discussion of methodology design and networking considerations  _  232  

  6.8.2    Discussion of results    234  

  6.8.3    Discussion of contribution    239  

  6.8.4    Discussion of multimodal inference of MWL for CHMS  _  241  

Conclusion   _  244  

References     246  

Introduction     249  

Synthesis  of experimental findings    249  

Conclusion   _  254  

  7.3.1    Objectives achieved  _  256  

Recommendations  for future research  _  259  

Appendix A – Subject Specific Feature Combination       261   

Appendix B – Neuropype Pipeline Designer       264 

Appendix C – Results from Normality Test            266 

Appendix D – List of Publications        268   

List of Figures

Figure  1.1  Fundamental concept of the Cognitive Human Machine System (CHMS)………5 

Figure  1.2   The general project methodology……….………   14 

Figure  1.3  General methodology for Experimental Activity 1……….…….15 

Figure  2.1  Sheridan scale……….………   26 

Figure  2.2  Full CHMS framework ……….………     31 

Figure  2.3  VPA system architecture……….……….33 

Figure  2.4  Integrated air‐ground Concepts of Operation for SPO and UAS remote control 35 

Figure  2.5  Layers  of control for UAS and SPO……….………36 

Figure  2.6  Third  generation flight deck concept by Thales……….……   37  

Figure  2.7  Evolutionary paths for a multidomain air and space transport operation.….…     38 

Figure  2.8  Inverted U model……… …………39 

Figure  2.9  Relationship between task load, performance and MWL……….40 

Figure  2.10  Conceptual relationship between MWL and SA………41 

Figure  2.11  Tasks for the MATB program……….44 

Figure  2.12  International  10‐20 system for electrode placement.……… …50 

Figure  2.13  (a) Referential montage; (b) Differential amplifier circuit……….………51 

Figure  2.14  A simulated head for finding oscillating voltage sources……….… …… 53 

Figure  2.15  Signal processing method for a straightforward oscillatory BCI………56 

Figure  2.16  EEG signals spatially filtered using CSP algorithms………58 

Figure  2.17  Filter Bank Common Spatial Pattern (FBCSP)……….………59 

Figure  2.18  A  generic signal processing for ERP based BCI……….……….61 

Figure  2.19  QRS complex……… 65 

Figure  2.20  Example of different modalities that can be used for cognitive load……… 70 

Figure  2.21  High level data fusion for multimodal MWL estimation……… 71 

Figure  2.22  Example of an architecture of a NFS………76 

Figure  3.1  Basic configuration of CHMS……….…………96 

Figure  3.2  Fundamental  components of sensing and estimation……… ………98 

Figure  3.3  The general project methodology……… …….103 

Figure  3.4  OTM UAV wildfire detection scenario……… … …….106 

Figure  3.5  Tasks for the MATB program……… … 107 

Figure  3.6  (a) actiCAP Xpress form BrainProducts; (b) V‐Amp amplifier with USB cable… ……111 

Figure  3.7  GP3 eye tracker……… ……   112 

Figure  3.8  Zephyr  Bioharness 3……….… …….112 

Figure  3.9  Logitech Extreme 3D Pro……….……….113 

Figure  3.10  Example of eye tracker mistakenly detecting features of the EEG electrodes as… 114 

Figure  3.11  (a)  Cloth that is placed to cover the electrodes of the EEG; (b) Cloth preventing… 114 

Figure  3.12  Basic data flow for physiological measurement collection………115 

Figure  3.13  General methodology for activity 1………119 

Figure  3.14  Overall methodology for Experimental Activity 1……….……… 121 

Figure  3.15  Multimodal data fusion with testing of multiple inference models……….123 

Figure  3.16  Detailed methodology for offline development and analysis of inference………… 124 

Figure  3.17  Offline  calibration and validation of ANFIS model……… 125 

Figure  3.18  Overall methodology for Experimental Activity 3……… 127 

Figure  4.1  Mission concept illustrating the Unmanned Aerial Vehicles (UAVs) bounding…… 134  

Figure  4.2  Subjective ratings: (a) subjective workload of all participants, grouped by the…….141 

Figure  4.3  (a) Mean task index of all participants (normalized), grouped by the scenario…… 142 

Figure  4.4  Physiological measures: (a) mean scan pattern entropy of all participants………….143 

Figure  4.5  Mean  EEG index of all participants……….…144 

Figure  4.6  Comparison for one participant between the task index, SPE and EEG index……… 145 

Figure  5.1  (a) Experimental setup while participant performs MATB tasks. A: EEG cap……… 155  

Figure  5.2  MATB task load profile for the experiment………156 

Figure  5.3  Diagram showing all the categories and subcategories of data collection……….157 

Figure  5.4  Feature extraction using FBSPoC and continuous classification using ridge………….159 

Figure  5.5  Pipeline for offline calibration and validation of EEG model……… 160 

Figure  5.6  Four features extracted from the eye tracking data……… 162 

Figure  5.7  ROI for calculating simple (a) and complex; (b) scan pattern entropy……….… 163 

Figure  5.8  Network diagram for processing and collection of data……….169 

Figure  5.9  Protocol for synchronising measurements………170 

Figure  5.10  Result for participant 11 after calibrating the EEG model……… 172 

Figure  5.11  Results from the EEG pipeline for participant six……… 174 

Figure  5.12  (a)  EEG measure for participant 4; (b) scan pattern entropy for participant 2………176 

Figure  5.13  (a) Blinks per minute for participant 16; (b) pupil diameter for participant 2……… 176 

Figure  5.14  (a) Dwell time for participant 5; (b) Heart rate for participant 3………177 

Figure  5.15  Control inputs for participant 14……….177 

Figure  5.16  Calibration and validation on separate halves of the data set……….182  

Figure  5.17  Results after calibrating and validating the ANFIS model for participant 4……….… 189 

Figure  6.1  Overall  methodology……… 214 

Figure  6.2  Task profile for Round 1 of the MATB scenario……… …… 215 

Figure  6.3  Task profile for the online validation round in Round 2………216 

Figure  6.4  Online validation network for Experimental Activity 3……….….… 217 

Figure  6.5  Round 1 network for Experimental Activity 3……… 218 

Figure  6.6  Round  2 network for Experimental Activity 3……… 219 

Figure  6.7  ANFIS model 2 from participant 5 with a MAE = 0.37………222 

Figure  6.8  Task level (blue) and ANFIS output (red): (a) ANFIS output 4; (b) ANFIS…… ………….225 

Figure  6.9  Task level (blue) and ANFIS output (red): (a) ANFIS output 7; (b) ANFIS………… 225 

Figure  6.10  Task level (blue) and ANFIS output (red): (a) ANFIS output 11; (b) ANFIS.………225 

Figure  6.11  EEG model result for participant 5……… 230 

Figure  6.12  EEG  model result for participant 6.……….230 

Figure  6.13  EEG model result for participant 7.……….230 

Figure  6.14  EEG model result for participant 4.……….230 

List of Tables

Table  2.1  Considerations for HMI2 evolution………29 

Table  3.1  Primary and secondary mission objectives………105 

Table  3.2  Defining levels of difficulty for MATB scenario……… 109 

Table  3.3  All noteworthy software’s used as part of this research……….116 

Table  4.1  Task index calculation for each UAV……….………137 

Table  4.2  All results from the ANOVA analysis……… …… 140 

Table  4.3  Notable correlation coefficients for each participant……….…… 145 

Table  4.4  All  feature comparison. Mean and respective standard deviation across all………146 

Table  5.1  Detailed  task load profile during the experiment……… …… 157 

Table  5.2  EEG model results for all participants……… 173 

Table  5.3  Results from calibrating on all the data and validating with five‐fold validation…… 175  

Table  5.4  Correlation between the task analysis (levels) and all other features for all……….179  

Table  5.5  Correlation between features averaged for each participant……….180 

Table  5.6  All noteworthy feature combinations used to calibrate and validate the ANFIS………184 

Table  5.7  Eye  feature combinations only used for training ANFIS………185 

Table  5.8  Results for all participants with best feature combinations and all seven features… 186 

Table  5.9  Best feature combination without control inputs………187 

Table  5.10  Final ANFIS models based on generic combinations and subject specific………188 

Table  5.11  Calibrate and validate on all data with the feature combinations of interest………….190 

Table  6.1  Requirements for task profile for Round 1……….… 215 

Table  6.2  Requirements  for task profile for online validation in Round 2……… …… ….216 

Table  6.3  MAE from online inference of MWL using a cross‐session ANFIS models 1‐5………… 222 

Table  6.4  EEG result from offline calibration with MAE from five‐fold validation………… ……….223 

Table  6.5  CC across all subjects and for all features……….…………223  

Table  6.6  MAE and CC for Round 2 between task level and the ANFIS outputs……….227 

Table  6.7  MAE and CC between online EEG inference and task profile in Round 2……….229 

Table  6.8  CC  between all subject……… 232 

List of Acronyms and Abbreviations

ASSAP        Airborne Surveillance and  

Separation  Assurance Processing   AOR       Area of Responsibility 

ANOVA       Analysis of Variance 

aCAMS       automated Cabin Air  

Management  System  BCI       Brain Computer Interface 

DE       Differential Evolution  DEACS       Differential Evolution with   

Ant  Colony Search  DFHM       Dual Frequency Head Maps  DWELL       Proportional Dwell Time  DIA        Pupil Diameter  ECG       Electrocardiogram  EEG        Electroencephalogram  EMG        Electromyogram  EMI       Electro Magnetic Interference  EOG        Electrooculogram  ERP       Event Related Potential  FBCSP        Filter Bank CSP  FBCSP        Filter Bank SPoC  FCM       Fuzzy C‐Means  fMRI       Functional Magnetic 

 Resonance Imaging  fNIR        Functional Near Infrared  

Spectroscopy   FFT       Fast Fourier Transform  FIS        Fuzzy Inference System 

FO       First Officer  GCS       Ground Control Station   

HbR       Deoxygenated Hemoglobin 

HMI       Human Machine Interface  

HMI2       Human Machine Interfaces  

and  Interactions  HRV       Heart Rate Variability 

NN        Normal to Normal  OTM        One‐to‐Many  OFS        Operator Functional State  pBCI        passive BCI 

PY       Python  PBO       Performance Based Optimisation  PCA        Principal Component Analysis  PSD       Power Spectral Density  PET        Position Emission Tomography 

PF        Pilot Flying  PNF        Pilot Not Flying 

PM       Pilot Managing  RDA        Remote Data Access  RESMAN       Resource Management  RMSE        Root Mean Square Error  RPAS       Remote Piloted Aircraft System 

RR        R‐to‐R  RMIT       Royal Melbourne Institute 

of  Technology 

RQ       Research Question  ROI        Region of Interest  SCHED        Schedule   

is imperative that human operators maintain the required level of Situational Awareness (SA)  in  order  to  contribute  effectively  to  both  strategic  and  tactical  decision‐making processes.  On  the  other  hand,  it  is  also  essential  that  the  cognitive  ability  of  human operators is constantly monitored to assess their ability to perform effectively in a closed loop human‐machine system environment. To ensure that the performance of the system and the Mental Workload (MWL) of the human operator are maintained at an acceptable level, one possible approach is to introduce real‐time adaptation in the Human‐Machine Interfaces  and  Interactions  (HMI2).  While  current  aerospace  systems  and  interfaces  are limited in adaptability, a Cognitive Human Machine System (CHMS) addresses these issues with a cyber‐physical human design that provides dynamic real‐time system adaptation. Nevertheless, to reliably drive adaptation of current and emerging aerospace systems there 

is a need to accurately and repeatably estimate cognitive states, in particular MWL, in real‐time.  Henceforth,  this  research  has  studied  methods  for  sensing  physiological  and behavioural responses associated with MWL and have used the corresponding measures to provide a real‐time multimodal inference of MWL. 

As part of this research, three experimental activities have been conducted. Experimental Activity  1  included  an  exploratory  study  that  implemented  and  analysed  an Electroencephalogram (EEG) index as well as a straightforward data fusion method during a complex One‐to‐Many (OTM) Unmanned Aerial Vehicle (UAV) wildfire detection scenario. The EEG index included previously proven features of MWL and showed to be sensitive to changes  in  MWL  in  the  complex  task  scenario  using  the  Correlation  Coefficient  (CC). Moreover, a straightforward data fusion approach showed that fusing the EEG index and an eye  activity  feature  gave  the  highest  correlation  with  a  secondary  task  performance measure (CC = 0.73 ± 0.14). 

The  following  Experimental  Activities  2  and  3  were  more  comprehensive  activities  and involved offline and online testing of a multimodal inference model of MWL that was tested during the Multi‐Attribute Task Battery (MATB) scenario. This involved a rigorous analysis of 

an average MAE = 0.36. 

The final Experimental Activity 3 included the online validation (during two rounds) of 11 selected  ANFIS  models  as  determined  in  the  previous  activity.  The  results  from  online validation of the first five ANFIS models (containing different feature combinations of eye activity and control input features) all demonstrated good performance with a MAE around the 0.68 mark, with the best performing model showing an average MAE = 0.67 and CC = 0.71. This was similarly reflected in the results from performing cross‐session validation. The remaining multimodal models of MWL showed a larger error as the online inference from the EEG model had an arbitrary offset resulting in an equivalent offset in the output of the multimodal  ANFIS  model.  The  efficacy  of  the  model  could  however  be  seen  with  the normalised pairwise correlation with the target value and showed good results, with ANFIS model 11 demonstrating the highest average correlation across the models tested (CC = 0.77). Henceforth this study has demonstrated the ability for multimodal data fusion from features extracted from EEG, eye activity and control inputs to produce an accurate and repeatable inference of MWL. The investigation of multimodal fusion for MWL inference has assisted in corroborating the viability of real‐time system adaptation in future aerospace Cyber‐Physical‐Human Systems (CPHS) architectures

it has been noted in the literature that automation has its consequences [1‐3], as some of the main contributors to aviation accidents are attributed to human errors as a result of automation bias, complacency [4] and a deterioration of manual flying skills [5]. Among some of the cases, it has been identified that low Mental Workload (MWL) environments are a source of boredom and cognitive underload as a result of inactivity [2]. In certain periods  of  flight  like  cruise,  the  MWL  is  commonly  low.  This  under‐load  can  lead  to  a negative  effect  on  information  processing  and  Situational  Awareness  (SA).  Then  if  an abnormal situation appears while airborne, the pilot will quickly be exposed to cognitive over‐load  and  will  experience  a  total  loss  of  SA  [2].  With  these  concerns  regarding  the integration of automation there is a need for a new interaction between human operators and machines that departs from independent automation and human activities and moves towards Cyber‐Physical‐Human Systems (CPHS). 

These  human‐centric  systems  are  the  cooperation  of  humans  with  machines,  and  are designed such that the skills and abilities of humans are not replaced, but rather co‐exist with and assist humans in performing more efficiently and effectively [6]. Such a human centric  design  represents  an  improved  design  and  engineering  philosophy,  where automation is treated as a further expansion of the humans physical, sensorial and cognitive capabilities.  As  such  a  human  centric  system  is  designed  to  be  engineered  with computational and communication techniques with adaptive control systems (i.e. adaptive automation)  that  maintain  human‐in‐the‐loop.  Some  of  the  current  Human  Machine Interfaces  and  Interactions  (HMI2)  of  aerospace  systems  are  capable  of  integrating  and fusing  information  from  various  sources  to  perform  a  variety  of  different  functions. However, current systems and interfaces are limited in adaptability where the authority for reconfiguration and task allocation in current adaptable HMI2 are manually controlled by the human operator [7]. Henceforth, a Cognitive Human Machine System (CHMS) addresses these issues with a CPHS design that provides the necessary real‐time system adaptation [8, 9]. A CHMS provides real‐time system adaptation by collecting physiological, behavioural as well as mission, environmental and operational data (i.e. performance measures) which are then fused in real‐time to provide a final estimation of the operator’s cognitive states (i.e. mental  workload,  mental  fatigue,  attention,  etc.).  This  estimation  will  then  dynamically change system functions and HMI2 formats. The configuration for this can be seen in Figure 1.1  and  illustrates  a  closed  loop  system  as  described  above.  The  CHMS  consists  of  four fundamental components which include the human operator, sensing module, estimation module and lastly the adaptation module. The sensors used for collecting the physiological and  behavioural  measurements  can  e.g.  include  data  collected  from  an Electroencephalogram  (EEG),  Functional  Near  Infrared  Spectroscopy  (fNIR),  eye  activity tracker,  cardiorespiratory  sensor  and  control  input  sensors,  while  the  performance measures  can  among  other  be  deduced  from  the  primary  and/or  secondary  mission objectives. These measures are then fused in the estimation module to produce estimations 

of the cognitive states that then drives the system adaptation. This then produces a new task load presented to the human operator, which thus results in new cognitive states of the human as well as new system conditions and the cycle then continues. 

Estimation Sensing

Actual system   conditions

Actual   cognitive   states

⋮

Mission  performance Environmental  conditions Operational  conditions

+

Task  1 Task  n

Adaptation

HUMAN

Actual external    conditions

Figure 1.1. Fundamental concept of the Cognitive Human Machine System (CHMS). 

In  terms  of  avionics  used  for  aerospace  systems  there  are  three  main  aspects  including Communication, Navigation and Surveillance (CNS) [10]. The operation of e.g. Air Traffic Management  (ATM)  is  highly  dependent  on  CNS  systems  to  achieve  the  objectives  of preventing collisions and ensuring a high flow of traffic [11]. The collective term for the technologies used for fulfilling many of the vital functions of aerospace systems is CNS/ATM and Avionics (CNS+A). The aforementioned considerations for a human centric design in the form of a CHMS is important as the advancements in CNS+A concepts progress [11‐13]. With the introduction of these technologies there is a need to process and present an increasing amount of information. This will in turn result in aerospace Cyber‐Physical Systems (CPS) which  incorporate  higher  levels  of  automation  and  improved  information  sharing  [14]. Additionally, for some of the proposed CNS+A concepts there is in fact a need for automated computation, as the function cannot be completed without computational support, such as 

4‐Dimensional Trajectory Based Optimisation (4DT) where humans are not able to process 

4‐dimensional  space  [11].  Among  some  of  the  significant  advantages  of  the  CNS+A advancements and the introduction of CPHS are the capabilities of de‐crewing of current 

to  Single  Pilot  Operation  (SPO)  in  commercial  aircrafts  [8,  15],  One‐to‐Many  (OTM) Unmanned  Aerial  Vehicle  (UAV)  operation  [16],  evolution  of  ATM  [17]  and  UAS  traffic management (UTM) [18]. The implementation of the CHMS in all these applications will support these aerospace systems to operate at higher levels of automation while ensuring that the human operator maintains a central role in the system and that the degree of trust with the system is maintained. 

Research gaps

To  reliably  drive  system  adaptation  in  an  operational  CHMS  there  is  a  need  to  provide accurate and repeatable estimations of cognitive states in real‐time. Among the cognitive states, MWL is of particular importance as it directly affects the system performance [19]. However, to allow for aerospace CPHS architectures that perform dynamic real‐time system adaptation there is a need to further develop suitable models and algorithms that can infer MWL based on multiple real‐time physiological and behavioural sensor measurements. Such  measurements  have  been  extensively  researched  for  detecting  physiological  and behavioural responses associated to MWL, including the use of sensors such as EEG [20‐23], fNIR [24, 25], eye activity tracking [26, 27], Electrocardiogram (ECG) [28‐30], Galvanic Skin Response (GSR) [31] and control inputs [32]. Here corresponding features associated with MWL include among others: changes in alpha and theta power‐bands with the EEG; changes 

in blood oxygenation and blood volume with the fNIR; changes in Blinks Per Minute (BPM), proportion  dwell  time,  pupil  diameter  and  scan  pattern  behaviour  with  eye  activity measures; changes in Heart Rate (HR), Heart Rate Variability (HRV) and respiration with cardiorespiratory  sensors;  changes  in  skin  conductance  with  GSR;  and  lastly,  changes  in accuracy, response time as well as mouse movements with a computer mouse used for control inputs. Nonetheless, extensive reviews have identified that the measures of MWL are not universally valid for all task scenarios [33, 34]. The reviews both identified multiple studies that reported statistical significance in physiological and behavioural measures that are able to measure MWL for different task scenarios. However, the reviews noted that the 

measures are sensitive depending on the task type and difficulty, and that a single measure was  not  identified  that  is  generalised  across  various  tasks.  The  inconsistency  in  the sensitivity of physiological and behavioural measures can for example be seen for HR. Here studies have reported a sensitivity of HR to changes in MWL [29, 30], while others found no sensitivity [35]. With this variability in the efficacy of sensor measurements it is important 

to extract measurements that are sensitive to the specific task scenario. 

The task loads implemented for provoking MWL have included using many different task scenarios.  Among  these  include  using  simpler  task  scenarios  in  controlled  laboratory environments while performing tasks such as the n‐back task, arithmetic task, Hampshire tree task, Sternberg task and other equivalent tasks [36, 37]. Other task scenarios include the use of somewhat more complex task loads that require multi‐tasking such as Multi‐Attribute  Task  Battery  (MATB)  [38]  or  the  automated  Cabin  Air  Management  System (aCAMS) [39]. Task scenarios that generate more complex task loads include studies that implement ATM simulations, driving simulations or flight simulation [28, 40‐45]. Lastly, only limited studies have performed physiological and behavioural measurements of MWL while performing  real  operational  conditions,  such  as  during  actual  flight  or  actual  driving conditions [46, 47]. 

Studies  have  implemented  the  use  of  supervised  Machine  Learning  (ML)  techniques  for estimating MWL during a specific task scenario by either implementing classification models for  classifying  MWL  between  discrete  states,  or  the  use  of  regression  approaches  for continuously  inferring  MWL.  This has  been  used  for  fusing  the  respective  features  from within a modality, generally used with EEG only [48‐53] as well as fNIR only [43], or fusing features  across  modalities  [54‐58].  Here  commonly  used  classification  approaches  have included  the  use  of  Artificial  Neural  Networks  (ANN)  [59,  60],  Support  Vector  Machines (SVM) [37, 56, 61, 62] or Linear Discriminant Analysis (LDA) [40, 43] (or extended variants), with some studies comparing multiple classification models [55, 61, 63] when classifying between discrete MWL states (i.e. resting, low and high). The use of regression models is less reported but includes the use of Neuro Fuzzy System (NFS) [16, 58, 64] and Gaussian Process Regression (GPR) [52], which provides a continuous estimation of MWL. 

The  type  of  task  scenario,  and  task  loads  presented  to  the  subject  can  differ  quite substantially  between  the  various  studies.  Moreover,  many  of  the  studies  performing multimodal data fusion include ML techniques that perform the calibration and validation 

in offline processing. Nonetheless, real‐time/ online data processing often shows variable and inconsistent results. The following studies by Hogervorst et al. and Wilson and Russell have performed online validation of multimodal data fusion models [57, 60]. In the study conducted by Wilson and Russell [60], an ANN was used to fuse data from an EEG (band‐power from delta, theta, alpha, beta and gamma from six electrodes), eye activity measures (blinks and interblink intervals) and cardiorespiratory measures (respiration, HR and HRV) in 

a MATB task scenario using resting, low and high task load conditions. Here the ANN would perform  online  classification  of  the  respective  task  load  at  5  second  intervals  and demonstrated a classification accuracy of 84.3%. In the other study by Hogervorst et al. [57], the  online  validation  was  simulated  after  collecting  the  data.  Here  data  from  EEG,  GSR, cardiorespiratory (respiration, HR, HRV) and eye activity measures (pupil size and eye blink) were collected from the participant performing an n‐back task, between high and low task loads. A classification accuracy of 91% was achieved from using 2‐minute intervals and using 

an elastic net calibrated on features from an EEG and eye activity measures. However, it was concluded that fusing the measure did not notably improve the results. Both results showed 

a  good  accuracy,  however,  for  both  studies  a  classification  model  was  used  which  only discriminates between discrete classes (i.e. low and high). Moreover, the latter study does not  perform  a  true  real‐time  processing,  as  it  only  implemented  a  simulated  online validation, and it additionally used a relatively large interval of 2 minutes. 

Some  studies  have  in  fact  performed  elements  of  real‐time  system  adaptation  by  using measures of MWL [24, 40, 64, 65]. However, generally these studies have used models that implement one modality, such as only EEG [40], only fNIR [24] or only task performance [65]. The study by Ting et al. [64], is one of the few studies that performed real‐time system adaptation by implementing a multimodal data fusion model. Here EEG features, HRV and 

a task performance measure was used to drive system adaptation in an aCAMS simulation, although  the  physiological  measures  were  taken  at  quite  large  intervals  at  7.5  minutes. However, it was concluded that the physiological and performance measures improved the system adaptation over using only system error for driving the adaptation. 

of particular interest as it is well suited for fusing data from multiple modalities and is more transparent than other ML methods thus overcoming some of the “black box” problem that are faced by many of the other ML methods. An NFS can optimise the parameters of a Fuzzy Inference System (FIS) based on calibration data, and one notable method is the Adaptive Neuro Fuzzy Inference System (ANFIS) [66]. There have been limited uses of NFS for MWL estimation, however the studies that have used NFS include the following references [16, 

58, 64, 67]. The methods used to optimise the FIS parameters include the use of a Genetic Algorithm (GA) based Mamdani fuzzy model [64, 67], where 7.5 minute intervals were used for the EEG and HRV measures. An extension of that work was presented by Wang et al. [58], with a 2 minute interval and using Differential Evolution (DE) and Differential Evolution Algorithm with Ant Colony Search (DEACS), as means to optimise the ANFIS parameters. The preceding studies demonstrated good results in an offline calibration and validation with the respective models, but they also implemented a general ANFIS model for comparison that showed poor results. With large intervals used, this could result in a limited amount of calibration data for the models, particularly for the general ANFIS model. A study by Lim et 

al. also implemented an ANFIS and was calibrated on data from cardiac features, eye activity features and features from an fNIR [16]. The offline validation showed good results from calibrating the model on the normalised features but failed to demonstrate good results in the  online  validation.  These  aforementioned  studies  thus  lack  in  using  a  general  ANFIS paradigm to produce accurate results in inferring MWL. Some of the studies demonstrated quite large intervals used, while the latter study lacked to perform an inference of MWL in 

an online validation. Moreover, other more recent studies have outlined the importance of investigating  the  respective  features  contributing  to  the  performance  of  the  respective models used [55, 63]. This is also an area that has not been investigated for NFS in the previous studies and is an area that can assist in the explainability of the model. 

As mentioned before recent extensive reviews have identified that there is not a current measure  of  MWL  that  is  universal  for  all  task  scenario  [33,  34].  While  many  of  the  ML classification/ inference models have demonstrated the ability of increasing the accuracy of the estimation of MWL, there are still significant limitations in ML models’ ability for cross‐

task, cross‐level, cross‐session and cross‐subject classification/ inference [48‐50, 62, 68].  For  example,  the  study  conducted  by  Zhao  et  al.  demonstrated  a  within‐classification accuracy of 95.3%, while the online validation of cross‐task classification dropped to 53.8% (with 33.33% as random), and cross‐level had an accuracy of 72.2% [62]. Henceforth, the capability of accurate cross‐task and at minimum cross‐level is vital for the estimation of MWL  to  be  reliable  enough  for  a  CHMS  to  be  used  in  operational  aerospace  systems. Moreover, for driving real‐time system adaptation there is a need for defining reference values that serve as thresholds for executing the system adaptation. Defining such reference values is nevertheless a challenging area given that there is no established ground truth for what  is  considered  overload  and  underload  of  MWL.  In  addition,  the  aforementioned limitations  of  current  classification/  inference  models  (i.e.  cross‐task  and  cross‐session inference) and the human operators subjective experience of a given task load also provides challenges  for  defining  accurate  and  reliable  threshold  values.  Henceforth,  before proceeding with the further implementation of real‐time system adaptation and the effects 

of this on aerospace systems and the human operator, there is a need to thoroughly study methods for sensing physiological, behavioural and performance measures associated with MWL.  This  includes  further  researching  different  methods  for  devising  multimodal  data 

fusion of MWL that can accurately and repeatably infer MWL in real‐time. 

1.2.1 Scope

To clearly define the scope of this research the following aspects were considered. Firstly, regarding  the  CHMS,  this  project  was  primarily  focused  on  the  sensing  and  estimation module  of  the  system.  This  meant  that  the  adaptation  module,  and  its  integration  for various  aerospace  systems  was  kept  outside  of  the  scope.  This  additionally  meant  that defining  threshold  values  for  driving  system  adaptation  was  not  included  in  the  scope. Nonetheless, the consideration of how the estimation of MWL would affect the adaptation module was briefly considered as part of the review and would also determine requirements for the sensing and estimation modules. As such, the scope of this research was kept on the various  physiological,  behavioural  and  performance  measures,  including  the  applicable sensors  used,  the  extraction  of  features  and  the  multimodal  fusion  to  extract  one  final accurate and repeatable measure. 

In terms of cognitive states, this research was limited to the study of MWL, although this is arguably  also  interchangeably  named  in  the  literature  as  cognitive  load,  mental  load, Operator Functional State (OFS) and cognitive workload. The theoretical background for some of the other cognitive states would however be briefly included in the review and involved fatigue, SA, working memory and attention.  

The sensor suite used for experimental testing and analysis would be limited to an EEG, ECG, eye activity tracker and computer mouse. This included both the offline processing as well 

as  real‐time  processing  of  the  data  from  the  respective  sensors.  Other  sensors  would however be included as part of the scope for review. Elements of artifact rejection was included as part of the review and the experimental activities would include some methods 

of artifact rejections as allowed in real‐time processing. 

The scope was limited to the testing of a regression type ML model for real‐time multimodal data fusion. Other methods of data fusion, such as other ML classification techniques, was included as part of the scope for review and discussion. As part of the analysis from the experimental testing, some elements of explainability of the inference of MWL from the respective multimodal model was included as part of the scope. Lastly, cross‐task, cross‐level  and  cross‐subject  capability of  ML  models  would  not  be  considered  as  part  of  the scope, apart from review and for comparison in the discussion. Elements of cross‐session inference was however included as part of the scope and was experimentally tested. 

Research aim and question

The primary aim of this research was to further develop the sensing and estimation module 

of the CHMS framework with an improved multimodal inference model of MWL as needed for  the  application  in  aerospace  CPHS.  Here  the  focus  of  this  research  was  on  the implementation of a multimodal inference model of MWL that would be developed and experimentally tested. This was done with the purpose of studying the viability of real‐time system adaptation in aerospace systems. As such the main aim of this research was: 

OBJ. 5 Perform a thorough analysis from offline calibration and validation of a 

multimodal inference model of MWL and analyse performance from using different generic and subject specific feature combinations; 

Overview of research methodology

This section outlines an overview of the overall methodology and the approach taken for the experimental activities conducted, which is further elaborated on in Chapter 3. The first part of this research is a comprehensive literature review conducted with the focus on the applicable body of work. The second part of this research includes experimentally testing and studying the functionalities of a multimodal sensing and estimation module as needed for a CHMS. The general approach for this includes three experimental activities and are outlined in the following sub sections. 

1.5.1 General project methodology

This research aims to develop an accurate and repeatable multimodal inference model for estimating MWL as needed for a CHMS system. In working towards this aim, the following general project methodology was implemented as part of this research project. The full general project methodology can be seen in Figure 1.2 and elements of this was used for all three experimental activities completed. The full approach consisted of firstly using a task scenario  to  controllably  generate  various  task  loads  that  were  presented  to  the  human subject. The human then performed the presented task load, which in turn resulted in an 

“actual  MWL”  perceived  by  the  human.  The  “observe”  block  was  then  where  various wearable  and  non‐wearable  sensors  measured  various  physiological  and  behavioural responses that originated from the human performing the given task. This included the use 

of an EEG, eye activity tracker, ECG and monitoring control inputs to measure the raw data and  then  further  extract  features  such  as  HR  from  the  ECG  signal.  Then  in  the  “orient” module  the  various  extracted  features  were  collected,  and  the  physiological  and behavioural features were oriented using the Pearson Correlation Coefficient (CC), to assess the pairwise linear relationship with other objective measures of MWL. This could either be the correlation between the feature and a pre‐determined task level, a pairwise correlation with a secondary task performance measure, or reserving another feature for comparison. Subsequently, in the “decide” module an assessment could be made that decided which physiological/  behavioural  feature  were  best  suited  for  MWL  estimation  based  on  the pairwise correlation results. This assessment could finally be used for the last module, where 

Figure 1.2. The general project methodology. 

1.5.2 Experimental activities

To prove the capabilities of a sensing and estimation module’s ability to infer MWL in real‐time,  three  experimental  activities  were  conducted  using  various  steps  of  the  general project methodology presented above. Firstly, this included an exploratory experimental activity  that  assessed  some  of  the  physiological,  behavioural  and  performance measurements  associated  with  MWL  during  a  complex  OTM  UAV  wildfire  detection scenario. The following two experimental activities were more comprehensive and included the  offline  and  online  calibration  and  validation  of  a  multimodal  data  fusion  model developed  for  real‐time  inference  of  MWL.  These  experimental  activities  (Experimental Activity 1, 2 and 3) were conducted to complete the research objectives and answer the research question associated to this research project. 

In the first exploratory Experimental Activity 1 the use of physiological, behavioural and performance measures of MWL were implemented and analysed in a complex OTM UAV wildfire detection scenario. Overlapping with the general project methodology presented above,  this  experimental  activity  only  implemented  the  observe  and  orient  sections  as further seen in Figure 1.3. In this activity the task load presented to the human operator was generated from a wildfire detection scenario, where the task complexity was controlled in three  incremental  levels.  The  measures  collected  as  a  part  of  this  activity  included physiological, behavioural, performance and subjective measures. This exploratory activity was conducted in collaboration with another project [16], and expanded on the work by further developing an EEG index and implementing a data fusion approach with the EEG 

index and an eye activity measure. The EEG index and data fusion approach were analysed using  the  Analysis  of  Variance  (ANOVA)  analysis  and  the  CC,  and  additionally  included analysing the other features for comparison. The pairwise correlation was conducted with 

an objective secondary task performance index for assessing how sensitive the features were to the complex OTM UAV task scenario. 

Figure 1.3 General methodology for Experimental Activity 1

In the following Experimental Activity 2, the emphasis was on the inference of MWL using a supervised  ML  model  for  multimodal  data  fusion.  This  activity  included  experimentally collecting physiological and behavioural data, and then performing a data fusion of these multimodal features in an offline calibration and validation procedure. Here multiple models were  tested  that  contained  different  feature  combinations.  Compared  with  the  general methodology, the full methodology was implemented with the observation of the features, the  orientation  of  the  features,  decision  of  which  features  to  use  and  lastly  the implementation of those features for offline calibration and validation of the developed and tested inference models. 

Lastly, Experimental Activity 3 investigated the online validation of the inference models examined in the previous experimental activity. While the previous activity investigated the offline  calibration  and  validation  of  multimodal  inference  models,  this  activity  took  the optimal  models  from  the  previous  experimental  activity  and  applied  it  in  an  online validation. This would verify the inference model’s capability for real‐time estimation of MWL.  This  used  the  same  approach  as  in  Experimental  Activity  2  with  the  full implementation of the general approach. 

Thesis outline

This  section  will  briefly  outline  the  remaining  chapters  of  this  thesis  and  its  contents. Chapter  2  of  the  thesis  includes  a  literature  review  of  the  relevant  literature  for  this research. This includes a detailed review on the body of work within MWL measurements, EEG, ECG, eye activity tracking, control inputs, human factors, adaptive automation, closed loop system adaptation, pBCI, HMI2, CNS+A, multimodal data fusion, machine learning and ANFIS. 

Chapter 3 will then outline some of the design requirements and functionalities for a sensing and estimation module. This will guide the design of the experiments as these dictates what 

is needed for the sensing and estimation module of a CHMS. This chapter will additionally include outlining the methodology as part of this research and will detail the hardware and software infrastructure used. 

In Chapter 4, 5 and 6 the work from Experimental Activities 1, 2 and 3 will be presented, where all three activities involve humans. These chapters will also present the methods implemented for the respective activity as well as the results from each experiment and lastly a discussion. Chapter 4 is an exploratory experimental activity that presents the results from the development and testing of an EEG index, and the fusion between the EEG index and an eye activity measure in a complex OTM UAV wildfire detection scenario. Chapter 5 and 6 are closely related, where Chapter 5 will include the presentation of the development and experimental results from offline calibration and validation of various inference models using EEG, eye activity tracking, cardiac and control input measures of MWL. While Chapter 

6  is  then  the  online  validation  of  the  previously  analysed  models,  using  an  optimal calibration  protocol.  Lastly  Chapter  7  provides  a  synthesis  of  the  discussions  from  the respective experimental activities, a conclusion and recommendations for future research.  

2006    

[8]   J. Liu, A. Gardi, S. Ramasamy, Y. Lim, and R. Sabatini, "Cognitive pilot‐aircraft interface for single‐pilot  operations," Knowledge‐Based Systems, vol. 112, pp. 37‐53, November 2016. 

[12]   T. Kistan, A. Gardi, R. Sabatini, S. Ramasamy, and E. Batuwangala, "An evolutionary outlook of air traffic  flow management techniques," Progress in Aerospace Sciences, vol. 88, pp. 15‐42, October 2016. 

[13]   E. Batuwangala, S. Ramasamy, L. Bogoda, and R. Sabatini, "An interoperability assessment model for  CNS/ATM systems," in ATRF, Melbourne, Australia, 2016, pp. 1‐8. 

[14]  Y. Lim et al., "Avionics Human‐Machine Interfaces and Interactions for Manned and Unmanned Aircraft," 

Progress  in Aerospace Sciences, vol. 102, pp. 1‐46, August 2018. 

[15]   Y. Lim, V. Bassien‐Capsa, S. Ramasamy, J. Liu, and R. Sabatini, "Commercial airline single‐pilot operations:  System design and pathways to certification," IEEE Aerospace and Electronic Systems Magazine, vol. 32, 

no  7, pp. 4‐21, July 2017. 

[16]  Y. Lim et al., "Adaptive Human‐Robot Interactions for Multiple Unmanned Aerial Vehicles," Robotics, vol. 

10,  p. 12, January 2021. 

[17]   A. Gardi, N. Pongsakornsathien, L. Planke, Y. Lim, T. Kistan, and R. Sabatini, "Development of a Cognitive  HMI   for  Air  Traffic  Management  Systems  –  Report  No.  4:  CHMI2  System‐Level  Implementation  and  Verification   in  a  Representative  Simulation  Environment,"  Bundoora,  VIC,  Australia,  RMIT/SENG/CPS/003 ‐2019, 2019.   

[18]   N. Pongsakornsathien, A. Gardi, R. Sabatini, T. Kistan, and N. Ezer, "Human‐Machine Interactions in Very‐ Low‐Level  UAS  Operations  and  Traffic  Management,"  in  IEEE/AIAA  39th  Digital  Avionics  Systems 

Conference,  DASC2020, Piscataway, NJ, USA, 2020. 

[19]   M. S. Young, K. A. Brookhuis, C. D. Wickens, and P. A. Hancock, "State of science: mental workload in  ergonomics," Ergonomics, vol. 58, no. 1, pp. 1‐17, 2015. 

[20]   S. Puma, N. Matton, P.‐V. Paubel, É. Raufaste, and R. El‐Yagoubi, "Using theta and alpha band power to  assess cognitive workload in multitasking environments," International Journal of Psychophysiology, vol. 

123,  pp. 111‐120, October 2018. 

[21]  A. Gevins et al., "Monitoring Working Memory Load during Computer‐Based Tasks with EEG Pattern 

Recognition Methods," Human Factors, vol. 40, no. 1, pp. 79‐91, March 1998. 

[22]   W. Klimesch, "EEG alpha and theta oscillations reflect cognitive and memory performance: a review and  analysis," Brain Research Reviews, vol. 29, no. 2‐3, pp. 169‐195, November 1999. 

[27]   J.  Gilland,  "Driving,  eye‐tracking  and  visual  entropy:  Exploration  of  age  and  task  effects,"  PhD,  Department  of Psychology, University of South Dakota, 2008.   

[28]   H. Mansikka, P. Simola, K. Virtanen, D. Harris, and L. Oksama, "Fighter pilots’ heart rate, heart rate  variation and performance during instrument approaches," Ergonomics, vol. 59, no. 10, pp. 1344‐1352, 

March  2016. 

[29]   A. M. Hughes, G. M. Hancock, S. L. Marlow, K. Stowers, and E. Salas, "Cardiac Measures of Cognitive  Workload: A Meta‐Analysis," Human Factors, vol. 61, no. 3, pp. 393‐414, May 2019. 

[30]   T. Heine, G. Lenis, P. Reichensperger, T. Beran, O. Doessel, and B. Deml, "Electrocardiographic features  for the measurement of drivers’ mental workload," Applied Ergonomics, vol. 61, pp. 31‐43, January 2017. 

[31]   Y. Shi, N. Ruiz, R. Taib, E. Choi, and F. Chen, "Galvanic skin response (GSR) as an index of cognitive load," 

in CHI Conference on Human Factors in Computing Systems, United States, 2007, pp. 2651‐2656. 

[32]   A. Khawaji, F. Chen, J. Zhou, and N. Marcus, "Trust and cognitive load in the text‐chat environment," in 

26th  Australian Computer‐Human Interaction Conference, 2014, pp. 324–327. 

1070 ‐1077, March 2014. 

[36]   G. N. Dimitrakopoulos, Y. Sun, K. Ardian, N. V. Thakor, and A. Bezerianos, "A method for cross‐task mental  workload classification based on brain connectivity," Frontiers in Human Neuroscience, vol. 10, pp. 1940‐

1949,  November 2017. 

[37]   T. Radüntz, "Dual Frequency Head Maps: A New Method for Indexing Mental Workload Continuously  during Execution of Cognitive Tasks," Frontiers in Physiology, vol. 8, p. 1019, December 2017. 

[38]   J. R. Comstock Jr and R. J. Arnegard, "The multi‐attribute task battery for human operator workload and  strategic  behavior research," Langley Research Center, Hampton, Virginia, 1992.   

[39]   B. Lorenz, F. Di Nocera, S. Röttger, and R. Parasuraman, "Automated fault‐management in a simulated  spaceflight  micro‐world,"  Aviation,  Space  and  Environmental  Medicine,  vol.  73,  no.  9,  pp.  886‐897, 

April  2020. 

[42]   Y. Lu, J. Wu, and S. Fu, "A Study of the Relationship between Novice Pilots’ Performance and Multi‐ Physiology Signals," in Engineering Psychology and Cognitive Ergonomics, Crete, Greece, 2014, pp. 344‐

[49]   R.  Hefron,  B.  Borghetti,  C.  S.  Kabban,  J.  Christensen,  and  J.  Estepp,  "Cross‐Participant  EEG‐Based  Assessment   of  Cognitive  Workload  Using  Multi‐Path  Convolutional  Recurrent  Neural  Networks," 

Sensors,  vol. 18, no. 5, p. 1339, April 2018. 

[50]   Z. Yin and J. Zhang, "Cross‐session classification of mental workload levels using EEG and an adaptive  deep learning model," Biomedical Signal Processing and Control, vol. 33, pp. 30‐47, November 2017. 

[51]   Z. Yin and J. Zhang, "Cross‐subject recognition of operator functional states via EEG and switching deep  belief networks with adaptive weights," Neurocomputing, vol. 260, pp. 349‐366, May 2017. 

[52]   M. S. Caywood, D. M. Roberts, J. B. Colombe, H. S. Greenwald, and M. Z. Weiland, "Gaussian Process  Regression  for Predictive But Interpretable Machine Learning Models: An Example of Predicting Mental  Workload across Tasks," Frontiers in Human Neuroscience, vol. 10, p. 647, January 2017. 

[53]   P.  Zhang,  X.  Wang,  W.  Zhang,  and  J.  Chen,  "Learning  Spatial–Spectral–Temporal  EEG  Features  With  Recurrent  3D  Convolutional  Neural  Networks  for  Cross‐Task  Mental  Workload  Assessment,"  IEEE 

Transactions  on Neural Systems and Rehabilitation Engineering, vol. 27, no. 1, pp. 31‐42, January 2019. 

[54]   Y. Liu, H. Ayaz, and P. A. Shewokis, "Multisubject “Learning” for Mental Workload Classification Using  Concurrent EEG, fNIRS, and Physiological Measures," Frontiers in Human Neuroscience, vol. 11, p. 389, 

July  2017. 

[55]   Y. Ding, Y. Cao, V. G. Duffy, Y. Wang, and X. Zhang, "Measurement and identification of mental workload  during simulated computer tasks with multimodal methods and machine learning," Ergonomics, vol. 63, 

no  7, pp. 896‐908, April 2020. 

[56]   J. Zhang, Z. Yin, and R. Wang, "Recognition of Mental Workload Levels Under Complex Human Machine  Collaboration by Using Physiological Features and Adaptive Support Vector Machines," IEEE Transactions 

Control,  vol. 7, no. 5, pp. 490‐498, September 2012. 

[59]   A. Craik, Y. He, and J. L. Contreras‐Vidal, "Deep learning for electroencephalogram (EEG) classification  tasks: a review," Journal of Neural Engineering, vol. 16, no. 3, p. 031001, April 2019. 

[60]   G. F. Wilson and C. A. Russell, "Real‐Time Assessment of Mental Workload Using Psychophysiological  Measures and Artificial Neural Networks," Human Factors, vol. 45, no. 4, pp. 635‐643, 2003. 

[61]   T. K. K. Ho, J. Gwak, C. M. Park, and J. I. Song, "Discrimination of Mental Workload Levels from Multi‐ Channel fNIRS Using Deep Leaning‐Based Approaches," IEEE Access, vol. 7, pp. 24392‐24403, January 

[64]  C.‐H. Ting et al., "Real‐Time Adaptive Automation System Based on Identification of Operator Functional 

State in Simulated Process Control Operations," IEEE Transactions on Systems, Man, and Cybernetics, 

vol  40, no. 2, pp. 251‐262, March 2010. 

[65]   D. B. Kaber, M. C. Wright, L. J. Prinzel, and M. P. Clamann, "Adaptive Automation of Human‐Machine  System  Information‐Processing  Functions,"  Human  Factors:  The  Journal  of  the  Human  Factors  and 

Ergonomics  Society, vol. 47, no. 4, pp. 730‐741, 2005. 

[66]  J. S. R. Jang, "ANFIS: adaptive‐network‐based fuzzy inference system," IEEE Transactions on Systems, 

Man,  and Cybernetics, vol. 23, no. 3, pp. 665‐685, June 1993. 

[67]   J.‐H. Zhang, X.‐Y. Wang, M. Mahfouf, and D. A. Linkens, "Fuzzy Logic based Identification of Operator  Functional States Using Multiple Physiological and Performance Measures," in International Conference 

on  BioMedical Engineering and Informatics, Sanya, 2008, pp. 570‐574. 

[68]  Y.  Ke  et  al.,  "Towards  an  effective  cross‐task  mental  workload  recognition  model  using 

electroencephalography   based  on  feature  selection  and  support  vector  machine  regression," 

This page is intentionally left blank to support presswork

of areas but is predominantly centred around MWL, its theoretical background as well as means of sensing, estimating and analysing real‐time measurements during different task load conditions. Thus, the literature search is conducted using MWL and its variants such as cognitive  load,  cognitive  workload  and  operator  functional  state.  Here  its  theoretical background is reviewed in relation to human factors and its relationship with other cognitive states such as situational awareness, working memory, attention and fatigue. The review also  considers  an  overview  of  methods  for  sensing  and  estimating  MWL  using  various measurement methods for real‐time estimation. This includes reviewing physiological and behavioural sensors such as EEG, ECG, eye activity tracking and control input devices, where the sensor technology is outlined, and the features extracted are considered. 

As  the  aim  of  measuring  MWL  is  driving  real‐time  system  adaptation  for  aerospace operations,  a  review  of  human  centric  systems  such  as  adaptive  automation/  adaptive systems/  closed  loop  system  adaptation/  CHMS/  pBCI  is  considered  as  well  as  other aerospace  considerations  such  as  the  HMI2  and  CNS+A.  This  is  further  reviewed  for  its 

of  ML,  with  a  further  emphasis  on  the  ANFIS.  Generalised  inference  models  with  the capability for cross‐task, cross‐subject and cross‐session will also be briefly reviewed. The databases used to conduct the literature search include Google Scholar, Scopus, Web of Science, RMIT Library database, Science Direct and JSTOR. 

Human centred systems

The dynamic complex systems in modern work is becoming problematic when looking at for example  the  human  response  to  automation. A  number  of  complex  tasks  would  not  be achievable without assistance from automation. As an example, within the current cockpit 

of commercial aircraft, automation has a vital role for maximising the safety, efficiency and sustainability of an aircraft. Moreover, some of the most advanced automated flight decks 

in commercial aircraft can function with high levels of automation, from gear up following take‐off and all the way to the landing performed by category III instrument landing system approach. During flight the human operator has the role of maintaining complete oversight 

of the systems, with the capability to override and operate manually at any given point in the unlikely event of a failure. Within the flight deck the tasks that are automated include flight director, auto throttle, autopilot, flight management system as well as centralised warning and alerting systems [1]. Nonetheless, it has been noted in the literature that the automation has its consequences [1‐3], where some of the main contributors to aviation accidents are attributed to human errors as a result of automation bias, complacency [4] and a deterioration of manual flying skills [5]. As mentioned above, it has been identified that low workload environments are a source of boredom and mental underload as a result 

of inactivity [3]. In certain periods of flight, like cruise, the workload is commonly low, where the  pilots  only  undertake  monitoring  roles  that  include  observing  the  performance parameters of the systems, navigation as well as Air Traffic Controller (ATC) reporting. This under‐load can lead to a negative effect on information processing and SA. In an event were the automation does not function as it should and an abnormal situation appears while 

airborne, the pilot will quickly be exposed to mental overload and will experience a total loss of SA  [3]. However, when operations are under normal automation conditions, human performance is improved, the SA is increased and MWL is significantly reduced. On the other side, if the there is an event where the automation fails, the performance can be seen to decrease, despite the capabilities of the machine or the human [6]. One of the factors of this is out of the loop syndrome where the operator loses mode awareness of the system. The technological developments across industries has introduced what some refer to as an Operator  4.0  [7].  This  new  interaction  between  operators  and  machines  departs  from independent automation and human activities and evolves more towards CPHS systems. These  human‐centric  systems  are  the  cooperation  of  humans  with  machines,  and  are designed such that the skills and abilities of the human are not replaced, but rather they co‐exist with and assist humans in performing more efficiently and effectively [7]. This Operator 4.0  represents  an  improved  design  and  engineering  philosophy,  where  automation  is treated as a further expansion of the humans physical, sensorial and cognitive capabilities. 

An important aspect of this is the implementation of neuroergonomics, which is the study 

of  the  brains  function  to  work.  Here  it  takes  the  best  from  subjective,  behaviour  and physiological measurements to get an overall view of mental capacity [8]. As such, a human centric  system  is  designed  to  be  engineered  with  computational  and  communication techniques with adaptive control systems (adaptive automation) that maintain human‐in‐the‐loop. Henceforth, CPHS systems, as identified in the literature, aim to: 

1 improve human abilities to dynamically interact with machines in the cyber‐ and physical‐ worlds by means of ‘intelligent’ human‐machine interfaces, using human‐computer interaction techniques designed to fit the operator; 

2 improve human physical‐, sensing‐ and cognitive capabilities, by means of various enriched and enhanced technologies (e.g. using wearable devices) [7]. 

Traditionally,  function  allocation  in  systems  has  been  categorised  into  comparison allocation,  such  as  MABA‐MABA  (Machines  Are  Best  At  –  Men  Are  Best  At),  leftover allocation and economic allocation [9]. However, humans and machines are complementary and while the traditional approach of function allocation considers “who does what”, the successful implementation needs to consider “who does what and when”. As such there is