Explamation AI Methods for Artificial

Explanation Methods for Artificial Intelligence Models Carlo Metta, KDD Lab CNR ISTI Pisa 24 Maggio 2021 Sommario del Talk Breve sommario degli argomenti presentati 1 Introduzione all’ Explainable Art.

Explanation Methods for Artificial Intelligence

Models

Carlo Metta, KDD Lab - CNR-ISTI Pisa

24 Maggio 2021

Sommario del Talk

Breve sommario degli argomenti presentati:

1 Introduzione all’ Explainable Artificial Intelligence (XAI)

2 Modelli Interpretabili, Spiegabili e Comprensibili

3 Open the Black Box: Formulazione del Problema

4 Classificazione modelli e tecniche XAI

5 Alcuni modelli :

1 LIME: Local Interpretable Model-Agnostic Explanations

2 LORE: Local Rule-Based Explanations

3 SHAP: Shapley Additive Explanations

Enorme quantità di Dati

I dati sono prodotti da attività umane,

contengono pertanto bias, pregiudizi,

alterazioni che alterano e indirizzano il

GDPR

E’ diritto dell’individuo ottenere spiegazioni soddisfacenti e comprensibili derivate da processi decisionali artificiali

Enormi rischi sulla qualità delle decisioni prese

Perdendo il controllo dell’informazione abbiamo perso il controllo sulla sua qualità, accuratezza, consistenza e di conseguenza è messa a rischio la fiducia nell’informazione stessa

02

01

04 03

Why Explainable Artificial Intelligence ?

In cosa consiste l’Explainability ?

L’abilità (passiva) di un modello

che quantifica quanto esso

appartenga ad un dominio

comprensibile dagli umani

L’abilità (passiva) di un modello di presentarsi in modo comprensibile dagli

umani

L’abilità (attiva) di un modello

di fornire spiegazioni sul suo processo decisionale interno

Explainability

Black Box Predictor

E’ un modello basato su metodi e tecniche di intelligenza artificiale le cui dinamiche e processi decisionali sono sconosciuti oppure sono conosciuti ma non comprensibili da parte di un essere umano

Explanation

Una interfaccia fra l’umano e il decisore che è simultaneamente un proxy (accurato) del

decisore ed è comprensibile dagli umani

Interpretability Locale

e Globale

Complessità e Time Limitation

Le qualità di un Modello Interpretabile

Albero Decisionale Regola Decisionale

Modello Lineare

Modelli Interpretabili di base

Una funzione che mappa l’insieme delle osservazioni nell’insieme delle decisioni

1 If-then rules: if condition_1 ∧ condition_2 then outcome.

2 M-of-n-rules: dato un insieme di n regole, se almeno m sono soddisfatte allora la vale una conseguenza

3 List of rules: lista di regole ordinate, dove si considera come verificata la conseguenza della regola che per prima è soddisfatta

4 Falling rules list: lista di regole ordinate rispetto alla probabilità di una specifica conseguenza

5 Decision sets: insieme non ordinato di regole indipendenti

Nei modelli lineari l’analisi della feature importance è immediata: dipende esclusivamente dal segno e dalla

magnitudine del coefficiente relativo a ciascuna feature

Model Explanation

Transparent Box Design

Outcome Explanation Model Inspection

Opening the Black Box

Black Box Explanation

Def: Una Black Box è una funzione b: X^m → Y

che mappa lo spazio delle feature in quello dei

target

Def: Indichiamo invece con c un modello interpretabile che fornisce una predizione c(x)

comprensibile dagli umani (localmente o globalmente)

(Problem) Data una black box b, un dataset X, il problema consiste nel trovare una spiegazione E ∈ 𝞢

appartenente ad un dominio interpretabile dagli umani 𝞢, attraverso un modello interpretabile c = f (b, X)

Assumiamo che sia dato un modello

interpretabile locale c rispetto a b ed x ∈ X.

(Problem) Data una black box b, una istanza x ∈ X , il problema consiste nel trovare una spiegazione e ∈ 𝞢

appartenente ad un dominio interpretabile dagli umani 𝞢, attraverso un modello locale interpretabile c = f

(b, x) derivato da b e da x.

Outcome Explanation

Il problema consiste nel fornire una spiegazione sull’outcome del modello rispetto ad

una particolare istanza

(Explanation) Una spiegazione e ∈ 𝞢 è ottenuta tramite c se e = g (c, X) per qualche logica g con variabili c

ed X.

(Problem ) Data una black box b, un dataset X, il problema consiste nel trovare una rappresentazione

(grafica o testuale) r = f ( b, X) di una proprietà di b.

Model Inspection

Il problema consiste nel fornire una rappresentazione di qualche proprietà della black

box o di una sua predizione

Inspection / Explanation: La seconda richiede l’estrazione di un modello interpretabile mentre la prima si

concentra su specifiche caratteristiche della black box senza richiedere alcuna comprensione

(Problem) Dato un dataset D = (X, Y) il problema consiste nell’apprendimento di un modello interpretabile c

(a partire da D), ossia un modello dotato di una logica g da cui è possibile derivare una spiegazione e = g (c,

X)

Transparent Box Design

Il problema consiste nel costruire direttamente un modello interpretabile (localmente

o globalmente)

Open the Black Box

Un metodo è capace di aprire la black box se si riferisce ad una o più delle seguenti tecniche: (i) spiegazione del modello, (ii) spiegazione di una predizione del modello, (iii) ispezione delle caratteristiche del modello, (iv) costruzione modello trasparente

Ci si riferisce a (i), (ii), (iii) come post-hoc explainability.

Principali Tecniche XAI

Sensitivity

Analysis Dependence Plot Partial Prototype Selection Maximization Activation

Ribeiro, Singh, Guestrin, 2016

Local Interpretable Model-Agnostic Explanations

- Model Agnostic: LIME non è dipendente dal modello,

ovvero fornisce spiegazioni per qualsiasi tipo di black

box

- Local Explanations: LIME fornisce spiegazioni che

sono localmente fedeli in un intorno del dato che si

Dato un modello predittivo (black box) B ed un dato X, LIME fornisce una

spiegazione locale e fedele di B attorno ad X:

- Sampling and obtaining a surrogate dataset: LIME produce un

intorno locale centrato in X (normale standard, 5000 samples) del

vettore delle features; successivamente classifica tale intorno con

il predittore B Tale intorno è a tutti gli effetti un dataset surrogato

attorno ad X rispetto a B.

- Feature Selection from the surrogate dataset: una volta ottenuto il

dataset surrogato, pesa i differenti punti del dataset a seconda

della loro distanza da X Successivamente utilizza delle tecniche di

feature selection (LASSO) per estrarre le feature più importanti, e

da queste apprendere un modello lineare localmente fedele

Come funziona LIME?

Guidotti, Monreale, Ruggieri, Pedreschi, Turini, Giannotti, 2018

Local Rule-Based Explanations

- Rule-Based: LORE fornisce spiegazioni sotto forma di

decision rules

- Local Explanations: LORE fornisce spiegazioni che

sono localmente fedeli in un intorno del dato che si

vuole spiegare

- Non genera l’intorno di un dato in modo random bensì

con algoritmo genetico

Dato un classificatore binario (black box) B ed un dato X, LORE

fornisce una spiegazione locale e fedele di B attorno ad X:

- Genetic sampling of a surrogate dataset: LORE produce due

intorni locali di X del vettore delle features tramite

iterazioni di un algoritmo genetico rispetto ad una data

funzione di fitness, un intorno di classe positiva Z+ ed uno

di classe negativa Z- rispetto ad X.

- Rule extraction: una volta ottenuto il dataset surrogato Z =

Z+ U Z-, costruisce un albero decisionale su Z da cui estrae

regole e controfattuali

Come funziona LORE?

A partire da un albero decisionale è possibile estrarre regole e controfattuali seguendo i sentieri dalla radice fino alle foglie.

La generazione genetica del dataset surrogato locale permette a LORE di performare meglio ed essere più fedele rispetto a LIME

Scott, Lundberg, Su-In Lee, 2017

Shapley Additive Explanations

- Feature Importance: SHAP attribuisce un’importanza

(un peso) a ciascuna feature

- Model Agnostic: crea spiegazioni per ogni possibile

black box senza utilizzare la particolare struttura

interna

- Prende spunto dalla teoria di Shapley in teoria dei

giochi collaborativa E’ computazionalmente costoso ma

molto accurato

Repository with +2k forks

Dato un gioco cooperativo, ovvero un insieme di N giocatori ed

una funzione caratteristica v: 2^N → R:

- Data una coalizione S, v(S) rappresenta la reward

associata alla coalizione S, in particolare v(0)=0 e v è una

funzione super additiva

- Il valore di Shapley rappresenta una fair share della

reward fra i diversi componenti del gioco

Cosa sono i valori di Shapley?

Proprietà dei valori di Shapley:

- Simmetria: giocatori con ruolo scambiabile devono ricevere la stessa ricompensa

- Giocatori inutili: giocatori il cui contributo è nullo devono ottenere ricompensa nulla

- Additività: la somma dei valori di Shapley di tutti i giocatori equivale alla reward della coalizione totale

- Linearità: i valori di Shapley di più giochi cooperativi sullo stesso insieme di giocatori sono una funzione lineare

Come funziona SHAP?

opportuna misura che associa a ciascun sottoinsieme di feature la sua influenza sulla

classificazione che il modello fornisce su un sample.

carlo.metta@isti.cnr.it

carlometta@gmail.com