Cos’è la VISIONE NEUROMORFICA?
BIO-INSPIRED TECHNOLOGY
LA VISIONE BASATA SU EVENTI È ISPIRATA DALLA BIOLOGIA DI OCCHIO E CERVELLO, PER SUPERARE I LIMITI INNATI DELLE VIDEOCAMERE CONVENZIONALI
L’OCCHIO UMANO HA POCO IN COMUNE CON UNA VIDEOCAMERA CONVENZIONALE.
Sin dalla loro nascita, 150 anni fa, tutti gli strumenti video convenzionali rappresentano il movimento catturando un certo numero di fotogrammi fissi ogni secondo. Riproducendo tali immagini in rapida successione si crea l’illusione del movimento ininterrotto. Dal flip book* alla cinepresa, l’illusione è diventata più efficace ma il suo principio di base non è mai cambiato.
Per un computer, questa rappresentazione del movimento è poco utile. La videocamera è cieca tra un fotogramma e l’altro, quindi perde informazioni sugli oggetti in movimento. Anche quando sta registrando, nessuna delle sue “istantanee” contiene informazioni sul movimento degli elementi inquadrati. Quel che è peggio è che in ogni fotogramma vengono registrate ripetutamente le stesse, irrilevanti figure di sfondo, generando una gran quantità di dati inutili.
CONSIDERIAMO LA SEQUENZA DI UN VIDEO DI UN GOLFISTA CHE ESEGUE UNO SWIM
Pensiamo di filmare un golfista che esegue uno swing. Un sensore convenzionale funziona in base a una determinata frequenza di fotogrammi, diciamo 30 al secondo. Le informazioni importanti sono l’arco descritto dal bastone e il movimento della pallina ma, ironicamente, al sensore sfuggiranno parti di queste informazioni, a dispetto di un ridondante repertorio di cielo, alberi ed erba circostanti.
Background: Cielo, erba e alberi • Action: Movimento del golfista, della mazza e della palla
La soluzione elegante della natura
L’evoluzione ha trovato una soluzione raffinata affinché la visione naturale non sia mai così problematica. Non si basa su un flusso di fotogrammi. Le cellule dell’occhio trasmettono un impulso al cervello quando captano un cambiamento nella scena, un evento. Nessun cambiamento, nessun impulso. Più un oggetto si muove, più occhio e cervello lo campionano.
Mediante questo processo, la visione umana acquisisce tutte le informazioni di cui ha bisogno, senza rielaborare le parti immutabili della scena.
Registrando solo i cambiamenti, occhio e cervello possono raccogliere dati utili da cose che cambiano fino a 1000 volte al secondo, senza che sia necessario impiegare enormi quantità di energia cerebrale. Né il predatore né la preda hanno tempo da sprecare nell’elaborazione di informazioni irrilevanti.
Questa è la visione basata su eventi: recettori indipendenti che raccolgono tutte le informazioni essenziali, nient’altro.
I SENSORI NEUROMORFICI PERCEPISCONO LA VITALITÀ DELLA SCENA E IGNORANO CIÒ CHE È IRRILEVANTE
PROPHESEE realizza sia sensori neuromorfici sia algoritmi bioispirati che funzionano come l’occhio e il cervello. Questo approccio olistico è una novità fondamentale nella visione computerizzata: la transizione dai sensori basati su frame ai sistemi di visione basati su eventi.
Ogni pixel si attiva solo quando rileva il movimento. Mentre in un sensore tradizionale tutti i pixel funzionano contemporaneamente, in un sensore basato su eventi ogni pixel è completamente indipendente.
NULLA SI PERDE TRA I FOTOGRAMMI
Quando ogni pixel è libero di attivarsi e registrare autonomamente, le informazioni acquisite non vengono veicolate fotogramma dopo fotogramma. Piuttosto, il movimento viene catturato sotto forma di flusso continuo di informazioni. Nulla si perde tra i fotogrammi.
I sistemi di visione basati su eventi percepiscono la vitalità della scena e trascurano l’irrilevante. Producono fino a 1000 volte meno dati rispetto a un sensore convenzionale, nonostante raggiungano una risoluzione temporale equivalente superiore ai 10mila fotogrammi al secondo.
Avendo superato i limiti innati dei sistemi di visione computerizzata convenzionali, la visione basata su eventi sta rimpiazzando l’attuale tecnologia in svariati campi, tra i quali automotive, AI & ML, automazione industriale, IoT, sicurezza, sorveglianza e medicale.
Standard Sensor
Neuromorphic Sensor
What is Event-Based Vision?
I sensori PROPHESEE registrano una rotazione di un braccio robotico, con uno streaming continuo di eventi.
Communication Design
Article
Article
Article
Article