Σκοπός του έργου είναι η ανάπτυξη αλγορίθμων επεξεργασίας σήματος και εξαγωγής σημασιολογικής πληροφορίας μέσω μηχανικής μάθησης από πολλαπλές διαφορετικές πηγές πληροφορίας (οπτικές κάμερες, θερμικές κάμερες και ραντάρ διαφορετικών τύπων), η ανάπτυξη ευφυών τεχνικών σύντηξης (fusion) πολυτροπικής (multimodal) πληροφορίας και τελικά η ανάπτυξη  ενός προηγμένου συστήματος λήψης αποφάσεων με εφαρμογή στην ασφάλεια και επιτήρηση κρίσιμων υποδομών και εγκαταστάσεων. Η εξαγωγή σημασιολογικής πληροφορίας θα αφορά σε ανίχνευση και αναγνώριση αντικειμένων, σε

ιχνηλάτηση κίνησης και σε ανίχνευση ατυπικής δραστηριότητας (anomaly detection).

 

Δεδομένης της ετερογένειας των ροών δεδομένων που θα προέρχονται από ετερογενή συστήματα αισθητήρων επιτήρησης, όπως οι οπτικές κάμερες, οι θερμικές κάμερες και τα συστήματα ραδιοεντοπισμού (radar) τύπου LRR Radar (Long Range Radar), “microwave barriers” ή “tripwire microwave sensor”, θα αναπτυχθούν ειδικοί αλγόριθμοι μηχανικής μάθησης, αναγνώρισης προτύπων και όρασης υπολογιστών, κατάλληλοι για τους διαφορετικούς τύπους διαθέσιμης πληροφορίας.

 

Στο πρώτο στάδιο της επεξεργασίας θα γίνει ο σχεδιασμός και η υλοποίηση των κατάλληλων φίλτρων και τελεστών ώστε από τα πρωτογενή δεδομένα των ετερογενών πηγών πληροφορίας, να δημιουργηθούν τα απαραίτητα σύνολα δεδομένων (data sets), κατάλληλα για την εφαρμογή και εκπαίδευση των αλγορίθμων μηχανικής μάθησης, σε σχέση πάντα και με την προτεινόμενη αρχιτεκτονική (κεντρικοποιημένη ή κατανεμημένη) και σε συνάρτηση με το είδος της υποδομής (περιβάλλων χώρος) που θα αφορούν τα μοντέλα.

 

Για την εξαγωγή σημασιολογικής πληροφορίας θα διερευνηθεί μια σειρά από μεθόδους μηχανικής μάθησης (π.χ. Support Vector Machines, Naïve Bayes Classifiers, Hidden Markov Models) καθώς και βαθιάς μάθησης (deep learning), με έμφαση στα  Convolutional Neural Networks. Επίσης, θα γίνει χρήση και προσαρμογή και τεχνικών ημι-επιβλεπόμενης μάθησης, οι οποίες καθίστανται αναγκαίες λόγω της ελλιπούς διαθεσιμότητας τιτλοφορημένων (labelled) δεδομένων και του σημαντικού κόστους που απαιτεί η δημιουργία ικανού όγκου τέτοιων δεδομένων για χρήση στην εκπαίδευση επιβλεπόμενων μοντέλων. Στο έργο επίσης θα διερευνηθούν και θα προταθούν ευφυείς τεχνικές σύντηξης (fusion) της πολυτροπικής (multimodal) πληροφορίας, οι οποίες θα έχουν στόχο τη βελτίωση της ακρίβειας και της απόδοσης που επιτυγχάνεται σε σχέση με την περίπτωση της χρήσης «μονοτροπικών» τεχνικών επεξεργασίας και ανάλυσης ενός μόνο τύπου (modality) πληροφορίας.

 

Τα αναπτυχθέντα μοντέλα και οι τεχνικές σύντηξης πολυτροπικής πληροφορίας θα  ενσωματωθούν και θα ολοκληρωθούν σε ένα προηγμένο σύστημα λήψης αποφάσεων με εφαρμογή στην ασφάλεια και επιτήρηση κρίσιμων υποδομών και εγκαταστάσεων. Θα μελετηθούν δυο διαφορετικά περιβάλλοντα εγκαταστάσεων και υποδομών, ένα θαλάσσιο περιβάλλον όπως είναι μια πλωτή εγκατάσταση ή ένα πλοίο και μία εγκατάσταση σε χερσαίο περιβάλλον, όπως ένας φράχτης συνόρων ή μια εκτεταμένη εγκατάσταση, π.χ. αεροδρόμιο.

 

Το ολοκληρωμένο σύστημα θα περιέχει μια προηγμένη διεπαφή χρήστη η οποία θα επιτρέπει τη συνεπή, δομημένη, ταχεία και διαισθητικά εύληπτη οπτικοποίηση της ετερογενούς πληροφορίας συνεισφέροντας στη δημιουργία επιχειρησιακής επίγνωσης στους χρήστες των υποδομών. Τέλος, κατά τη φάση υλοποίησης και ανάπτυξης, οι αλγόριθμοι και τα μοντέλα μάθησης, επεξεργασίας και σύντηξης θα αξιολογηθούν ως προς την ενεργειακή τους κατανάλωση και τις απαιτήσεις τους σε επεξεργαστική ισχύ, ώστε να  διερευνηθούν και να υλοποιηθούν βέλτιστες αρχιτεκτονικές, κεντρικοποιημένης ή κατανεμημένης επεξεργασίας της πολυτροπικής πληροφορίας.