Περίληψη Πρότασης

Αντικείμενο του έργου είναι η ανάπτυξη αλγορίθμων επεξεργασίας σήματος και εξαγωγής σημασιολογικής πληροφορίας μέσω μηχανικής μάθησης από πολλαπλές διαφορετικές πηγές πληροφορίας (οπτικές κάμερες, θερμικές κάμερες και ραντάρ διαφορετικών τύπων), η ανάπτυξη ευφυών τεχνικών σύντηξης (fusion) πολυτροπικής (multimodal) πληροφορίας και τελικά η ανάπτυξη ενός προηγμένου συστήματος λήψης αποφάσεων με εφαρμογή στην ασφάλεια και επιτήρηση κρίσιμων υποδομών και εγκαταστάσεων. Η εξαγωγή σημασιολογικής πληροφορίας θα αφορά σε ανίχνευση και αναγνώριση αντικειμένων, σε ιχνηλάτηση κίνησης και σε ανίχνευση ατυπικής δραστηριότητας (anomaly detection). Δεδομένης της ετερογένειας των ροών δεδομένων που θα προέρχονται από ετερογενή συστήματα αισθητήρων επιτήρησης, όπως οι οπτικές κάμερες, οι θερμικές κάμερες και τα συστήματα ραδιοεντοπισμού (radar) τύπου LRR Radar (Long Range Radar), “microwave barriers” ή “tripwire microwave sensor”, θα αναπτυχθούν ειδικοί αλγόριθμοι μηχανικής μάθησης, αναγνώρισης προτύπων και όρασης υπολογιστών, κατάλληλοι για τους διαφορετικούς τύπους διαθέσιμης πληροφορίας. Στο πρώτο στάδιο της επεξεργασίας θα γίνει ο σχεδιασμός και η υλοποίηση των κατάλληλων φίλτρων και τελεστών ώστε από τα πρωτογενή δεδομένα των ετερογενών πηγών πληροφορίας, να δημιουργηθούν τα απαραίτητα σύνολα δεδομένων (data sets), κατάλληλα για την εφαρμογή και εκπαίδευση των αλγορίθμων μηχανικής μάθησης, σε σχέση πάντα και με την προτεινόμενη αρχιτεκτονική (κεντρικοποιημένη ή κατανεμημένη) και σε συνάρτηση με το είδος της υποδομής (περιβάλλων χώρος) που θα αφορούν τα μοντέλα. Για την εξαγωγή σημασιολογικής πληροφορίας θα διερευνηθεί μια σειρά από μεθόδους μηχανικής μάθησης (π.χ. Support Vector Machines, Naïve Bayes Classifiers, Hidden Markov Models) καθώς και βαθιάς μάθησης (deep learning), με έμφαση στα Convolutional Neural Networks. Επίσης, θα γίνει χρήση και προσαρμογή και τεχνικών ημι-επιβλεπόμενης μάθησης, οι οποίες καθίστανται αναγκαίες λόγω της ελλιπούς διαθεσιμότητας τιτλοφορημένων (labelled) δεδομένων και του σημαντικού κόστους που απαιτεί η δημιουργία ικανού όγκου τέτοιων δεδομένων για χρήση στην εκπαίδευση επιβλεπόμενων μοντέλων. Στο έργο επίσης θα διερευνηθούν και θα προταθούν ευφυείς τεχνικές σύντηξης (fusion) της πολυτροπικής (multimodal) πληροφορίας, οι οποίες θα έχουν στόχο τη βελτίωση της ακρίβειας και της απόδοσης που επιτυγχάνεται σε σχέση με την περίπτωση της χρήσης «μονοτροπικών» τεχνικών επεξεργασίας και ανάλυσης ενός μόνο τύπου (modality) πληροφορίας. Τα αναπτυχθέντα μοντέλα και οι τεχνικές σύντηξης πολυτροπικής πληροφορίας θα ενσωματωθούν και θα ολοκληρωθούν σε ένα προηγμένο σύστημα λήψης αποφάσεων με εφαρμογή στην ασφάλεια και επιτήρηση κρίσιμων υποδομών και εγκαταστάσεων. Θα μελετηθούν δυο διαφορετικά περιβάλλοντα εγκαταστάσεων και υποδομών, ένα θαλάσσιο περιβάλλον όπως είναι μια πλωτή εγκατάσταση ή ένα πλοίο και μία εγκατάσταση σε χερσαίο περιβάλλον, όπως ένας φράχτης συνόρων ή μια εκτεταμένη εγκατάσταση, π.χ. αεροδρόμιο. Το ολοκληρωμένο σύστημα θα περιέχει μια προηγμένη διεπαφή χρήστη η οποία θα επιτρέπει τη συνεπή, δομημένη, ταχεία και διαισθητικά εύληπτη οπτικοποίηση της ετερογενούς πληροφορίας συνεισφέροντας στη δημιουργία επιχειρησιακής επίγνωσης στους χρήστες των υποδομών. Τέλος, κατά τη φάση υλοποίησης και ανάπτυξης, οι αλγόριθμοι και τα μοντέλα μάθησης, επεξεργασίας και σύντηξης θα αξιολογηθούν ως προς την ενεργειακή τους κατανάλωση και τις απαιτήσεις τους σε επεξεργαστική ισχύ, ώστε να διερευνηθούν και να υλοποιηθούν βέλτιστες αρχιτεκτονικές, κεντρικοποιημένης ή κατανεμημένης επεξεργασίας της πολυτροπικής πληροφορίας.

Proposal Abstract

This project aims at developing signal processing and machine learning algorithms and frameworks for semantic information extraction (object detection and recognition, motion tracking, anomaly detection) from multiple heterogeneous information sources (RGB cameras, thermal cameras and various types of radars). It also aims at implementing multimodal information fusion techniques and, ultimately, at building an advanced decision support system for critical infrastructure safety and surveillance applications. Given the heterogeneity of data flows originating from multiple different sensors, such as RGB cameras, thermal cameras and various types of radars (Long Range Radars, microwave barriers or tripwire microwave sensors), the project will develop pattern recognition and machine learning algorithms appropriate for the different data modalities. At the preprocessing stage, a set of filters will be applied to the raw data for denoising in order to derive datasets appropriate for training the developed models. The preprocessing stage will be tailored to the specific particularities, needs and settings of each data modality, application domain/site and suggested architecture (centralized or distributed). The suitability and efficacy of a series of machine learning methods will be explored, e.g. Support Vector Machines, Naïve Bayes Classifiers, Hidden Markov Models, as well as deep learning techniques, with emphasis on Convolutional Neural Networks. Furthermore, semi-supervised learning approaches will be considered, since their use is dictated by the lack of sufficient labelled data to be used for training (ground truth) and the huge amount of effort required for manually creating labelled datasets of sufficient sizes for supervised techniques. We will then research on the adaptation and use of multimodal data fusion techniques, aiming at improving the accuracy and overall performance attained in comparison to the use of separate individual modalities. The developed machine learning and fusion techniques will be integrated in an advanced decision support system which will be deployed in the context of critical infrastructure safety and surveillance applications. Two distinct pilot scenarios will be designed and implemented: one in a land environment (e.g. border or airport) and one in a marine environment (e.g. a ship). The integrated system will include an advanced user interface, which will allow for consistent, structured, fast and intuitive visualization of the heterogeneous information contributing to the infrastructure operators’ situational awareness. Finally, the developed models and algorithms will be evaluated with regard to their computational power and energy consumption, so as to explore and define the optimal system architecture (centralized or distributed) of the heterogeneous data flows.