MHTIΣ: Τεχνολογίες Πολυτροπικής ΜΗχανικής Μάθησης και Επεξεργασίας Σήματος από Ετερογενείς Πηγές Δεδομένων με Εφαρμογή στην Ασφάλεια και Επιτήρηση Κρίσιμων Υποδομών και Εγκαταστάσεων
ΔΡΑΣΗ ΕΘΝΙΚΗΣ ΕΜΒΕΛΕΙΑΣ: «ΕΡΕΥΝΩ-ΔΗΜΙΟΥΡΓΩ-ΚΑΙΝΟΤΟΜΩ» / «ΑΝΤΑΓΩΝΙΣΤΙΚΟΤΗΤΑ, ΕΠΙΧΕΙΡΗΜΑΤΙΚΟΤΗΤΑ & ΚΑΙΝΟΤΟΜΙΑ» (ΕΠΑνΕΚ)
Ειδική Υπηρεσία Διαχείρισης Επιχειρησιακού Προγράμματος Ανταγωνιστικότητα Επιχειρηματικότητα και Καινοτομία (ΕΥΔ ΕΠΑνΕΚ)
ΚΩΔΙΚΟΣ ΕΡΓΟΥ: Τ1ΕΔΚ-01169
METIS: Multimodal Machine Learning and Signal Processing Technologies from Multiple Heterogeneous Information Sources for Safety Applications and Surveillance of Critical Infrastructures
Financed by: EPAnEK 2014-2020, General Secretariat for Research and Technology (GSRT), Greece
Funded Project Code Number: T1EDK-01169
Duration: 2018- 2021
Αντικείμενο του έργου είναι η ανάπτυξη αλγορίθμων επεξεργασίας σήματος και εξαγωγής σημασιολογικής πληροφορίας μέσω μηχανικής μάθησης από πολλαπλές διαφορετικές πηγές πληροφορίας (οπτικές κάμερες, θερμικές κάμερες και ραντάρ διαφορετικών τύπων), η ανάπτυξη ευφυών τεχνικών σύντηξης (fusion) πολυτροπικής (multimodal) πληροφορίας και τελικά η ανάπτυξη ενός προηγμένου συστήματος λήψης αποφάσεων με εφαρμογή στην ασφάλεια και επιτήρηση κρίσιμων υποδομών και εγκαταστάσεων. Η εξαγωγή σημασιολογικής πληροφορίας θα αφορά σε ανίχνευση και αναγνώριση αντικειμένων, σε ιχνηλάτηση κίνησης και σε ανίχνευση ατυπικής δραστηριότητας (anomaly detection). Δεδομένης της ετερογένειας των ροών δεδομένων που θα προέρχονται από ετερογενή συστήματα αισθητήρων επιτήρησης, όπως οι οπτικές κάμερες, οι θερμικές κάμερες και τα συστήματα ραδιοεντοπισμού (radar) τύπου LRR Radar (Long Range Radar), “microwave barriers” ή “tripwire microwave sensor”, θα αναπτυχθούν ειδικοί αλγόριθμοι μηχανικής μάθησης, αναγνώρισης προτύπων και όρασης υπολογιστών, κατάλληλοι για τους διαφορετικούς τύπους διαθέσιμης πληροφορίας. Στο πρώτο στάδιο της επεξεργασίας θα γίνει ο σχεδιασμός και η υλοποίηση των κατάλληλων φίλτρων και τελεστών ώστε από τα πρωτογενή δεδομένα των ετερογενών πηγών πληροφορίας, να δημιουργηθούν τα απαραίτητα σύνολα δεδομένων (data sets), κατάλληλα για την εφαρμογή και εκπαίδευση των αλγορίθμων μηχανικής μάθησης, σε σχέση πάντα και με την προτεινόμενη αρχιτεκτονική (κεντρικοποιημένη ή κατανεμημένη) και σε συνάρτηση με το είδος της υποδομής (περιβάλλων χώρος) που θα αφορούν τα μοντέλα. Για την εξαγωγή σημασιολογικής πληροφορίας θα διερευνηθεί μια σειρά από μεθόδους μηχανικής μάθησης (π.χ. Support Vector Machines, Naïve Bayes Classifiers, Hidden Markov Models) καθώς και βαθιάς μάθησης (deep learning), με έμφαση στα Convolutional Neural Networks. Επίσης, θα γίνει χρήση και προσαρμογή και τεχνικών ημι-επιβλεπόμενης μάθησης, οι οποίες καθίστανται αναγκαίες λόγω της ελλιπούς διαθεσιμότητας τιτλοφορημένων (labelled) δεδομένων και του σημαντικού κόστους που απαιτεί η δημιουργία ικανού όγκου τέτοιων δεδομένων για χρήση στην εκπαίδευση επιβλεπόμενων μοντέλων. Στο έργο επίσης θα διερευνηθούν και θα προταθούν ευφυείς τεχνικές σύντηξης (fusion) της πολυτροπικής (multimodal) πληροφορίας, οι οποίες θα έχουν στόχο τη βελτίωση της ακρίβειας και της απόδοσης που επιτυγχάνεται σε σχέση με την περίπτωση της χρήσης «μονοτροπικών» τεχνικών επεξεργασίας και ανάλυσης ενός μόνο τύπου (modality) πληροφορίας. Τα αναπτυχθέντα μοντέλα και οι τεχνικές σύντηξης πολυτροπικής πληροφορίας θα ενσωματωθούν και θα ολοκληρωθούν σε ένα προηγμένο σύστημα λήψης αποφάσεων με εφαρμογή στην ασφάλεια και επιτήρηση κρίσιμων υποδομών και εγκαταστάσεων. Θα μελετηθούν δυο διαφορετικά περιβάλλοντα εγκαταστάσεων και υποδομών, ένα θαλάσσιο περιβάλλον όπως είναι μια πλωτή εγκατάσταση ή ένα πλοίο και μία εγκατάσταση σε χερσαίο περιβάλλον, όπως ένας φράχτης συνόρων ή μια εκτεταμένη εγκατάσταση, π.χ. αεροδρόμιο. Το ολοκληρωμένο σύστημα θα περιέχει μια προηγμένη διεπαφή χρήστη η οποία θα επιτρέπει τη συνεπή, δομημένη, ταχεία και διαισθητικά εύληπτη οπτικοποίηση της ετερογενούς πληροφορίας συνεισφέροντας στη δημιουργία επιχειρησιακής επίγνωσης στους χρήστες των υποδομών. Τέλος, κατά τη φάση υλοποίησης και ανάπτυξης, οι αλγόριθμοι και τα μοντέλα μάθησης, επεξεργασίας και σύντηξης θα αξιολογηθούν ως προς την ενεργειακή τους κατανάλωση και τις απαιτήσεις τους σε επεξεργαστική ισχύ, ώστε να διερευνηθούν και να υλοποιηθούν βέλτιστες αρχιτεκτονικές, κεντρικοποιημένης ή κατανεμημένης επεξεργασίας της πολυτροπικής πληροφορίας.
This project aims at developing signal processing and machine learning algorithms and frameworks for semantic information extraction (object detection and recognition, motion tracking, anomaly detection) from multiple heterogeneous information sources (RGB cameras, thermal cameras and various types of radars). It also aims at implementing multimodal information fusion techniques and, ultimately, at building an advanced decision support system for critical infrastructure safety and surveillance applications. Given the heterogeneity of data flows originating from multiple different sensors, such as RGB cameras, thermal cameras and various types of radars (Long Range Radars, microwave barriers or tripwire microwave sensors), the project will develop pattern recognition and machine learning algorithms appropriate for the different data modalities. At the preprocessing stage, a set of filters will be applied to the raw data for denoising in order to derive datasets appropriate for training the developed models. The preprocessing stage will be tailored to the specific particularities, needs and settings of each data modality, application domain/site and suggested architecture (centralized or distributed). The suitability and efficacy of a series of machine learning methods will be explored, e.g. Support Vector Machines, Naïve Bayes Classifiers, Hidden Markov Models, as well as deep learning techniques, with emphasis on Convolutional Neural Networks. Furthermore, semi-supervised learning approaches will be considered, since their use is dictated by the lack of sufficient labelled data to be used for training (ground truth) and the huge amount of effort required for manually creating labelled datasets of sufficient sizes for supervised techniques. We will then research on the adaptation and use of multimodal data fusion techniques, aiming at improving the accuracy and overall performance attained in comparison to the use of separate individual modalities. The developed machine learning and fusion techniques will be integrated in an advanced decision support system which will be deployed in the context of critical infrastructure safety and surveillance applications. Two distinct pilot scenarios will be designed and implemented: one in a land environment (e.g. border or airport) and one in a marine environment (e.g. a ship). The integrated system will include an advanced user interface, which will allow for consistent, structured, fast and intuitive visualization of the heterogeneous information contributing to the infrastructure operators’ situational awareness. Finally, the developed models and algorithms will be evaluated with regard to their computational power and energy consumption, so as to explore and define the optimal system architecture (centralized or distributed) of the heterogeneous data flows.
Στη διάρκεια του έργου θα παραχθούν τέσσερα (4) κύρια αποτελέσματα:
1. Μια εργαλειοθήκη μηχανικής μάθησης για οπτικά και θερμικά δεδομένα
Η εργαλειοθήκη μηχανικής μάθησης για οπτικά και θερμικά δεδομένα θα περιέχει ένα σύνολο από μοντέλα και αλγορίθμους υλοποιημένους με τρόπο ώστε λαμβάνοντας σαν είσοδο τα πρωτογενή δεδομένα των οπτικών και θερμικών καμερών, να παράγουν σαν έξοδο σημασιολογική πληροφορία, που θα αφορά σε ανίχνευση και αναγνώριση αντικειμένων (object detection and recognition), σε ιχνηλάτηση κίνησης (motion tracking) και σε ανίχνευση ατυπικής ή ύποπτης δραστηριότητας (anomaly detection). Η εργαλειοθήκη θα συνοδεύεται από αναλυτική αξιολόγηση των «περιεχομένων» της ως προς την επίδοση, ενεργειακή απόδοση και τις απαιτήσεις σε υπολογιστική ισχύ.
2. Μια εργαλειοθήκη μηχανικής μάθησης για δεδομένα από ραντάρ
Η εργαλειοθήκη μηχανικής μάθησης για δεδομένα ραδιοεντοπισμού (radar) θα περιέχει ένα σύνολο από αλγορίθμους και μοντέλα για την αξιοποίηση πληροφορίας που συλλέγεται με τη βοήθεια συστοιχίας συστημάτων radar. Η προστιθέμενη αξία που δίνουν τα συστήματα αυτά, πέραν από την προσθήκη ενός επιπλέον τύπου (modality) δεδομένων, αναδεικνύεται σε περιπτώσεις χαμηλής ορατότητας, πχ τη νύχτα ή/και σε συνθήκες ομίχλης στις οποίες οι οπτικές κάμερες έχουν μειωμένη απόδοση.
3. Ένα σύνολο μηχανισμών μηχανικής μάθησης με σύντηξη πολυτροπικών δεδομένων
Οι μηχανισμοί ευφυούς σύντηξης (fusion) πολυτροπικής (multimodal) πληροφορίας από οπτικούς και θερμικούς αισθητήρες και από συστήματα radar αποβλέπουν στη βελτίωση της ακρίβειας και της απόδοσης που επιτυγχάνεται σε σχέση με την περίπτωση της χρήσης «μονοτροπικών» τεχνικών επεξεργασίας και ανάλυσης ενός μόνο τύπου (modality) πληροφορίας. Σκοπός είναι η αξιοποίηση των πλεονεκτημάτων που μπορεί να προσφέρει καθεμία ροή δεδομένων, ιδανικά μέσω της κατανόησης των ενδοαλληλεξαρτήσεων και της συμπληρωματικότητας των διαφορετικών τύπων πληροφορίας. Οι τρεις βασικές κατηγορίες προσεγγίσεων σύντηξης (early fusion, late fusion, intermediate fusion) θα διερευνηθούν με εφαρμογή σε διαφορετικά μοντέλα μηχανικής μάθησης (πχ HMM, CNN, κ.λπ.) ανάλογα με τις δυνατότητες και τους περιορισμούς που τίθενται από τα δεδομένα, την εφαρμογή, την αρχιτεκτονική του συστήματος, τη διαθέσιμη υπολογιστική ισχύ και άλλες παραμέτρους.
4. Ένα ολοκληρωμένο σύστημα λήψης αποφάσεων για την ασφάλεια και επιτήρηση κρίσιμων υποδομών και εγκαταστάσεων
Το τελικό προϊόν του έργου θα είναι ένα ολοκληρωμένο σύστημα λήψης αποφάσεων που θα χρησιμοποιεί σαν είσοδο ετερογενή δεδομένα από οπτικές κάμερες, θερμικές κάμερες και ραντάρ και με χρήση τεχνικών μηχανικής μάθησης, φιλτραρίσματος, σύντηξης και μηχανής κανόνων θα εξάγει σημασιολογική πληροφορία χρήσιμη για την ασφάλεια και επιτήρηση κρίσιμων υποδομών και εγκαταστάσεων. Μια προηγμένη διεπαφή χρήστη θα επιτρέπει τη συνεπή, δομημένη, ταχεία και διαισθητικά εύληπτη οπτικοποίηση της ετερογενούς πληροφορίας συνεισφέροντας στη δημιουργία επιχειρησιακής επίγνωσης στους χρήστες των υποδομών.
Το παρόν έργο αναμένεται να συμβάλει στον τομέα της ασφάλειας και επιτήρησης των κρίσιμων υποδομών (παροχές ενέργειας, αγωγοί πετρελαίου/ φυσικού αερίου, αυτοκινητόδρομοι, δίκτυα ύδρευσης κλπ) και στην αντιμετώπιση πιθανών κινδύνων προκαλούμενων από φυσικά αίτια (φυσικές καταστροφές, ακραία καιρικά φαινόμενα κλπ) ή από κακόβουλες ενέργειες (τρομοκρατικές επιθέσεις, τεχνητές απειλές κλπ). Η ασφάλεια των κρίσιμων υποδομών (critical infrastructures) είναι ουσιαστικής σημασίας σε επίπεδο ΕΕ, αλλά και παγκοσμίως, καθώς η συνεχή και απρόσκοπτη λειτουργία τους εγγυάται την διατήρηση των ζωτικών λειτουργιών της κοινωνίας καθώς και την οικονομική και κοινωνική ευημερία των πολιτών.
All images link to another webpage where videos can be watched via an embedded media player.