MHTIS

MHTIΣ: Τεχνολογίες Πολυτροπικής ΜΗχανικής Μάθησης και Επεξεργασίας Σήματος από Ετερογενείς Πηγές Δεδομένων με Εφαρμογή στην Ασφάλεια και Επιτήρηση Κρίσιμων Υποδομών και Εγκαταστάσεων

ΔΡΑΣΗ ΕΘΝΙΚΗΣ ΕΜΒΕΛΕΙΑΣ: «ΕΡΕΥΝΩ-ΔΗΜΙΟΥΡΓΩ-ΚΑΙΝΟΤΟΜΩ» / «ΑΝΤΑΓΩΝΙΣΤΙΚΟΤΗΤΑ, ΕΠΙΧΕΙΡΗΜΑΤΙΚΟΤΗΤΑ & ΚΑΙΝΟΤΟΜΙΑ» (ΕΠΑνΕΚ)
Ειδική Υπηρεσία Διαχείρισης Επιχειρησιακού Προγράμματος Ανταγωνιστικότητα Επιχειρηματικότητα και Καινοτομία (ΕΥΔ ΕΠΑνΕΚ)
ΚΩΔΙΚΟΣ ΕΡΓΟΥ: Τ1ΕΔΚ-01169

METIS: Multimodal Machine Learning and Signal Processing Technologies from Multiple Heterogeneous Information Sources for Safety Applications and Surveillance of Critical Infrastructures

Financed by: EPAnEK 2014-2020, General Secretariat for Research and Technology (GSRT), Greece
Funded Project Code Number: T1EDK-01169
Duration: 2018- 2021

Αντικείμενο Έργου

Αντικείμενο του έργου είναι η ανάπτυξη αλγορίθμων επεξεργασίας σήματος και εξαγωγής σημασιολογικής πληροφορίας μέσω μηχανικής μάθησης από πολλαπλές διαφορετικές πηγές πληροφορίας (οπτικές κάμερες, θερμικές κάμερες και ραντάρ διαφορετικών τύπων), η ανάπτυξη ευφυών τεχνικών σύντηξης (fusion) πολυτροπικής (multimodal) πληροφορίας και τελικά η ανάπτυξη ενός προηγμένου συστήματος λήψης αποφάσεων με εφαρμογή στην ασφάλεια και επιτήρηση κρίσιμων υποδομών και εγκαταστάσεων. Η εξαγωγή σημασιολογικής πληροφορίας θα αφορά σε ανίχνευση και αναγνώριση αντικειμένων, σε ιχνηλάτηση κίνησης και σε ανίχνευση ατυπικής δραστηριότητας (anomaly detection). Δεδομένης της ετερογένειας των ροών δεδομένων που θα προέρχονται από ετερογενή συστήματα αισθητήρων επιτήρησης, όπως οι οπτικές κάμερες, οι θερμικές κάμερες και τα συστήματα ραδιοεντοπισμού (radar) τύπου LRR Radar (Long Range Radar), “microwave barriers” ή “tripwire microwave sensor”, θα αναπτυχθούν ειδικοί αλγόριθμοι μηχανικής μάθησης, αναγνώρισης προτύπων και όρασης υπολογιστών, κατάλληλοι για τους διαφορετικούς τύπους διαθέσιμης πληροφορίας. Στο πρώτο στάδιο της επεξεργασίας θα γίνει ο σχεδιασμός και η υλοποίηση των κατάλληλων φίλτρων και τελεστών ώστε από τα πρωτογενή δεδομένα των ετερογενών πηγών πληροφορίας, να δημιουργηθούν τα απαραίτητα σύνολα δεδομένων (data sets), κατάλληλα για την εφαρμογή και εκπαίδευση των αλγορίθμων μηχανικής μάθησης, σε σχέση πάντα και με την προτεινόμενη αρχιτεκτονική (κεντρικοποιημένη ή κατανεμημένη) και σε συνάρτηση με το είδος της υποδομής (περιβάλλων χώρος) που θα αφορούν τα μοντέλα. Για την εξαγωγή σημασιολογικής πληροφορίας θα διερευνηθεί μια σειρά από μεθόδους μηχανικής μάθησης (π.χ. Support Vector Machines, Naïve Bayes Classifiers, Hidden Markov Models) καθώς και βαθιάς μάθησης (deep learning), με έμφαση στα Convolutional Neural Networks. Επίσης, θα γίνει χρήση και προσαρμογή και τεχνικών ημι-επιβλεπόμενης μάθησης, οι οποίες καθίστανται αναγκαίες λόγω της ελλιπούς διαθεσιμότητας τιτλοφορημένων (labelled) δεδομένων και του σημαντικού κόστους που απαιτεί η δημιουργία ικανού όγκου τέτοιων δεδομένων για χρήση στην εκπαίδευση επιβλεπόμενων μοντέλων. Στο έργο επίσης θα διερευνηθούν και θα προταθούν ευφυείς τεχνικές σύντηξης (fusion) της πολυτροπικής (multimodal) πληροφορίας, οι οποίες θα έχουν στόχο τη βελτίωση της ακρίβειας και της απόδοσης που επιτυγχάνεται σε σχέση με την περίπτωση της χρήσης «μονοτροπικών» τεχνικών επεξεργασίας και ανάλυσης ενός μόνο τύπου (modality) πληροφορίας. Τα αναπτυχθέντα μοντέλα και οι τεχνικές σύντηξης πολυτροπικής πληροφορίας θα ενσωματωθούν και θα ολοκληρωθούν σε ένα προηγμένο σύστημα λήψης αποφάσεων με εφαρμογή στην ασφάλεια και επιτήρηση κρίσιμων υποδομών και εγκαταστάσεων. Θα μελετηθούν δυο διαφορετικά περιβάλλοντα εγκαταστάσεων και υποδομών, ένα θαλάσσιο περιβάλλον όπως είναι μια πλωτή εγκατάσταση ή ένα πλοίο και μία εγκατάσταση σε χερσαίο περιβάλλον, όπως ένας φράχτης συνόρων ή μια εκτεταμένη εγκατάσταση, π.χ. αεροδρόμιο. Το ολοκληρωμένο σύστημα θα περιέχει μια προηγμένη διεπαφή χρήστη η οποία θα επιτρέπει τη συνεπή, δομημένη, ταχεία και διαισθητικά εύληπτη οπτικοποίηση της ετερογενούς πληροφορίας συνεισφέροντας στη δημιουργία επιχειρησιακής επίγνωσης στους χρήστες των υποδομών. Τέλος, κατά τη φάση υλοποίησης και ανάπτυξης, οι αλγόριθμοι και τα μοντέλα μάθησης, επεξεργασίας και σύντηξης θα αξιολογηθούν ως προς την ενεργειακή τους κατανάλωση και τις απαιτήσεις τους σε επεξεργαστική ισχύ, ώστε να διερευνηθούν και να υλοποιηθούν βέλτιστες αρχιτεκτονικές, κεντρικοποιημένης ή κατανεμημένης επεξεργασίας της πολυτροπικής πληροφορίας.



Project Aim

This project aims at developing signal processing and machine learning algorithms and frameworks for semantic information extraction (object detection and recognition, motion tracking, anomaly detection) from multiple heterogeneous information sources (RGB cameras, thermal cameras and various types of radars). It also aims at implementing multimodal information fusion techniques and, ultimately, at building an advanced decision support system for critical infrastructure safety and surveillance applications. Given the heterogeneity of data flows originating from multiple different sensors, such as RGB cameras, thermal cameras and various types of radars (Long Range Radars, microwave barriers or tripwire microwave sensors), the project will develop pattern recognition and machine learning algorithms appropriate for the different data modalities. At the preprocessing stage, a set of filters will be applied to the raw data for denoising in order to derive datasets appropriate for training the developed models. The preprocessing stage will be tailored to the specific particularities, needs and settings of each data modality, application domain/site and suggested architecture (centralized or distributed). The suitability and efficacy of a series of machine learning methods will be explored, e.g. Support Vector Machines, Naïve Bayes Classifiers, Hidden Markov Models, as well as deep learning techniques, with emphasis on Convolutional Neural Networks. Furthermore, semi-supervised learning approaches will be considered, since their use is dictated by the lack of sufficient labelled data to be used for training (ground truth) and the huge amount of effort required for manually creating labelled datasets of sufficient sizes for supervised techniques. We will then research on the adaptation and use of multimodal data fusion techniques, aiming at improving the accuracy and overall performance attained in comparison to the use of separate individual modalities. The developed machine learning and fusion techniques will be integrated in an advanced decision support system which will be deployed in the context of critical infrastructure safety and surveillance applications. Two distinct pilot scenarios will be designed and implemented: one in a land environment (e.g. border or airport) and one in a marine environment (e.g. a ship). The integrated system will include an advanced user interface, which will allow for consistent, structured, fast and intuitive visualization of the heterogeneous information contributing to the infrastructure operators’ situational awareness. Finally, the developed models and algorithms will be evaluated with regard to their computational power and energy consumption, so as to explore and define the optimal system architecture (centralized or distributed) of the heterogeneous data flows.

Κοινοπραξία ΜΗΤΙΣ / MHTIS Partners

Η ΤΕΛΕΣΤΩ (ΤΕΧΝΟΛΟΓΙΕΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΩΝ / ΕΤΑΙΡΕΙΑ ΠΕΡΙΟΡΙΣΜΕΝΗΣ ΕΥΘΥΝΗΣ) λειτουργεί από το 2004, ως εταιρία περιορισμένης ευθύνης με έδρα στον Χολαργό – Αθήνα. Ο χώρος δραστηριότητας της ΤΕΛΕΣΤΩ περιλαμβάνει καινοτόμες λύσεις σε τεχνολογίες αιχμής και διακρίνεται για την τεχνογνωσία της σε τομείς όπως: λύσεων ΙοΤ & εφαρμογών «Έξυπνων πόλεων», σχεδιασμού/ανάπτυξης/παραμετροποίησης λογισμικού & εφαρμογών, ολοκλήρωσης ασύρματων & ενσύρματων δικτύων δεδομένων, ασύρματων δικτύων αισθητήρων, συστημάτων επιτήρησης/ απομακρυσμένης παρακολούθησης ενεργειακών/υδάτινων πόρων/ υποδομών, λύσεων υποστήριξης εκκένωσης χώρων συνάθροισης κοινού σε περιπτώσεις έκτακτης ανάγκης κλπ.

Παράλληλα, η εταιρία αναλαμβάνει την σχεδίαση και υλοποίηση έργων hardware, ψηφιακών ή/και αναλογικών ηλεκτρονικών, καθώς και firmware (ARM, AVR/Arduino) και διαθέτει σημαντική εμπειρία στην σχεδίαση/ υλοποίηση έργων με αισθητήρες (μετεωρολογικούς σταθμούς, αισθητήρες αέριων ρύπων), καθώς και στις χρησιμοποιούμενες ασύρματες (ZigBee, WiFi)/ ενσύρματες επικοινωνίες (Ethernet, Serial over RS232).

ΤΕΛΕΣΤΩ

Το Εργαστήριο Τηλεπικοινωνιακών Συστημάτων TSL (Telecommunication Systems Lab) ανήκει στο Τμήμα Ψηφιακών Συστημάτων της Σχολής Τεχνολογιών Πληροφορικής και Επικοινωνιών του Πανεπιστημίου Πειραιώς. Το τμήμα των Ψηφιακών Συστημάτων θεραπεύει το επιστημονικό πεδίο των συστημάτων επικοινωνιών και δικτύων καθώς και των ηλεκτρονικών υπηρεσιών. Οι ερευνητικές δραστηριότητες του εργαστηρίου TSL καλύπτουν τις περιοχές των ασύρματων συστημάτων κινητών επικοινωνιών, τα δορυφορικά συστήματα επικοινωνιών (σταθερά και κινητά), τα ασύρματα δίκτυα αισθητήρων, εστιάζοντας σε:

  • Έρευνα για λύσεις χαμηλής πολυπλοκότητας υλικού σε ασύρματα συστήματα επικοινωνιών.
  • Έρευνα και ανάπτυξη ψηφιακών τεχνικών για Intelligent Transportation Systems.
  • Έρευνα και ανάπτυξη κεραιοσυστημάτων για εφαρμογή σε οχήματα και άλλες κινητές πλατφόρμες.
  • Ανάπτυξη καινοτόμων εφαρμογών για έξυπνα κινητά τερματικά.
  • Έξυπνες συνεργατικές τεχνικές συλλογής δεδομένων από ασύρματα δίκτυα αισθητήρων και τυχαίες στοιχειοκεραίες μεγάλης κλίμακας.
  • Μελέτη και σχεδίαση μετρήσεων του ραδιοδιαύλου, ανάπτυξη μεθοδολογιών επεξεργασίας μετρήσεων για το χαρακτηρισμό και τη μοντελοποίηση επίγειων και δορυφορικών συστημάτων επικοινωνιών (SISO, SIMO, MISO, MIMO). Ανάπτυξη καινοτόμων μοντέλων προσομοίωσης του ραδιοδιαύλου ασύρματων συστημάτων επικοινωνιών.
  • Μελέτη, ανάπτυξη και αξιολόγηση επίδοσης καινοτόμων μεθόδων ψηφιακών επικοινωνιών για συστήματα DS-CDMA, OFDM/OFDMA, SC-FDMA, FBMC κλπ.
  • Συστήματα High Altitude Stratospheric Platforms: (μοντελοποίηση διαύλου, αξιολόγηση επίδοσης, μελέτες εφαρμογής τεχνικών ΜΙΜΟ).

Univ. of Piraeus Digital Systems

University of Piraeus Research Center (UPRC)

Το Εθνικό Μετσόβιο Πολυτεχνείο (ΕΜΠ) είναι το παλαιότερο (ιδρύθηκε το 1837) και το πιο αναγνωρισμένο Πανεπιστήμιο Μηχανικών στην Ελλάδα με μεγάλη συμμετοχή και συμμετοχή σε ερευνητικά προγράμματα τόσο σε εθνικό όσο και σε ευρωπαϊκό επίπεδο. Το ΕΜΠ έχει καταταγεί στη 10η θέση μεταξύ όλων των ευρωπαϊκών πανεπιστημίων όσον αφορά την έρευνα που χρηματοδοτείται από την ΕΕ και στην 17η θέση μεταξύ όλων των ερευνητικών κέντρων στην Ευρώπη. Σε αυτό το έργο, το Εργαστήριο Φωτογραμμετρίας, Επεξεργασίας Σήματος και Υπολογιστικής Όρασης (Εργαστήριο P-SP-CV) ασχολείται με την έρευνα φωτογραμμετρίας, ψηφιοποίησης, καταγραφής και όρασης ηλεκτρονικών υπολογιστών για περισσότερα από 25 χρόνια.

Η Σχολή Αγρονόμων & Τοπογράφων Μηχανικών - Μηχανικών Γεωπληροφορικής (ΣΑΤΜ-ΜΓ) ιδρύθηκε το 1917 με την επωνυμία «Ανωτάτη Σχολή Τοπογράφων Μηχανικών». Το 1930 η φοίτηση, που μέχρι τότε ήταν 3ετής, έγινε 4ετής και η σχολή ονομάστηκε «Ανωτάτη Σχολή Αγρονόμων & Τοπογράφων Μηχανικών». Κύριος εμπνευστής της ιδέας της Σχολής Αγρονόμων & Τοπογράφων Μηχανικών καθώς και των αλλαγών του 1930 ήταν ο Καθηγητής Δημήτριος Λαμπαδάριος, Ακαδημαϊκός και Πρύτανης του ΕΜΠ (1928-1933), βασικός Καθηγητής και Κοσμήτορας της Σχολής για πολλά χρόνια. Το όνομά του φέρει και το αρχικό κτίριο της Σχολής στην Πολυτεχνειούπολη Ζωγράφου.

National Technical University of Athens (NTUA)

School of Rural, Surveying and Geoinformatics Engineering (SRSE)

Αποτελέσματα Έργου

Στη διάρκεια του έργου θα παραχθούν τέσσερα (4) κύρια αποτελέσματα:

1. Μια εργαλειοθήκη μηχανικής μάθησης για οπτικά και θερμικά δεδομένα
Η εργαλειοθήκη μηχανικής μάθησης για οπτικά και θερμικά δεδομένα θα περιέχει ένα σύνολο από μοντέλα και αλγορίθμους υλοποιημένους με τρόπο ώστε λαμβάνοντας σαν είσοδο τα πρωτογενή δεδομένα των οπτικών και θερμικών καμερών, να παράγουν σαν έξοδο σημασιολογική πληροφορία, που θα αφορά σε ανίχνευση και αναγνώριση αντικειμένων (object detection and recognition), σε ιχνηλάτηση κίνησης (motion tracking) και σε ανίχνευση ατυπικής ή ύποπτης δραστηριότητας (anomaly detection). Η εργαλειοθήκη θα συνοδεύεται από αναλυτική αξιολόγηση των «περιεχομένων» της ως προς την επίδοση, ενεργειακή απόδοση και τις απαιτήσεις σε υπολογιστική ισχύ.


2. Μια εργαλειοθήκη μηχανικής μάθησης για δεδομένα από ραντάρ
Η εργαλειοθήκη μηχανικής μάθησης για δεδομένα ραδιοεντοπισμού (radar) θα περιέχει ένα σύνολο από αλγορίθμους και μοντέλα για την αξιοποίηση πληροφορίας που συλλέγεται με τη βοήθεια συστοιχίας συστημάτων radar. Η προστιθέμενη αξία που δίνουν τα συστήματα αυτά, πέραν από την προσθήκη ενός επιπλέον τύπου (modality) δεδομένων, αναδεικνύεται σε περιπτώσεις χαμηλής ορατότητας, πχ τη νύχτα ή/και σε συνθήκες ομίχλης στις οποίες οι οπτικές κάμερες έχουν μειωμένη απόδοση.


3. Ένα σύνολο μηχανισμών μηχανικής μάθησης με σύντηξη πολυτροπικών δεδομένων
Οι μηχανισμοί ευφυούς σύντηξης (fusion) πολυτροπικής (multimodal) πληροφορίας από οπτικούς και θερμικούς αισθητήρες και από συστήματα radar αποβλέπουν στη βελτίωση της ακρίβειας και της απόδοσης που επιτυγχάνεται σε σχέση με την περίπτωση της χρήσης «μονοτροπικών» τεχνικών επεξεργασίας και ανάλυσης ενός μόνο τύπου (modality) πληροφορίας. Σκοπός είναι η αξιοποίηση των πλεονεκτημάτων που μπορεί να προσφέρει καθεμία ροή δεδομένων, ιδανικά μέσω της κατανόησης των ενδοαλληλεξαρτήσεων και της συμπληρωματικότητας των διαφορετικών τύπων πληροφορίας. Οι τρεις βασικές κατηγορίες προσεγγίσεων σύντηξης (early fusion, late fusion, intermediate fusion) θα διερευνηθούν με εφαρμογή σε διαφορετικά μοντέλα μηχανικής μάθησης (πχ HMM, CNN, κ.λπ.) ανάλογα με τις δυνατότητες και τους περιορισμούς που τίθενται από τα δεδομένα, την εφαρμογή, την αρχιτεκτονική του συστήματος, τη διαθέσιμη υπολογιστική ισχύ και άλλες παραμέτρους.


4. Ένα ολοκληρωμένο σύστημα λήψης αποφάσεων για την ασφάλεια και επιτήρηση κρίσιμων υποδομών και εγκαταστάσεων
Το τελικό προϊόν του έργου θα είναι ένα ολοκληρωμένο σύστημα λήψης αποφάσεων που θα χρησιμοποιεί σαν είσοδο ετερογενή δεδομένα από οπτικές κάμερες, θερμικές κάμερες και ραντάρ και με χρήση τεχνικών μηχανικής μάθησης, φιλτραρίσματος, σύντηξης και μηχανής κανόνων θα εξάγει σημασιολογική πληροφορία χρήσιμη για την ασφάλεια και επιτήρηση κρίσιμων υποδομών και εγκαταστάσεων. Μια προηγμένη διεπαφή χρήστη θα επιτρέπει τη συνεπή, δομημένη, ταχεία και διαισθητικά εύληπτη οπτικοποίηση της ετερογενούς πληροφορίας συνεισφέροντας στη δημιουργία επιχειρησιακής επίγνωσης στους χρήστες των υποδομών.

Οφέλη Έργου

​Το παρόν έργο αναμένεται να συμβάλει στον τομέα της ασφάλειας και επιτήρησης των κρίσιμων υποδομών (παροχές ενέργειας, αγωγοί πετρελαίου/ φυσικού αερίου, αυτοκινητόδρομοι, δίκτυα ύδρευσης κλπ) και στην αντιμετώπιση πιθανών κινδύνων προκαλούμενων από φυσικά αίτια (φυσικές καταστροφές, ακραία καιρικά φαινόμενα κλπ) ή από κακόβουλες ενέργειες (τρομοκρατικές επιθέσεις, τεχνητές απειλές κλπ). Η ασφάλεια των κρίσιμων υποδομών (critical infrastructures) είναι ουσιαστικής σημασίας σε επίπεδο ΕΕ, αλλά και παγκοσμίως, καθώς η συνεχή και απρόσκοπτη λειτουργία τους εγγυάται την διατήρηση των ζωτικών λειτουργιών της κοινωνίας καθώς και την οικονομική και κοινωνική ευημερία των πολιτών.

Δοκιμές - Σενάρια Ελέγχου

Δοκιμές πτώσης κούκλας από το κτίριο Άρσης Βαρών στην Νίκαια


All images link to another webpage where videos can be watched via an embedded media player.


Δοκιμές - Σενάρια Ελέγχου

Δοκιμές πτώσης καταδύτη από το ferry boat "ΑΙΟΛΟΣ"