Activity recognition by graphical models based on formal concept analysis in sensor-based smart environments

With the advancement of information and communication technology, sensors, actuators or other computational elements can be embedded seamlessly in the daily objects of our lives. These components can make our lives smarter by generating an intelligent living environment called smart home. Information indicating environmental changes can be integrated from many sources and exchanged in such an environment through wireless communications. Smart homes attempt to create a human-centered environment that let all kinds of components work cooperatively to make residents lives more comfortable, and allow the environment to respond adaptively to various requests. They are also be expected to autonomously acquire contextual information under the premise of ensuring privacy to guarantee the safety of residents and improve their experience in that environment. As a prerequisite for all above functionalities, activity recognition is an important part of smart home applications. It greatly affects the appropriateness and accuracy of intelligent assistance and preventive interventions. However, modeling and understanding human behaviors involve many tasks, each of which may affect the final recognition results. First, the collected sensor data is massive and continuous with various data types. How to filter noise, extract useful behavioral patterns and manage discovered knowledge are a thorny issue at the preprocessing stage. Second, because of various lifestyles and other factors, there are often many different behavioral patterns that describe the same activities. Moreover, different activities may also have similar patterns. In addition, some composite activities can be performed in a continuous, concurrent or interleaved manner. These factors increase the uncertainty and complexity of activity recognition problem. Third, if there are multiple residents in a smart home, it is difficult to determine exactly who triggered some sensor events or which activity a sensor data belongs to. Fourth, how to detect abnormal data and normal one as well as the moments they occur are also very difficult. The purpose of this thesis is to establish a knowledge-driven activity inference engine based on formal concept analysis to extract useful behavioral patterns and model human behaviors from massive sensor data. All explored inferences are represented as nodes in a lattice structure knowledge base. Using partially observed data as a query condition, we propose a new lattice search algorithm to incrementally retrieve the most probable inference in order to recognize ongoing activities and predict subsequent behaviors. Furthermore, abnormal behavioral patterns are successfully detected to avoid activity failures or severe consequences. More complex situations, such as composite and multi-resident activity recognition can also be addressed by the extension modules of the inference engine. Finally, we use an incremental lattice construction algorithm to strengthen the inference engine to avoid retraining the whole model when new training data with new features are available. Compared with recently published research, our method avoids the interventions of domain experts in building a knowledge base and can achieve competitive results in the benchmark datasets with or without unbalanced distribution. Avec l’avancement des technologies de l’information et de la communication, des capteurs ou d’autres composants informatiques peuvent etre integres de maniere transparente aux objets quotidiens de notre vie. Ces composants peuvent rendre nos vies plus intelligentes en generant un environnement intelligent appele maison intelligente. Les informations et les donnees indiquant les changements de l’environnement peuvent etre integrees a partir de nombreuses sources et echangees dans un tel environnement par les communications sans fil. Les maisons intelligentes tentent de creer un environnement concentre sur humains qui permet a toutes sortes de composants de travailler en cooperation pour rendre la vie des residents plus confortable et permettre a l’environnement de repondre de maniere adaptative aux diverses demandes. Ils sont egalement censes acquerir des informations contextuelles en maniere autonome afin de garantir la securite des residents et d’ameliorer leur experience dans cet environnement. Pour reduire le fardeau des familles et de la societe, la communaute scientifique considere les environnements intelligents comme une solution prometteuse pour aider les personnes âgees a vivre de maniere autonome avec dignite et bien-etre. Les donnees sensorielles indiquant les changements environnementaux et le comportement humain devraient etre recueillies par les reseaux de capteurs sans fil dans les maisons intelligentes. Apres avoir compris les situations en temps reel et les activites en cours, les maisons intelligentes peuvent fournir une assistance proactive si necessaire pour aider les personnes âgees a mieux accomplir leurs activites. De plus, si certains residents ont tendance a se comporter de maniere anormale en raison de leur deficience cognitive, les maisons intelligentes peuvent detecter ces anomalies, evaluer leurs menaces, les avertir et prendre des mesures preventives ou des interventions pour eviter d’autres consequences graves. Comme condition prealable a toutes les fonctionnalites ci-dessus, la reconnaissance d’activite est une partie importante des applications de maison intelligente. Cela affecte grandement la pertinence et l’exactitude de l’assistance intelligente et des interventions preventives. Cependant, la modelisation et la comprehension des comportements humains impliquent de nombreuses tâches, dont chacune peut affecter les resultats de la reconnaissance finale. Premierement, les donnees collectees sur les capteurs sont massives, heterogenes et continues. Comment filtrer les donnees de bruit, extraire les modeles comportementaux utiles et leur gestion des connaissances sont un probleme epineux au stade du pretraitement. Deuxiemement, en raison de divers modes de vie et d’autres facteurs, il peut y avoir de nombreux modeles de comportement differents qui decrivent les memes activites. De plus, differentes activites peuvent egalement avoir des tendances similaires. De plus, certaines activites composites peuvent etre realisees de maniere continue, simultanee ou entrelacee. Ces facteurs augmentent l’incertitude et la complexite du probleme de reconnaissance d’activite. Troisiemement, s’il y a plusieurs residents dans une maison intelligente, il est difficile de determiner exactement qui a declenche certains evenements de capteurs ou a quelle activite appartiennent les donnees d’un capteur. Quatriemement, comment detecter des donnees anormales et normales ainsi que les moments ou elles se produisent sont egalement tres difficiles. Le but de cette these est d’etablir un moteur d’inference d’activite base sur la connaissance basee sur l’analyse conceptuelle formelle pour extraire des modeles comportementaux utiles et modeliser des comportements humains a partir de donnees de capteurs massives et heterogenes. Toutes les inferences explorees sont representees sous la forme de noeuds dans une base de connaissances de la structure en treillis. En utilisant des donnees partiellement observees comme condition de requete, nous proposons un nouvel algorithme de recherche sur reseau pour recuperer de facon incrementielle l’inference la plus probable afin de reconnaitre les activites en cours et de predire les comportements subsequents. De plus, des modeles comportementaux anormaux dus a des erreurs cognitives sont detectes avec succes pour eviter des echecs d’activite ou des consequences graves. Des situations plus complexes, telles que la reconnaissance d’activite composite et multi-resident peuvent egalement etre adressees par les modules d’extension du moteur d’inference. Enfin, nous utilisons un algorithme de construction de reseau incremental pour renforcer le moteur d’inference afin d’eviter de recycler l’ensemble du modele lorsque de nouvelles donnees d’entrainement avec de nouvelles fonctionnalites sont disponibles. Par rapport a la recherche publiee recemment, notre methode evite les interventions des experts du domaine dans la construction d’une base de connaissances, et peut atteindre des resultats competitifs dans les jeux de donnees de reference avec ou sans distribution desequilibree.