Matthieu VERLYNDE

On se propose dans cette thèse d’étudier le problème de la classification de séries temporelles d’images en télédétection. Il s’agit d’un domaine qui soulève de nombreuses problématiques liées au nombre important de données dont la plupart sont non-labélisées. Dans ce cadre, l’efficacité et la frugalité énergétique dans le traitement des données sont cruciales pour deux aspects (Strubell, Ganesh et McCallum 2019, Wu et al. 2022) :

• L’accessibilité des méthodes proposées aux utilisateurs, pour permettre une inférence rapide sur une quantité de données de plus en plus importante. Ce point est également important pour l’utilisation par des acteurs non-experts, qui ne disposent pas de ressources computationnelles importantes.
• La réduction de l’empreinte écologique des méthodes d’IA, qui est un enjeu majeur pour le développement durable. En effet, les modèles d’IA sont souvent très coûteux en énergie. La nécessité d’utiliser les modèles de classification sur des données à grades échelles spatiales et temporelles rends donc crucial de développer des méthodes qui soient à la fois performantes et sobres en ressources énergétiques.

Les avancées récentes dans le domaine reposent sur des architectures de réseaux de neurones profonds basées sur des convolutions prenant en compte la dimension temporelle (Pelletier, Webb et Petitjean 2019), ou bien avec des architectures récurrentes couplées à des modules d’attention (Tang et al. 2022, Sainte Fare Garnot et al. 2020, Russwurm et Körner 2018). Ces modèles efficaces lorsqu’un grand nombre de données est disponible, sont souvent peu adaptés à des contextes où les données sont rares, ou bien lorsque les ressources computationnelles sont limitées. On s’intéresse ici à développer des méthodes de classification économes en énergie.
De plus, l’un des défis majeur en télédétection réside dans la nature faiblement supervisée de la télédétection, où malgré l’abondance de données, les annotations fiables sont rares, nécessitant des techniques innovantes pour exploiter au mieux les informations disponibles (Wang et al. 2020, Verbockhaven, Charpiat et Chevallier 2024), il est nécésaire de développer des méthodes qui soient à la fois efficaces, sobres en ressources et qui prennent en compte la nature faiblement supervisée des données. Les verrous scientifiques concernent d’une part la nécéssité de développer des métriques d’évaluation des modèles allant au delà de la performance de classification et incluant un compromis en regard de l’utilisation énergétique. D’autre part, de développer des architectures de réseaux permettant de reproduire des résultats de classification performants sur le problème de la classification de série temporelles tout en étant frugales en ressources computationnelles et sur le nombre de données utilisées.

This PhD thesis aims to study the problem of classifying image time series in remote sensing. This is a field that raises a number of problems linked to the large amount of data, most of which is unlabelled. In this context, energy efficiency and frugality in data processing are crucial for two aspects (Strubell, Ganesh and McCallum 2019, Wu et al. 2022):

• The accessibility of the proposed methods to users, to enable rapid inference on an increasingly large amount of data. This point is also important for use by non-experts, who do not have significant computational resources.
• Reducing the ecological footprint of AI methods, which is a major challenge for sustainable development. AI models are often very energy-intensive. The need to use classification models on data at different spatial and temporal scales makes it crucial to develop methods that are both efficient and energy-efficient.

Recent advances in the field are based on deep neural network architectures based on convolutions that take the temporal dimension into account (Pelletier, Webb and Petitjean 2019), or with recurrent architectures coupled with attention modules (Tang et al. 2022, Sainte Fare Garnot et al. 2020, Russwurm and Körner 2018). These models are effective when a large amount of data is available, but are often poorly adapted to contexts where data is scarce, or where computational resources are limited. We are interested here in developing energy-efficient classification methods.
In addition, one of the major challenges in remote sensing lies in the weakly supervised nature of remote sensing, where despite the abundance of data, reliable annotations are rare, requiring innovative techniques to make the best use of the information available (Wang et al. 2020, Verbockhaven, Charpiat and Chevallier 2024), it is necessary to develop methods that are both efficient and sustainable and that take into account the weakly supervised nature of the data. The scientific hurdles include the need to develop model evaluation metrics that go beyond classification performance and include a compromise with regard to energy use. Secondly, we need to develop network architectures that can reproduce high-performance classification results for the time-series classification problem while being frugal in terms of computational resources and the number of data sets used.

__________________________________________________________________________________________________________

Encadrantes / Supervisors : Ammar Mian, Yajing Yan (LISTIC)

• Wang et al. (2020), Weakly Supervised Deep Learning for Segmentation of Remote Sensing Imagery
• Strubell et al. (2019), Energy and Policy Considerations for Deep Learning in NLP
• Wu et al. (2022), Sus- tainable AI : Environmental Implications, Challenges and Opportunities
• Pelletier et al. (2019), Temporal Convolutional Neural Network for the Classification of
• Satellite Image Time Series
• Sainte Fare Garnot et al. (2020), Sa- tellite Image Time Series Classification With Pixel-Set Encoders and Temporal Self-Attention
• Russwurm et al. (2018), Multi-Temporal Land Cover Classification with Sequential Recurrent Encoders
• Wang et al. (2020), Weakly Supervised Deep Learning for Segmentation of Remote Sensing Imagery
• Verbockhaven et al. (2024), Growing tiny networks : spotting expressivity bottlenecks and fixing them optimally