Le projet CTA produira un flux de données de 130 PétaOctets par an. Il sera impossible techniquement de transférer toutes ces données à partir des lieux de l’expérience (Chili et îles Canaries), et il est donc indispensable de trouver des moyens de diviser ce flux par au moins un facteur 30, ainsi que d’accélérer le processus de traitement. Au LAPP, et en particulier dans le cadre d’ASTERICS, les chercheurs et ingénieurs travaillent à accélérer les codes existants, à compresser les données sans perte, et à utiliser les architectures informatiques de manière optimale. De même, le projet GammaLearn a pour but d’appliquer la technique du machine learning à la reconstruction des événements enregistrés par CTA. Ce projet GammaLearn est une collaboration entre le LAPP, le LISTIC, et la compagnie Orobix. Enfin, le projet XDC (eXtreme DataCloud) a pour but de gérer de façon distribuée les données et le calcul sur CTA.
Le projet LSST se retrouve lui aussi confronté à la problématique du big data. En effet, le télescope LSST enregistrera 15 TéraOctets de données par nuit, et aura une base de données d’une taille de 15 PétaOctets. Le défi est d’accéder à cette base de données avec des temps très rapides. Le LAPP, toujours dans le cadre d’ASTERICS, travaille sur ces problèmatiques d’accès rapides.
D’autres expériences au LAPP sont concernées par le calcul haute performance, telle l’expérience ATLAS qui utilise du machine learning pour analyser les données provenant du LHC au CERN.