Energies
Architecture innovante pour l’IA
#Cloud Data Science
#Dataiku
#Energies
#Ambition
L'ambition
de la mission
Utilisateur historique de Dataiku, notre client a construit dès 2015 un datalab dont l’outil principal est une plateforme Dataiku, sur laquelle une grande variété de projets IA a été développée, des use cases les plus simples aux plus avancés. La plateforme DSS initialement déployée sur le datacenter historique du client souffrait d’une importante dette technique, et ne permettait plus d’adresser les nouveaux use cases (tel que l’analyse d’images à grand volumes). Il a donc été décidé de refondre cette plateforme pour tirer parti des avantages du cloud et gagner en performance, scalabilité et flexibilité.
#Method
Notre
approche
Réinventer une plateforme cloud pour l’IA
Les usages de notre client gagnant rapidement en complexité, il est devenu nécessaire de concevoir une plateforme plus flexible, capable notamment d’analyser quotidiennement plusieurs centaines de millions d’images, tout en gardant une simplicité d’usage maximale pour les use cases plus traditionnels.
Fédérer exigences métier et contraintes technos
Un groupe de travail tripartite a été mis en place, réconciliant le datalab et les équipes IT. L’objectif : répondre aux contraintes fortes de sécurité et de pratiques cloud de l’IT, tout en sélectionnant les services AWS les plus adaptés aux besoins des projets ! La bascule des environnements Legacy à la nouvelle plateforme a été rendue aussi transparente que possible pour les utilisateurs, grâce au développement d’outils spécifiques de migration, garantissant la non-régression du périmètre existant.
Garantir l’évolutivité sur les années à venir
Afin de ne pas retomber dans le travers de la dette technique, notre équipe a conçu une plateforme offrant aux utilisateurs métier une totale autonomie dans le déploiement des environnements d’exécution (clusters Spark, environnements GPU…) tout en optimisant les budgets via une approche on-demand. Sans garde-fou, ce type d’approche peut introduire un risque de stabilité; il a donc fallu également penser une méthode innovante de déploiement, permettant un backup incrémental à chaud et une restauration automatique des environnement en cas de défaillance.
#Benefits
Indicateurs
de réussite
Gains conséquents de puissance de calcul et de capacité d’exécution
Haute résilience de la plateforme, environnement auto-réparant
Réconciliation des pratiques du Datalab et de l’IT
