Une importante perturbation des ordinateurs Windows a eu lieu aux États-Unis, au Royaume-Uni, en Australie, en Afrique du Sud et dans d’autres pays, causée par une erreur dans une mise à jour du Falcon Sensor de CrowdStrike, a annoncé la société de sécurité cloud le 19 juillet. Les services d’urgence, les aéroports et les forces de l’ordre ont signalé des temps d’arrêt. Environ 8,5 millions d’appareils Windows ont été touchés.
Selon CrowdStrike, le problème provenait d’une mise à jour de contenu de réponse rapide dans le Falcon Sensor, révélée le 24 juillet. Ce type de mise à jour vise à répondre à des menaces évolutives et utilise une Instance de Modèle pour définir des comportements spécifiques. « En raison d’un bug dans le Validateur de Contenu, l’une des deux Instances de Modèle a passé la validation malgré la présence de données problématiques », a écrit CrowdStrike dans un rapport préliminaire post-incident. Le Validateur de Contenu est un processus qui « effectue des vérifications de validation sur le contenu avant sa publication ». Bien que l’Instance de Modèle ait passé d’autres contrôles de qualité, le bug a permis à une erreur de passer à la phase de déploiement.
« Lorsqu’elle a été reçue par le capteur et chargée dans l’Interprète de Contenu, le contenu problématique dans le Fichier de Canal 291 a entraîné une lecture de mémoire hors limites, déclenchant une exception », a expliqué CrowdStrike. « Cette exception inattendue n’a pas pu être gérée correctement, entraînant un crash du système d’exploitation Windows (BSOD). »
Il a été confirmé que le problème ne provenait pas d’un pilote de noyau, contrairement à ce qui avait été rapporté précédemment.
Ecran Bleu de la Mort : une interruption généralisée due à CrowdStrike
Les organisations touchées ont été confrontées à l’infâme Écran Bleu de la Mort, l’alerte de crash du système Windows. Les vols d’American Airlines, United et Delta ont été retardés le matin du 19 juillet en raison de l’impact sur les systèmes informatiques des compagnies aériennes. Le média britannique Sky News a également signalé une interruption de son service de télévision tôt vendredi matin. Le département des services d’urgence du New Hampshire a annoncé qu’il était de nouveau opérationnel après une perturbation des services d’urgence 911.
« Le problème a été identifié, isolé et une solution a été déployée », a déclaré CrowdStrike vendredi. Cependant, des pannes sur certaines machines initialement touchées continuent d’être signalées.
Microsoft 365 a signalé un avertissement de dégradation de service vendredi matin, mais cela semble être un incident distinct.
Selon des données fournies par Gartner à TechRepublic, CrowdStrike a généré 14,74 % des revenus totaux du logiciel pour les segments et régions de logiciels de sécurité en 2023, tandis que Microsoft a réalisé 40,16 %.
À VOIR : Les temps d’arrêt coûtent aux plus grandes entreprises du monde 400 milliards de dollars par an, selon Splunk.
Quelles actions les entreprises peuvent-elles entreprendre en cas d’interruption de CrowdStrike ?
La première étape consiste à identifier les hôtes touchés. Ensuite, il est conseillé de suivre les instructions de CrowdStrike pour réparer ou récupérer Windows.
Le samedi, Microsoft a publié un Outil de Récupération utilisant un USB ou un Environnement d’Exécution Préboot.
Le vendredi, Microsoft a recommandé de redémarrer les Machines Virtuelles Azure exécutant l’agent CrowdStrike Falcon. Cela peut nécessiter de nombreux redémarrages, certains utilisateurs ayant signalé un succès après jusqu’à 15 tentatives. D’autres options incluent la restauration à partir d’une sauvegarde antérieure au 18 juillet à 04h09 UTC, ou la tentative de réparation du disque OS en utilisant une VM de réparation.
« En raison de la manière dont la mise à jour a été déployée, les options de récupération pour les machines touchées sont manuelles et donc limitées », a déclaré Andras Cser, vice-président et analyste principal chez Forrester, dans une déclaration préparée envoyée à TechRepublic. « Les administrateurs doivent connecter un clavier physique à chaque système affecté, démarrer en Mode Sans Échec, supprimer la mise à jour compromise de CrowdStrike, puis redémarrer. Certains administrateurs ont également signalé qu’ils n’ont pas pu accéder aux clés de chiffrement de disque BitLocker pour effectuer les étapes de remédiation. »
CrowdStrike recommande à ses clients de rester en contact avec ses représentants. Les organisations, même celles non directement touchées, devraient vérifier auprès de leurs partenaires SaaS pour voir si elles rencontrent des problèmes.
Attention à la désinformation
Étant donné que cet incident touche un large éventail d’organisations majeures, le risque de désinformation est élevé.
« Il y aura beaucoup de désinformation sur la manière de reconfigurer vos ordinateurs ou quels fichiers système critiques supprimer », a déclaré Evan Dornbush, ancien expert en cybersécurité à la NSA, dans un email à TechRepublic. « Ne tombez pas dans le piège de télécharger de fausses solutions. »
Le samedi, CrowdStrike a mis en lumière une campagne de malware ciblant les clients hispanophones de CrowdStrike, se déguisant en solution pour l’interruption. Le malware se présente sous la forme d’un fichier ZIP joint à une fausse « utilité pour automatiser la récupération », selon le blog de CrowdStrike.
« C’est un bon moment pour réfléchir à la gestion des mots de passe, car la solution pourrait finalement nécessiter un accès administratif à des systèmes qui n’ont pas redémarré depuis un certain temps », a ajouté Dornbush.
Évaluez votre plan de récupération et soutenez votre équipe
Évaluez la dépendance de votre organisation à un seul fournisseur ou service, et assurez-vous que votre organisation dispose d’un processus de récupération solide.
C’est également le moment pour les responsables des équipes informatiques de s’assurer que leur personnel dispose du soutien nécessaire.
« Cette perturbation a eu lieu vendredi soir dans certaines régions, juste au moment où les gens rentraient chez eux pour le week-end », a noté Allie Mellen, analyste principal chez Forrester, dans une déclaration préparée envoyée à TechRepublic. « Les incidents techniques comme celui-ci nécessitent une approche collective, et vos équipes travailleront 24/7 pendant le week-end pour se remettre à flot. Soutenez vos équipes en veillant à ce qu’elles bénéficient d’un soutien adéquat et de pauses pour éviter l’épuisement et les erreurs. Communiquez clairement les rôles, responsabilités et attentes. »
Quelles mesures prend CrowdStrike en réponse ?
Dans le rapport préliminaire du 24 juillet, CrowdStrike a déclaré qu’elle prenait les mesures suivantes pour améliorer son processus de déploiement :
Résilience et Test des Logiciels
- Améliorer les tests de contenu de réponse rapide en utilisant des types de tests tels que :
- Tests de développeurs locaux
- Tests de mise à jour de contenu et de retour en arrière
- Tests de résistance, fuzzing et injection de fautes
- Tests de stabilité
- Tests d’interface de contenu
- Ajouter des vérifications de validation supplémentaires au Validateur de Contenu pour le Contenu de Réponse Rapide. Un nouveau contrôle est en cours pour empêcher ce type de contenu problématique d’être déployé à l’avenir.
- Améliorer la gestion des erreurs existantes dans l’Interprète de Contenu.
Déploiement de Contenu de Réponse Rapide
- Mettre en œuvre une stratégie de déploiement échelonné pour le Contenu de Réponse Rapide, où les mises à jour sont progressivement déployées à de plus grandes portions de la base de capteurs, en commençant par un déploiement canari.
- Améliorer la surveillance des performances des capteurs et des systèmes, en collectant des retours d’expérience lors du déploiement du Contenu de Réponse Rapide pour guider un déploiement par phases.
- Offrir aux clients un meilleur contrôle sur la livraison des mises à jour de Contenu de Réponse Rapide en permettant une sélection granulaire du moment et du lieu de ces mises à jour.
- Fournir des détails sur les mises à jour de contenu via des notes de version, auxquelles les clients peuvent s’abonner.
