Le stockage
Introduction
Là encore, il s’agit d’une fonctionnalité centrale du système d’information, que ce soit sur site ou dans le Cloud Azure. Le terme stockage couvre un ensemble d’utilisations très variées. Stocker de la donnée, c’est stocker des petits ou des gros volumes, constitués de petits ou de gros fichiers. C’est aussi stocker des informations ou des données sous forme de tables. Ce stockage se fait pour des données structurées ou des données qui ne le sont pas.
La notion de petits ou des gros volumes doit être mise à l’échelle. Il n’est plus question depuis bien longtemps de gigaoctet, mais plutôt de téraoctet ou même de pétaoctet. Les solutions Big Data demandent de pouvoir travailler sur ces volumes. Dédiées à l’analytique, elles demandent aussi de traiter les données avec des débits très importants.
On observe donc un mode de fonctionnement bien différent du stockage de fichiers pour une application, d’une source d’installation ou de fichiers textes.
C’est aussi pouvoir travailler sur des solutions d’archivages ou des données immuables (que l’on ne peut pas modifier, souvent pour répondre à des contraintes légales). Ce sont d’ailleurs souvent ces mêmes contraintes...
Présentation du compte de stockage
Le compte de stockage est l’élément de base lorsque l’on parle de stockage Azure, parce qu’il est utilisé par Azure lui-même pour certaines fonctionnalités. Les outils de diagnostic mis en œuvre sur la machine virtuelle dans le chapitre Le calcul, la machine virtuelle, s’appuient sur un compte de stockage. Il en est de même pour le chapitre Le code, où la console du portail Azure s’appuie elle aussi sur un compte de stockage.
C’est donc une fonctionnalité que l’on trouve naturellement dans son environnement, puis qui est utilisée pour tout ce que l’on souhaite stocker, sans distinction ou presque.
1. Le blob
L’élément central du compte et dont on entend parler sans cesse est l’objet de stockage blob (Binary Large Object). Il est conçu pour les petits, moyens ou grands volumes de données et pour des données non structurées. Dans la liste des données non structurées on retrouve les fichiers texte, les images, les vidéos, les logs, les données de sauvegarde, etc. Il y a toujours une petite hésitation lorsque l’on évoque les blobs. Ce n’est pas un service de stockage à proprement parler mais plutôt un objet. Cela définit tout à la fois un fichier texte de quelques kilo-octets, un fichier de logs de très grande taille qui va croître au fur et à mesure des ajouts d’informations...
L’explorateur de stockage
L’explorateur de stockage est un outil complémentaire au portail Azure (son installation est optionnelle, il est depuis peu en préversion directement dans le menu des comptes de stockage).
Pour cette démonstration, en prérequis, il faut créer un compte de stockage.
Depuis le portail Azure, dans la fenêtre de recherche, renseignez compte de stockage puis sélectionnez Comptes de stockage.
Choisissez + Créer, sélectionnez le groupe de ressources rg-formation-eni-test, puis nommez le compte stdemoazureexplorer dans le champ Nom du compte de stockage.
Sélectionnez la région (Europe) France-Centre, le niveau de performance Standard et un niveau de redondance Stockage localement redondant (LRS). Poursuivez par Suivant : Avancé, puis Suivant : Réseau, Suivant ; Protection des données, et enfin Suivant : Étiquettes.
Renseignez les étiquettes Nom :Environnement, Valeur :Test, puis choisissez Suivant : Vérifier + Créer, puis Créer.
D’autres exercices de création de compte de stockage sont proposés plus loin dans ce chapitre ; ils reviendront sur les options de réseau et de protection des données.
Maintenant que le compte est créé, il faut installer l’outil. Il est disponible pour les machines Windows, macOS...
Sécurité du stockage
Le stockage, ce sont les données de l’entreprise. À ce titre, elles doivent être protégées et l’accessibilité doit être contrôlée finement. Comme expliqué en introduction, il y a une différence entre l’accès au compte de stockage et l’accès aux données qu’il contient.
Mais la sécurité est aussi une question de redondance. Du premier niveau de protection sous la forme d’une redondance locale LRS à la redondance géographique interzone GZRS, il existe une solution pour chacun des types de données. En renfort de toutes ces solutions, et pour éviter les pertes de données, un mécanisme de suppression réversible est proposé sur les blobs, les conteneurs et les partages de fichiers. Cette option est activée pour 7 jours par défaut (valeurs possibles de 1 à 365 jours).
Citons un dernier élément pouvant trouver sa place dans la sécurité : les données non modifiables, que l’on trouve également sous le terme immutable en anglais. Pour des raisons légales principalement, ces données ne sont ni modifiables ni effaçables et sont "contraintes" par un paramètre de rétention.
Tous ces sujets sont traités en détail dans la suite du chapitre.
1. La redondance
La redondance d’un compte de stockage propose même dans sa version la plus simple et la moins coûteuse une réplication de données. Cela signifie que le choix de l’option de base (LRS) assure que les données sont répliquées localement puisque trois copies sont réalisées. Une réplication locale, ce sont des données qui sont répliquées de façon synchrone (au fil de l’eau) sur un même datacenter. Si le datacenter est intégralement détruit, les données sont perdues. Les scénarios d’usage sont adaptés pour des données qui peuvent être perdues.
La redondance de zone (ZRS) élève la redondance des données au niveau de la zone. Les données sont répliquées sur trois datacenters au sein de la même région. Comme...
Optimiser son stockage
L’optimisation du stockage n’est pas toujours une priorité. Ici, le terme optimisation ne couvre pas seulement l’optimisation des performances mais quelques options complémentaires. En voici quelques-unes particulièrement utiles car elles vont apporter du confort dans l’utilisation, ou parce qu’elles vont optimiser le coût du stockage.
1. Inventaire des objets blobs
Réaliser l’inventaire des objets blobs, c’est en apprendre beaucoup sur le stockage de l’entreprise ; mais ce n’est pas forcément une action globale, il s’agit aussi d’une action individuelle pour améliorer la gestion de ses données. Un inventaire est une règle qui spécifie une portée (blob, conteneur) dans laquelle des champs d’inventaire sont sélectionnés.
Règles d’inventaire pour les stratégies d’immuabilité et l’affichage des accès public sur une portée conteneur
Ce rapport quotidien ou hebdomadaire est généré au format CSV directement dans le conteneur.
Il y a plusieurs manières d’utiliser l’inventaire, mais un usage est particulièrement intéressant et va aider à la préparation de l’action d’optimisation présentée dans la section à venir (Gestion du cycle de vie) : la détection des fichiers/blobs avec les champs d’inventaire suivants :
-
Dernière modification
-
Heure du dernier accès
-
Métadonnées
Ces données...
Stockage sur disque
Le stockage disque est adapté aux machines virtuelles. Sur une machine, il y a deux ou trois disques différents : le disque qui stocke le système d’exploitation, il est attaché à la machine virtuelle ; le disque de stockage temporaire qui est perdu lorsque la machine virtuelle est arrêtée ; et le ou les disques de données qui sont ajoutés à la machine virtuelle au gré des besoins. Ces trois usages sont présentés dans le chapitre Le calcul, la machine virtuelle.
Une nouvelle fois, utiliser une ressource Cloud est synonyme de choix et de souplesse, comme le montre le sous-menu Taille + performance du menu de gestion d’un disque Azure.
Sélection pour modification de taille d’un disque Azure, vue partielle
De la même façon qu’il est possible de modifier la taille d’une machine virtuelle (et donc les performances), il est possible de modifier celle d’un disque.
Du HHD Standard à stockage non redondant aux performances modestes jusqu’aux nouveaux disques ultra en passant par les SSD Premium à redondance interzone, tous les cas d’usages sont couverts. Performant, évolutif, Disque Azure ne présente pas de difficulté particulière de déploiement. La fonctionnalité de création et d’attachement de disque est expliquée...
Exemple de stockage pour le service de sauvegardes
Quelques services utilisent de manière implicite le stockage Azure. Un très bon exemple est le service de sauvegarde, Coffre Recovery Services. Il est présenté en détail dans le chapitre La sauvegarde mais est parfait pour illustrer ce sujet.
Créer un Coffre Recovery Services, c’est choisir son nom, sa région d’hébergement et ses balises, mais pas plus. Une fois le coffre créé (et seulement une fois qu’il est créé), une propriété Configuration de la sauvegarde est visible dans les paramètres du coffre.
Ici est spécifié le type de réplication du stockage : localement redondant, géoredondant (et redondance de zone, en préversion disponible pour l’instant sur quelques régions). Ce paramètre est à modifier avant d’attacher une ressource pour la sauvegarder. Si une seule ressource est protégée par le coffre, il n’est plus possible de modifier ce paramètre.
Toujours sur le sujet du coffre de sauvegarde, il faut aussi noter que la modification de l’option de stockage et le passage d’un stockage localement redondant à un stockage géoredondant donne accès à une option supplémentaire pour les sauvegardes. La fonctionnalité est enrichie et il est possible...
Azure Data Box
Lors d’une migration de gros volumes de données sur le Cloud Azure, il n’est pas toujours possible de copier/synchroniser les données au travers du réseau. Si des volumes de l’ordre de quelques téraoctets sont envisageables, il devient beaucoup plus difficile de réaliser ces opérations au-delà de cette taille. Ainsi, Azure propose un service de transfert de données pour des tailles de 8 To à 1 Po.
Trois services sont disponibles pour cet usage. Ils sont tous appelés Data Box mais sont proposés sous des formes différentes :
-
Data Box Disk : un SSD de 8 To (Interface Sata ou USB). Cinq disques peuvent composer ce service pour un volume total de 40 To. Le chiffrement est de type AES 128.
-
Data Box : proposé sous la forme d’une Box de type NAS avec des débits 2x10 Gbit/s, une taille maximum de 100 To et un chiffrement AES 256.
-
Data Box Heavy : ressemble à un chariot, pour des volumes jusqu’à 800 To, un chiffrement AES 256 et un débit de 4x40 Gbit/s.
Pour ces trois services, il existe une même méthode d’approvisionnement : une commande en ligne depuis le portail pour du matériel adapté à la volumétrie. Après une première sélection avec quelques informations du type Pays/région source et Région Azure...
Exercices
Les exercices suivants vont utiliser toutes les notions présentées dans les différentes sections du chapitre. Il y a eu énormément de points abordés, les exercices sont donc nombreux, mais la mise en pratique est importante pour mieux assimiler les fonctionnalités de stockage.
Dans ce premier exercice, un nouveau compte de stockage est créé, certaines des options traitées dans le chapitre sont revues ou mises en œuvre dès la création. Puis trois conteneurs sont ajoutés, ils vont servir de base aux exercices.
Depuis la barre de recherche du portail, saisissez compte stockage puis sélectionnez Comptes de stockage.
Choisissez + Créer, sélectionnez le groupe de ressources rg-formation-eni-test et nommez le compte stcloudshelleni002. Choisissez la région (Europe) France-Centre.
Cochez Standard : Recommandé pour la plupart des scénarios (compte universel v2), puis sélectionnez un niveau de redondance Stockage géoredondant (GRS).
Vérifiez que l’option Proposez l’accès en lecture sur les données en cas d’indisponibilité régionale est bien cochée, puis Suivant : Avancé.
Sur cet écran, conservez les valeurs par défaut. On retrouve des options traitées dans la partie théorique dont le Niveau d’accès (Chaud, froid) ou le champ Autorisation Azure Active Directory par défaut dans le portail Azure (désactivé par défaut).
Poursuivez par Sui ...