Wat is het Sparse-formaat in Virtualisatie? (VMDK & VHD Uitgelegd)

Elke virtualisatie-implementatie kampt met dezelfde operationele afweging. Royale toewijzing biedt ruimte voor groei, maar laat fysieke capaciteit onbenut. Conservatieve toewijzing waarborgt opslagefficiëntie, maar de beschikbare ruimte raakt snel op. Het sparse-formaat lost deze beperking op.

Een sparse virtuele schijf neemt slechts de ruimte in beslag die het gastbesturingssysteem erop heeft geschreven. Een schijf van 100 GB met een besturingssysteem van 20 GB neemt ongeveer 20 GB opslagruimte in de datastore in beslag, waardoor de rest beschikbaar blijft voor andere virtuele machines. De voordelen van deze aanpak zijn aanzienlijk. De nadelen zijn eveneens aanzienlijk, en beide worden duidelijk wanneer de opslaglaag uitvalt.

Inzicht in de werking van het sparse-formaat en de risico’s die hiermee gepaard gaan, is daarom essentieel voor elke beheerder die verantwoordelijk is voor het beheer van virtuele infrastructuur.

Wat is een virtueel schijfformaat?

Een virtueel schijfformaat is een bestand, of soms een kleine verzameling bestanden, dat de hypervisor aan een gastbesturingssysteem presenteert als een fysiek apparaat. Het gastbesturingssysteem herkent een SCSI- of SATA-controller. De schijf is in wezen een container die zich binnen een groter hostbestandssysteem bevindt, een detail dat transparant blijft voor de gast en geen kennis op gastniveau vereist.

Elk element dat een fysieke schijf bevat, bevindt zich binnen die container: partitietabellen, master boot records, bestandssystemen en gebruikersdata. De opslaglocatie verschilt per platform. VMware plaatst deze bestanden op het Virtual Machine File System (VMFS), terwijl Hyper-V gebruikmaakt van NTFS of het Resilient File System (ReFS). Ongeacht het platform bepaalt het formaat hoe de lees- en schrijfbewerkingen van de gast worden vertaald naar daadwerkelijke bewerkingen op de onderliggende fysieke schijf.

Wat is een sparse-indeling?

Een ‘sparse’-schijf wijst opslagruimte dynamisch toe en claimt pas ruimte op de array wanneer de gast data naar schrijft. Dit staat in contrast met een ‘thick-provisioned’-schijf, ook wel een ‘flat’-schijf genoemd, die bij het aanmaken de volledige toegewezen capaciteit claimt en elk blok op de array op nul zet voordat er gastdata binnenkomen.

Een korte toelichting op de terminologie is hier op zijn plaats. Sparse en thin provisioning verwijzen naar hetzelfde onderliggende concept: capaciteit wordt op aanvraag toegewezen en breidt zich uit naarmate data zich opstapelen. Wanneer in discussies „sparse versus thin provisioning“ wordt vergeleken, wordt doorgaans het sparse-formaat van de ene leverancier afgezet tegen het thin-formaat van een andere leverancier, in plaats van dat er twee verschillende toewijzingsstrategieën worden beschreven. Het onderscheid dat daadwerkelijk van belang is voor capaciteitsplanning, is dat tussen sparse of thin provisioning enerzijds en thick of flat provisioning anderzijds.

Hoe wijzen sparse-schijven ruimte toe op aanvraag?

Wanneer een gasttoepassing een schrijfbewerking uitvoert, onderschept de hypervisor deze, bepaalt de logische locatie voor die data, voegt deze toe aan het einde van het hostbestand en werkt een interne metadatatabel bij om de logische sector van de gast te koppelen aan de nieuwe fysieke offset. Logische blokken nemen zelden een aaneengesloten fysieke volgorde in, wat een inherent gevolg is van toewijzing op aanvraag.

Wanneer een bestand in de gast wordt gewist, krimpt het bijbehorende hostbestand niet. De hypervisor markeert de onderliggende blokken als beschikbaar voor overschrijving, maar er is een afzonderlijk terugwinningsproces nodig voordat die ruimte op de host wordt vrijgegeven.

Sparse VMDK (VMware)

In een VMware-productieomgeving bestaat een sparse VMDK uit twee componenten: een tekstdescriptorbestand dat de schijfgeometrie specificeert, en een of meer extent-bestanden die de binaire data bevatten. Vanuit de descriptor loopt een keten van verwijzingen via de grain-directory en de grain-tabellen naar de gegevensblokken zelf, die ‘grains’ worden genoemd. Standaard is elke grain 64 KB groot.

In productieomgevingen bestaan er twee varianten. Monolithische sparse consolideert alle data in één aaneengesloten bestand en vormt de standaardconfiguratie voor de meeste productiesystemen. Gesplitste sparse verdeelt de schijf in segmenten van 2 GB en wordt uitsluitend behouden voor achterwaartse compatibiliteit met verouderde bestandssystemen die geen grote afzonderlijke bestanden kunnen verwerken.

Sparse VHD/VHDX (Hyper-V)

Het equivalent van Microsoft heeft een aanzienlijke generatiewisseling ondergaan. Het verouderde VHD-formaat is beperkt tot een capaciteit van 2 TB. VHDX heeft deze limiet verhoogd tot 64 TB en heeft een Block Allocation Table geïntroduceerd om de data-status in de gehele structuur bij te houden.

Een bijkomend kenmerk van VHDX is relevant voor opslagplanning. De fysieke sectoromvang is afgestemd op 4 KB, wat overeenkomt met de specificatie van moderne schijven met geavanceerd formaat en de schrijfversterking vermindert. De blokgrootte verwijst naar de opslageenheid die VHDX gebruikt telkens wanneer het wordt uitgebreid, en is standaard ingesteld op 32 MB op dynamische schijven. Grotere blokken vereisen minder overhead aan metagegevens, maar worden in grovere stappen uitgebreid. Microsoft beveelt aan dit getal te verlagen tot 1 MB voor Linux-gasten.

Vergelijking tussen sparse- en flat/raw-formaat

Flat-schijven reserveren de volledige capaciteit op het moment van aanmaak. Een flat-schijf van 50 GB neemt onmiddellijk 50 GB aan datastore-ruimte in beslag, ongeacht de opslagruimte die binnen de gast wordt gebruikt. De hypervisor zet elk blok tijdens de aanmaak op nul, wat verklaart waarom het inrichten van een grote flat-schijf tijdrovend is.

De operationele implicaties van het sparse-formaat zijn daarentegen als volgt:

• Het aanvankelijke ruimteverbruik blijft minimaal en neemt pas toe naarmate data wordt geschreven.
• De implementatie verloopt snel, aangezien de fase waarin blokken op nul worden gezet, niet nodig is.
• De overhead aan metadata is hoger vanwege voortdurende updates van de toewijzingstabel.
• De logische fragmentatie binnen het bestandssysteem van de host neemt in de loop van de tijd geleidelijk toe.
• Ongebruikte fysieke capaciteit blijft beschikbaar voor andere workloads.

De volgende tabel geeft een overzicht van het verschil tussen de sparse- en de flat-indeling: