Système de fichiers

organiser et stocker les informations

Le terme système de fichiers (abrégé « FS » pour File System[1], parfois filesystem en anglais) désigne de façon ambigüe :

  • soit l'organisation hiérarchique des fichiers au sein d'un système d'exploitation (on parle par exemple du file system d'une machine unix organisé à partir de sa racine (/) )
  • soit l'organisation des fichiers au sein d'un volume physique ou logique, qui peut être de différents types (par exemple NTFS, FAT, FAT32, ext2fs, ext3fs, ext4fs, zfs, btrfs, etc.), et qui a également une racine mais peut en avoir plusieurs,
    • soit parce que le système de fichiers permet de prendre des instantanés (snapshots).
    • soit parce que le système de fichiers (par exemple: zfs) permet l'existence de volumes virtuels (datasets sous zfs), qui partagent un même espace physique, mais peuvent être montés à des endroits différents d'une même hiérarchie de fichiers, ce qui permet la dé-duplication entre des volumes différents et a l'avantage de ne pas imposer à chaque volume virtuel de réserver un espace fixe difficile à modifier après coup.

De façon générale, un système de fichiers ou système de gestion de fichiers (SGF) est une façon de stocker les informations et de les organiser dans des fichiers sur ce que l'on appelle, en génie logiciel, des mémoires secondaires[2] (pour le matériel informatique, il s'agit de mémoire de masse comme un disque dur, un disque SSD, un CD-ROM, une clé USB, une disquette, etc.). Une telle gestion des fichiers permet de traiter, de conserver des quantités importantes de données ainsi que de les partager entre plusieurs programmes informatiques. Il offre à l'utilisateur une vue abstraite sur ses données et permet de les localiser à partir d'un chemin d'accès.

Il existe d'autres façons d'organiser les données, par exemple les bases de données (notamment base de données relationnelle) et les fichiers indexés.

Histoire

Archivage de cartons de cartes perforées archivés au service du NARA en 1959. Chaque carton peut contenir 2 000 cartes (d'une ligne de 80 colonnes chacune).

La carte perforée a progressivement disparu à partir de 1970 lorsque sont apparues les unités d'entrée-sortie à bande magnétique et à disquettes souples de format « 8 pouces » et des mémoires de masse plus performantes.

En 1964, le système DECtape de la société DEC permet d'enregistrer les données sur bandes magnétiques plutôt que sur cartes perforées.

En 1968, GEORGE 3 était doté d'un magasin de fichier (file store) enregistrant les fichiers dans une arborescence dans l'idée de Multics.Chaque utilisateur du système disposait d'un dossier utilisateur (home) avec autant de sous-dossiers que nécessaire. Les dossiers utilisateurs pouvaient être accédés directement ou à travers un chemin, comme : :MASTER.USERS.COMPSCI,JOHN.Un système d'Access control lists était utilisé pour la sécurité permettant de configurer l'accès par utilisateur et par groupe.Le système de fichier était organisé sur deux niveaux : l'un sur disque, et l'autre sur bande magnétique.

Une hiérarchie typique de Files-11 : tous les fichiers prennent leur racine dans le Master File Directory. Le fichier File2 est accessible depuis deux dossiers.

En 1972, ODS-1 est un système de fichier à plat (utilisé par RSX-11 OS). Il sera remplacé par la suite par ODS-2 et ODS-5.

En 1974, le système de fichier CP/M apparaît.Ce système d'exploitation, enregistre les fichiers sur disquettes suivant une organisation logique spécifique (qui n'a pas été reprise par MS-DOS), et peut remplir les disquettes jusqu'à ce qu'elles soient complètement remplies.

CP/M peut aussi gérer des disques durs (en réalité, comme le BIOS est « ouvert » et décrit clairement dans la documentation que Digital Research fournissait avec certains de ses logiciels, il est donc possible d'adapter tout système particulier CP/M à toute mémoire de masse disponible - et aux périphériques dont on dispose).

Chaque fichier a un nom et une extension. Plus précisément, la syntaxe est : <nom du fichier (8 octets maximum)>.<extension (3 octets maximum)>.

En 1978 apparaît le premier système de fichier d'Apple.

En 1980, le système FAT12 apparaît. Le système FAT16 en 1984.

Le BIOS parameter block (BPB) est introduit avec le PC DOS 2.0 . Cette version introduit également les bits attributs lecture seule, archive, étiquette de volume, et dossier pour une hiérarchisation des dossiers.

En 1988, ISO 9660 (une norme de l'ISO) définit le système de fichiers utilisé sur les CD-ROM.

En 1993, apparaît le système NTFS Version 1.0, utilisé par Windows.

En 1994 et 1995, les systèmes de fichiers pour CD-ROMs sont complétés : Rock Ridge et Joliet.

Système de fichiersInventeurAnnée
d'introduction
Système d’exploitation initialLicence
DECtapeDEC1964PDP-6 Monitor
Level-DDEC1968TOPS-10
George3ICT (later ICL)1968George 3
ODS-1DEC1972RSX-11
RT-11 file systemDEC1973RT-11
DOS (GEC)GEC1973Core Operating System
CP/M file systemGary Kildall1974CP/M
V6FSBell Labs1975Unix version 6
OS4000GEC1977OS4000
FAT (8-bit)Marc McDonald, Microsoft1977Microsoft Standalone Disk BASIC-80
DOS 3.xApple Computer1978Apple DOS
PascalApple Computer1978Apple Pascal
CBM DOSCommodore1978BASIC Microsoft (for CBM PET)
V7FSBell Labs1979Version 7 Unix
ODS-2DEC1979OpenVMS
FAT12Tim Paterson, Seattle Computer Products1980QDOS, 86-DOS
AFSCarnegie Mellon University1982Multiplatform MultoOS
DFSAcorn Computers Ltd1982Acorn BBC Micro MOS
ADFSAcorn Computers Ltd1983Acorn Electron (plus tard Arthur RISC OS)
FFSKirk McKusick19834.2BSD
ProDOSApple Computer1983ProDOS 8
MFSApple Computer1984Mac OS
FAT16Microsoft, IBM1984PC DOS 3.0/MS-DOS 3.0
Elektronika BK tape formatNPO "Scientific centre" (maintenant Sitronics)1985Vilnius Basic, BK monitor program
HFSApple Computer1985Mac OS
Amiga OFSMetacomco pour Commodore1985AmigaOS
High SierraEcma International1985MS-DOS, Mac OS
NWFSNovell1985NetWare 286
FAT16BCompaq1987Compaq MS-DOS 3.31, DR DOS 3.31
MINIX V1 FSAndrew S. Tanenbaum1987MINIX 1.0
Amiga FFSCommodore1988AmigaOS 1.3
HPFSIBM et Microsoft1988OS/2
ISO 9660:1988Ecma International, Microsoft1988MS-DOS, Mac OS, et AmigaOS
JFS1IBM1990AIX[3]
VxFSVERITAS (maintenant Symantec)1991développé pour Unix System Laboratories, HP-UX[4]
extRémy Card1992Linux
WAFLNetApp1992Data ONTAP
MINIX V2 FSAndrew S. Tanenbaum1992MINIX 1.6 et 2.0
AdvFSDEC1993[5]Digital Unix
NTFS Version 1.0Microsoft, Tom Miller, Gary Kimura1993Windows NT 3.1Propriétaire
LFSMargo Seltzer1993Berkeley Sprite
ext2Rémy Card1993Linux, Hurd
UFS1Kirk McKusick19944.4BSD
XFSSGI1994IRIX
HFS (Hierarchical File System)IBM1994MVS/ESA (maintenant z/OS)
Rock RidgeYoung Minds Inc.1994Linux, Mac OS, AmigaOS, et FreeBSD
Joliet ("CDFS")Microsoft1995Microsoft Windows, Linux, Mac OS, et FreeBSD
PFSMichiel Pelt1996AmigaOS
RomeoAdaptec1996Microsoft Windows
UDFISO/ECMA/OSTA1995-
FAT32Microsoft1996Windows 95b[6]
QFSLSC Inc, Sun Microsystems1996Solaris
GPFSIBM1996AIX, Linux, Windows
Be File SystemBe Inc., D. Giampaolo, C. Meurillon1996BeOS, HaikuOS
HFS PlusApple Computer1998Mac OS 8.1
NSSNovell1998NetWare 5
PolyServe File System (PSFS)PolyServe1998Windows, Linux
ODS-5DEC1998OpenVMS 7.2
SFSJohn Hendrikx1998AmigaOS, AROS, MorphOS
ext3Stephen Tweedie (en)1999Linux
ISO 9660:1999Ecma International, Microsoft1999Microsoft Windows, Linux, Mac OS X, FreeBSD, et AmigaOS
JFSIBM1999OS/2 Warp Server for e-business
GFSSistina (Red Hat)2000Linux
Melio FSSanbolic2001Windows
NTFS Version 3.1Microsoft2001Windows XPPropriétaire
ReiserFSNamesys2001Linux
zFSIBM2001z/OS (backported to OS/390)
FATXMicrosoft2002Xbox
UFS2Kirk McKusick2002FreeBSD 5.0
LustreCluster File Systems (plus tard Oracle Corporation)2002Linux
OCFSOracle Corporation2002Linux
VMFS2VMware2002VMware ESX Server 2.0
ext3cowZachary Peterson2003Linux
FossilBell Labs2003Plan 9 from Bell Labs 4
Google File SystemGoogle2003Linux
PramFSMontaVista2003Linux
Reliance[7]Datalight2003Windows CE, VxWorks, custom ports
VxCFSVERITAS (maintenant Symantec)2004AIX, HP-UX, Solaris, Linux
ZFSSun Microsystems2004SolarisCDDL
Reiser4Namesys2004Linux
Non-Volatile File SystemPalm, Inc.2004Palm OS Garnet
MINIX V3 FSAndrew S. Tanenbaum2005MINIX 3
OCFS2Oracle Corporation2005Linux
NILFSNTT2005Linux
VMFS3VMware2005VMware ESX Server 3.0
GFS2Red Hat2006Linux
ext4Various2006Linux
exFATMicrosoft2006, 2009Windows CE 6.0, Windows XP SP3, Windows Vista SP1Propriétaire
TexFAT/TFATMicrosoft2006Windows CE 6.0
BtrfsOracle Corporation2007LinuxGPL
CephSage Weil, Inktank Storage, Red Hat2007, 2012Linux
WBFSkwiirk and Waninkoko (Wii homebrew)2008Wii
HAMMERMatthew Dillon2008DragonFly BSD
Tux3Various2008Linux
UBIFSNokia avec l'aide de l'Université de Szeged2008Linux
Oracle ACFSOracle Corporation2009Seulement Linux - Red Hat Enterprise Linux 5 et Oracle Enterprise Linux 5
Reliance Nitro[7]Datalight2009Windows CE, Windows Mobile, VxWorks, Linux, custom ports
LTFSIBM2010Linux, Mac OS X, planned Microsoft Windows,LGPL
IlesfayFSIlesfay Technology Group2011Microsoft Windows, planned Red Hat Enterprise Linux
VMFS5VMware2011VMware ESXi 5.0tux 3 stats
ReFSMicrosoft2012, 2013Windows Server 2012
Lanyard FilesystemDan Luedtke2012Linux
F2FSSamsung2012LinuxGPLv2
APFSApple2016macOS
Système de fichiersCréateurAnnée d'introductionSystème d’exploitation initialLicense

Généralités

Exemple d'arborescence de fichier.

Le volume des données traitées par les applications informatiques atteint couramment plusieurs centaines de gigaoctets et va jusqu'à plusieurs téraoctets pour certaines applications industrielles. De tels volumes de données ne peuvent pas être stockées dans la mémoire centrale. De plus, un stockage persistant à long terme, permettant de sauvegarder les données traitées ou à traiter pour une utilisation future, est également nécessaire. Le principe employé pour répondre à ce problème consiste à stocker ces données dans des mémoires secondaires sous forme de fichiers, c'est-à-dire de suites de blocs (la plus petite unité que le périphérique de stockage est capable de gérer). Le contenu de ces blocs, simple suite de données binaires, peut être interprété selon le format de fichier comme des caractères, des nombres entiers ou flottants, des codes d'opérations machines, des adresses mémoires, etc. L’échange entre les deux types de mémoire se fait ensuite par transfert de blocs.

L'objectif du système de fichiers est de permettre l'accès au contenu des fichiers stockés (l'ouverture du fichier, son enregistrement sa copie ou son déplacement dans un second emplacement, ou sa suppression) à partir de leur chemin d'accès, formé d'un nom précédé d'une liste de répertoires imbriqués.

Représentation pour l'utilisateur

Pour l'utilisateur, un système de fichiers est vu comme une arborescence : les fichiers sont regroupés dans des répertoires (concept utilisé par la plupart des systèmes d’exploitation). Ces répertoires contiennent soit des fichiers, soit récursivement d'autres répertoires. Il y a donc un répertoire racine et des sous-répertoires. Une telle organisation génère une hiérarchie de répertoires et de fichiers organisés en arbre.

Principe de stockage

Différentes méthodes permettent d'associer un nom de fichier à son contenu. Dans le cas du système de fichiers FAT, ancien système de fichiers de MS-DOS et de Windows encore largement utilisé sur les supports amovibles comme les clés USB, chaque répertoire contient une table associant les noms de fichiers à leur taille et un index pointant vers la table d'allocation de fichiers, une zone réservée du disque indiquant pour chaque bloc de données l'index du bloc suivant du même fichier.

Dans le cas des systèmes de fichier d'Unix (ou de Linux/Minix), les fichiers et les répertoires sont identifiés par un numéro unique, le numéro d'inode. Ce numéro permet d'accéder à une structure de données (inode) regroupant toutes les informations sur un fichier à l'exception du nom, notamment la protection d'accès en lecture, en écriture ou des listes de dates, ainsi que le moyen d'en retrouver le contenu. Le nom est stocké dans le répertoire associé à un numéro d'inode. Cette organisation présente l'avantage qu'un fichier unique sur disque peut être connu du système sous plusieurs noms.

L'organisation du système de fichiers NTFS est encore plus complexe, fonctionnant un peu à la façon d'une base de données.

Nom de fichier

Le nom d'un fichier est une chaîne de caractères, souvent de taille limitée. Aujourd'hui, quasiment l'ensemble des caractères du répertoire Unicode est généralement utilisable, mais certains caractères spécifiques ayant un sens pour le système d'exploitation peuvent être interdits ou déconseillés. C'est le cas par exemple pour les caractères « : », « / » ou « \ » sous Windows.

Les systèmes de fichier Unix utilisent des noms de fichiers basés sur une suite d'octets. Les couches basses des logiciels (noyau, systèmes de fichier) manipulent les noms de fichiers sans connaître le jeu de caractère utilisé. Au niveau utilisateur, le jeu de caractère utilisé n'est généralement pas fourni par le système de fichiers, mais dépendant des paramètres régionaux de l'utilisateur. Dans un contexte où l'interopérabilité à un niveau mondial est souhaitée, une compatibilité Unicode est désirée et alors, l'UTF-8 est de plus en plus utilisé notamment dans les distributions Linux. Les systèmes plus anciens utilisaient des systèmes de codage régionaux pouvant altérer les noms de fichiers lorsque des utilisateurs ont des paramètres régionaux différents. Dans les systèmes modernes, l'utilisation de noms de fichiers nommés autrement qu'en Unicode est évité afin de réduire les problèmes d'interopérabilité avec les systèmes unicode.

NTFS, Virtual FAT et Joliet, ReFS utilisent le jeu de caractères UTF-16 pour les noms de fichiers.

Sous Windows et dans les environnements graphiques, le nom d'un fichier possède en général un suffixe (extension) séparé par un point qui est fonction du contenu du fichier : .txt pour du texte par exemple. De cette extension va dépendre le choix des applications prenant en charge ce fichier. Toutefois, sous Linux/Unix, dans les systèmes en ligne de commande et dans les langages de programmation, l'extension fait simplement partie du nom de fichier, son format est détecté par le type MIME inscrit de façon transparente dans l'en-tête des fichiers.

Métadonnées

Chaque fichier est décrit par des métadonnées (conservées dans l'inode sous Unix), alors que le contenu du fichier est écrit dans un ou plusieurs blocs du support de stockage, selon la taille du fichier.

Les métadonnées les plus courantes sous UNIX sont :

  • droits d'accès en lecture, écriture et exécution selon l'utilisateur, le groupe, ou les autres ;
  • dates de dernier accès, de modification des métadonnées (inode), de modification des données (block)[8] ;
  • propriétaire et groupe propriétaire du fichier ;
  • taille du fichier ;
  • nombre de noms de fichiers (liens) pointant vers l'inode ;
  • nombre de blocs utilisés par le fichier[9] ;
  • type de fichier : fichier simple, lien symbolique, répertoire, périphérique, etc.

Sur la plupart des systèmes Unix, la commande stat permet d'afficher l'intégralité du contenu de l'inode.

Fonctions du SGF

Le système de gestion des fichiers assure plusieurs fonctions :

  • Manipulation des fichiers : des opérations sont définies pour permettre la manipulation des fichiers par les programmes d’application, à savoir : créer/détruire des fichiers, insérer, supprimer et modifier un article dans un fichier.
  • Allocation de la place sur mémoires secondaires : les fichiers étant de taille différente et cette taille pouvant être dynamique, le SGF alloue à chaque fichier un nombre variable de granules de mémoire secondaire de taille fixe (blocs).
  • Localisation des fichiers : il est nécessaire de pouvoir identifier et retrouver les données ; pour cela, chaque fichier possède un ensemble d’informations descriptives (nom, adresse…) regroupées dans un inode.
  • Sécurité et contrôle des fichiers : le SGF permet le partage des fichiers par différents programmes d’applications tout en assurant la sécurité et la confidentialité des données. En effet, un nom et une clé de protection sont associés à chaque fichier afin de le protéger contre tout accès non autorisé ou mal intentionné lors du partage des fichiers. Le SGF se doit aussi de garantir la conservation des fichiers en cas de panne du matériel ou du logiciel.
  • le SGF assure le bon fonctionnement du fichier.

Organisation des fichiers

L'organisation physique sous-jacente du médium utilisé (blocs, linéaire) et les mécanismes d'entrée/sortie de bas-niveau sont masqués. L'utilisateur peut donc organiser ses données permanentes en les distribuant dans différents fichiers. Le contenu des fichiers est déterminé par leur format, qui dépend de l'application utilisée.

En plus de cette organisation abstraite, les systèmes de fichiers peuvent inclure la compression ou le chiffrement automatique des données, une gestion plus ou moins fine des droits d'accès aux fichiers, et une journalisation des écritures (pour la robustesse, en cas de défaillance du système). De plus, certains systèmes de fichiers peuvent s'étendre sur un réseau entier, comme NFS. Certains de ces systèmes de fichiers en réseau peuvent être distribués ou répartis, comme PVFS2.

Systèmes de fichiers et systèmes d'exploitation associés ou compatibles

Le choix du système de gestion des fichiers se fait principalement en fonction du système d’exploitation. Généralement, les systèmes d’exploitation les plus récents supportent un grand nombre de systèmes de fichiers.

MS-DOS (et compatibles) et les premières versions de Windows 95 utilisaient les systèmes de fichiers FAT16 et FAT12 (pour les supports de moins de 16 Mio). À partir de Windows 95 OSR2, le choix entre les systèmes de fichiers a commencé à s'élargir. FAT16 et FAT32 pouvaient tous les deux être utilisés, et à partir d'une certaine taille de partition, le choix du système FAT32 était alors plus judicieux.

Sous les premières versions de Windows NT (NT3.x et NT4), il y a le choix entre le système FAT16 et NTFS. Ce système d'exploitation ne supporte pas le FAT32. Généralement, le système NTFS est conseillé, car il procure une sécurité plus grande ainsi que des performances accrues par rapport au FAT. Contrairement aux précédentes versions de Windows NT, Windows NT5 (Windows 2000) accepte des partitions de type FAT16, FAT32 et NTFS. Ainsi, le système de fichiers le plus récent (NTFS 5) est conseillé puisqu’il offre de plus nombreuses fonctionnalités que les systèmes FAT.

Le SP1 de Vista propose de formater en exFAT qui est une grosse évolution de la FAT, proposant une meilleure fiabilité, une « vraie » gestion des noms longs, et l'ACL. Windows CE 6 (le futur Windows Mobile 7) gère aussi ce nouveau FS. Le but de Microsoft est de remplacer la FAT, principalement utilisée sur les supports amovibles comme les cartes mémoires.

Le monde des Unix (Unix, Linux, BSD, Mac OS X) supporte un très grand nombre de systèmes de fichiers. Cela est dû au fait que malgré leur nombre, les systèmes supportés suivent généralement des standards et notamment POSIX.

Non journalisés

Journalisés

Les systèmes de fichiers journalisés enregistrent les modifications dans un journal avant de les effectuer sur les fichiers eux-mêmes. Ce mécanisme apporte une plus grande fiabilité, en permettant une récupération des modifications "en cours" en cas d'arrêt intempestif (coupure de courant, plantage système, débranchement de disque externe…).

à Snapshot

Les systèmes de fichiers à snapshot, ou, en français, instantanés, offrent la possibilité d'enregistrer l'état du système de fichiers à un instant donné.

Réseau (NAS : network-attached system en anglais)

Cluster

Spécialisés

  • CFS Cryptographic File System : FS chiffré (BSD, Linux)
  • cramfs : FS compressé (Linux en lecture seule)
  • SquashFS : système de fichiers compressé en lecture seule (Linux)
  • EFS Encrypting File System : FS chiffré au-dessus de NTFS (Windows[11])
  • ISO 9660 : en lecture seule sur tous les systèmes lisant les CDROM/DVDROM de données
  • JFFS et JFFS2 : FS pour support physique sans block, typiquement des cartes flash. Il est compressé et journalisé (Linux)
  • UBIFS : FS journalisé pour support physique sans block, typiquement des cartes flash (Linux)
  • F2FS (Flash-Friendly File System) : FS Open Source développé par Samsung et intégré au noyau Linux il est destiné aux supports de stockage de type flash.
  • QNX4fs : FS utilisé pour le temps réel (QNX, Linux en lecture seule)
  • UDF : le format de disque universel (système de fichiers des DVD-ROM et des disques optiques réinscriptibles tels les CD-RW, DVD±RW, etc. Version Microsoft est Système de fichiers dynamique)
  • VMFS : FS destiné à la virtualisation (VMware)

Temporaires

  • ramfs, le système de fichiers temporaire en mémoire RAM le plus simple et efficace[réf. nécessaire] qui soit, basé sur la gestion du cache du noyau Linux
  • tmpfs, le nom générique d'un système de fichiers temporaire, aussi utilisé pour ses implémentations (distinctes) pour Linux, dérivée de ramfs et à partir du noyau Linux 2.6.x, Solaris, NetBSD ou d'autres systèmes d'exploitation

Méta systèmes de fichiers

  • unionfs, une implémentation d’union mount dans le noyau Linux, consistant à fusionner différents systèmes de fichiers en un unique point de montage
  • aufs, une autre implémentation de unionfs

Pseudo systèmes de fichiers

Ces systèmes de fichiers n'ont pas pour but de permettre l'accès à des fichiers réels. Ils présentent en fait, sous l'apparence d'une hiérarchie classique de fichiers et de répertoires, des informations de nature variées (sur l'état de l'ordinateur, des périphériques, ou permettant l'accès à des bases de données). Il s'agit donc d'interfaces particulières pour certains logiciels, généralement le système d'exploitation.

  • Devfs, Device file system (linux 2.4)
  • udev remplace Devfs (linux 2.6)
  • Procfs, Process Filesystem (systèmes de type UNIX)
  • Sysfs, permettant d'accéder aux informations sur le matériel et de configurer certaines fonctionnalités du noyau Linux 2.6.
  • CDfs : système de fichiers virtuel pour Linux qui permet d'accéder aux données et aux pistes audio d'un disque compact.
  • ZODB: système de fichiers du serveur zope

À classer…

  • ODS (VMS, OpenVMS)
  • ADFS : Acorn Disc Filing System (RiscOS, Linux expérimental)
  • AFFS : fichiers rapides d'Amiga
  • CBMFS : Le système de fichiers pour Commodore 1581/1541
  • DTFS : DeskTop File System (UNIX)
  • HDFS : Hadoop File system
  • MFS (Macintosh)
  • NWFS : système de fichiers Novell NetWare
  • SFS : Secure file system
  • OpenVMS : système de fichiers Spiralog
  • uc/FS : système de fichiers pour OS uCOS//II www.micrium.com
  • Veritas File System : système de fichiers développé par Veritas
  • WBFS (Wii Backup File System): Permet le stockage des backups de DVD pour Wii sur un disque dur

Notes et références

Voir aussi

Liens externes

🔥 Top keywords: