Déroulez le menu Affichage et sélectionnez Options.

Affichez le feuillet Type de fichiers et cherchez le type Dossier.

Cliquez sur le bouton Modifier et sur le bouton Changer d'icône.

Par défaut, le système vous propose des icônes contenues dans le fichier Shell32.dll, mais rien ne vous empêche d'utiliser l'icône de votre choix.