[Guide] Tout savoir sur la custom recovery TWRP

[Mreve]

Les chouettes personnages illustrés que vous allez apercevoir ont été dessinés par Simon "Gee" Giraudo. Le texte dans les bulles est de moi. Les illustrations sont sous licence Creative Commons By Sa.

Je vous conseille la lecture ce guide si vous voulez en savoir plus sur le rôle d'une recovery dans un téléphone.


Ce guide explique le fonctionnement et les possibilités de TWRP. Si vous avez un problème ou une question lors de vos manipulations, pensez à jeter un œil à la FAQ !
[en cours de rédaction]

La recovery TWRP (TeamWin Recovery Project) est à ce jour la meilleure custom recovery qui puisse exister. Elle est développée par la communauté open-source et semble principalement maintenue par 3 personnes (@Dees-Troy, @bigbiff et @CaptainThrowback).

Contrairement aux recoveries fournies par le fabricant, TWRP possède une interface utilisateur entièrement tactile. Chose intéressante, toute l'interface est basée sur du XML. Si ce métalangage vous parle, alors vous comprendrez qu'il est aisé de modifier l'apparence de TWRP à votre guise.

Si c'est la première fois que vous atterrissez sur TWRP, vous devriez voir un écran de ce style :

Keep Read Only : N'autorise que la lecture sur les partitions. Ne touchez donc pas à ça puisqu'on veut pouvoir écrire dessus.
 

Validez pour arriver sur le menu principal :

Regardons en détail chacune des catégories :

Install

C'est un menu que vous allez utiliser souvent. Vous l'aurez compris, c'est ici que vous pourrez flasher des ROM, kernels, applications, thèmes...

L'idée est simple :
• Sélectionnez l'archive zip à flasher en naviguant dans l'arborescence.
• Appuyez sur "Add more zips" si vous voulez flasher plusieurs choses à la suite.
• Faites glisser (swipe) la barre en bas de l'écran de gauche à droite pour lancer le processus.

Quand le flash est fini et que tout s'est bien passé, le message "Successful" apparaît à l'écran.

 L'ordre est important

Si vous avez en tête de flasher plusieurs fichiers en même temps, pensez bien à les sélectionner dans le bon ordre. Par exemple, flasher Magisk avant de flasher une ROM n'a pas de sens.

→ Select Storage vous permet de basculer de la mémoire interne à la carte SD ou encore sur un disque de stockage via USB OTG (j'explique ça dans la catégorie Mount).

→ Install Image permet de sélectionner des fichiers .img au lieu de .zip.
 

Remarque : Le premier redémarrage après avoir flashé une custom ROM prends beaucoup de temps. N'ayez pas peur d'attendre 5-10 min !

Wipe

Ce menu sert à effacer et formater des partitions sur votre appareil Android. Ne faites donc pas n'importe quoi !

Effacer certaines partitions peut être nécessaire si vous installez une custom ROM par exemple. Le mieux est de suivre les recommandations du développeur.

Soyez très attentif car ce qui va suivre n'est pas forcément intuitif. J'ai dû aller vérifier moi même dans le code source de TWRP car les gens racontent tout et leur contraire. Pour ceux qui sont intéressés ça se passe dans les fichiers partitionmanager.cpp, partition.cpp et partitions.hpp.

 

Wipe Internal Storage
Efface le contenu de ce qu'Android appelle Stockage interne. Attention ! Cela correspond seulement au répertoire /data/media qui contient tous vos fichiers personnels (photos, musiques, documents, téléchargements...).

Wipe Data
Efface le contenu de la partition /Data sauf /data/media !
Le cache Dalvik/ART qui est stocké généralement dans cette même partition (/data/dalvik-cache) est supprimé. Il n'est pas possible de faire un wipe data si la partition est chiffrée. Il faut la formater.
Un wipe data supprime donc toutes les applications et les données utilisateurs associées mais ne supprime pas les fichiers utilisateurs (photos, musiques, documents, etc).

Wipe Dalvik / ART Cache
Supprime le cache Dalvik/ART (/data/dalvik-cache).
Un wipe de cette partition n'entraîne pas de pertes de données (juste du code régulièrement utilisé). Effacer cette partition sans raison entraîne en revanche une perte de performance et un drain de batterie plus élevé pendant plusieurs semaines, le temps que le cache se reconstitue.

Wipe Cache
Supprime la partition /cache qui contient les fichiers régulièrement utilisées par les applications (images, miniatures, données des applications...)

Wipe Sytem
Ne supprime que l'OS (partition /system) mais pas les données utilisateurs (qui sont sur la partition /Data).

Factory Reset
Revient à faire un Wipe Data + Wipe Cache
Oui ! La restauration d'usine de TWRP conserve les fichiers personnels !

Wipe Micro SD Card
Simple : efface le contenu de la carte SD.

Wipe USB OTG
Efface le contenu du disque de stockage connecté en USB OTG

Format Data
Formate la partition /data. Il s'agit ici d'un formatage donc TOUT le contenu de la partition sera supprimé. Un formatage recrée la partition et fait donc enlève le chiffrement.

Repair or Change File System
Permet de réparer et changer le format de fichiers de la partition sélectionnée. Changer de format formate la partition en question.

Remarque : Tous ces formatages ne sont que des formatages de haut niveaux ce qui veut dire que techniquement les données sont récupérables. Garder en tête qu'un formatage bas niveau sur de la mémoire flash n'est pas vraiment possible.

En cas de vente d'un smartphone, la solution la plus simple consiste à faire un factory reset + wipe Internal Storage sur un téléphone chiffré. Faire ensuite un format Data et réinstaller proprement la stock ROM (avec chiffrement).

 Pour aller plus loin : Dalvik/ART

Comme vous le savez peut-être, les applications Android s'exécutent dans une machine virtuelle (VM). Chaque processus tourne dans une machine virtuelle. Le système Android lui-même (composé d'une multitude de processus) s'exécute au travers de machines virtuelles. Pourquoi ?

1) Pour des raisons de sécurité. En théorie, l'application est totalement isolée du reste du système par la machine virtuelle. En pratique, il est déjà arrivé que le code d'une application s’exécute en dehors de la VM en exploitant des failles de sécurités dans l'implémentation de cette VM par exemple. Cette compartimentation reste tout de même une très bonne chose.

2) Parce que les développeurs sont des feignasses. Pour exécuter le même programme sur une grande variété d'appareils, quelles que soient leurs caractéristiques techniques. Android peut s'exécuter sur des appareils avec différentes architectures (ARM, MIPs, x86). La virtualisation permet ainsi d'éviter de devoir s'adapter à chaque architecture à chaque fois que l'on veut développer un truc. L'architecture (le hardware) n'a plus d'importance à l'intérieur de la machine virtuelle.



Cette machine virtuelle, optimisée pour l'environnement mobile, a évolué au fil des ans. Au départ, les développeurs d'Android utilisaient Dalvik. Aujourd'hui, Dalvik a été remplacé par ART mais le répertoire contenant le cache ART s'appelle encore Dalvik, d'où la mention des deux dans TWRP.

Un principe clef en informatique pour accélérer le lancement d'un programme c'est de le pré-compiler avant son utilisation. Compiler ça veut dire transformer le code source du programme en binaire (ou langage machine ou encore langage natif), le seul langage qu'une machine comprenne. C’est justement ce que fait ART. L’application peut être compilée dès lors qu’elle est installée. Ce code binaire est stocké dans ce qu'on appelle le cache Dalvik/ART. Au lancement d'une application, Android peut directement exécuter le code binaire et ne pas perdre de temps avec la compilation puisqu'elle a déjà été faite.

 Pour aller encore plus loin : Dalvik/ART

Il faut savoir qu'Android (comme la plupart des applications Android) a été écrit en Java. Ce n'est d'ailleurs pas un hasard puisque ce langage a été spécialement conçu pour être indépendant de la plateforme hardware. En gros, le code source Java est compilé en bytecode, un langage semblable à l'assembleur et indépendant de la plate-forme d'exécution. Ce bytecode est ensuite exécuté dans une JVM (Machine Virtuelle Java, un programme écrit spécifiquement pour la machine cible) qui se chargera soit de l'interpréter (exécuter directement les instructions) soit de le compiler en langage machine. Dalvik est très similaire à cette JVM. Elle est juste optimisée pour les téléphones.

Le principe de Dalvik repose sur la compilation just-in-time (JIT). Durant l'exécution du programme, le compilateur JIT va compiler le bytecode associé au morceau de code (plus exactement aux méthodes) à exécuter en langage machine juste à temps pour l'exécuter. Une fois la méthode compilée, Dalvik utilise le code compilé au lieu de l’interpréter, améliorant ainsi les performances. La compilation JIT peut aussi optimiser le code en fonction de l'usage du programme. Seul problème de JIT, il faut recompiler à chaque exécution. Le temps de lancement d'une application et l'autonomie du téléphone (la compilation consomme) en sont ainsi significativement impactés. 

Pourquoi recompiler avant chaque exécution et ne pas garder dans un coin le code machine ? Et bien c'est oublier la taille du stockage dans les années 2008. Cette idée n'était tout simplement pas envisageable. C’est justement ce que va proposer, quelques années après, l’ART qui implémente dès sa conception le principe AOT, Ahead-Of-time : la compilation anticipée. ART peut compiler l'application avant son utilisation et stocker le code dans le cache Dalvik/ART.

Depuis Android Nougat (7), une combinaison d'AOT, JIT compilation et d'interprétation est utilisé.

 Pour aller toujours plus loin : Dalvik/ART

Rentrons légèrement dans les détails. 

D'accord j'ai compris...

Si vous vous demandez ce qu'il faut wiper avant l'installation d'une ROM, allez jeter un œil à ma FAQ [en cours de rédaction]

Backup

Voici le menu pour créer des sauvegardes. TWRP est capable de faire des Nandroid backup. En clair, une image parfaite de la mémoire de votre téléphone.

 NANDROID

Peut-être que le mot NAND vous évoque quelque chose. Il s'agit en effet d'un opérateur logique en algèbre de Boole (Eh oui la notion de valeur booléenne ça vient de lui !). Les cartes SD actuelles reposent sur la la technologie flash NAND. Sans rentrer dans les détails vos cartes SD sont constituées de milliards de transistors. Ces transistors sont agencés en série de manière à créer une porte logique NAND. Cela forme une cellule mémoire qui stocke un ou plusieurs bits de données.

Pourquoi je parle de ça ? Parce que NANDROID est la contraction de NAND et Android tout simplement.
--------------------------------------------
Si vous voulez en savoir plus sur l'algèbre de Boole et toute la logique utilisée en informatique je vous recommande chaudement la lecture du tutoriel sur Zeste de Savoir de @Pierre_24 : De la logique aux processeurs.
Pour plus de détails sur le fonctionnement de la mémoire flash d'un SSD, allez jeter un oeil à cet article de Couleur-Science.

Théoriquement donc une nandroid bakcup est une copie bas niveau. Tous les bits sont copiés un par un.

Regardons ce que TWRP propose de sauvegarder :

 Boot : partition /boot

 Recovery : partition /recovery

 System : partition /system

 Data (excl. storage) : partition /data sauf /data/media

 Cache : partition /cache

 Baseband : partition /radio ou /modem

 EFS : partition /EFS

 Baseband -- Le firmware caché de votre téléphone

Eh oui, Android n'est pas le seul firmware sur votre téléphone. Ce qu'on appelle couramment Baseband (ou modem ou encore radio) est un système sur puce (SoC) qui gère les communications avec le réseau mobile. Il s'agit donc d'un système complet embarqué sur une seule puce, avec sa propre mémoire, son propre processeur ! (CP -- Cellular Processor ou BP Baseband Processor) et son propre firmware. Ce firmware est stocké sur la même mémoire flash (eMMC pour être exact) mais sur une partition bien à part : /modem ou /radio selon les fabricants.


Baseband processor SiTel SC14434

C'est lui qui gère toutes les fonctions radio (toute fonction qui nécessite une antenne plus généralement), le Wi-Fi et le Bluetooth exclus (sauf sur les anciens téléphones). Il décode le signal avant de l'envoyer au processeur principal (AP -- Application Processor).

Ce baseband firmware est particulièrement dépendant de votre opérateur et du pays dans lequel vous utilisez votre téléphone. Installer une version inadaptée entraînera une baisse notable de vos performances réseau et de l'autonomie de votre téléphone.
==> Comment choisir correctement son baseband firmware [FAQ en cours de rédaction]

 EFS

EFS est une partition qu'il ne faut jamais supprimer. C'est d'ailleurs pour cette raison qu'elle n’apparaît même pas dans la section WIPE de TWRP.

EFS signifie Encrypted File System et bien que le contenu de cette partition soit chiffré, son nom ne nous apprend rien sur son utilité. En fait cette partition est essentielle car elle contient tout ce qui permet d'identifier votre téléphone :

1) L'IMEI, (International Mobile Equiment Identity), un numéro qui permet d'identifier de manière unique votre téléphone dans le monde.

2) MAC Adresse (adresse unique de votre carte réseau) et adresse bluetooth

3) Numéro de série de votre téléphone et données liées au signal réseau et à la carte SIM.

Il est fortement recommandé de faire une sauvegarde de cette partition.

Sauvegarder la partition /data

Sauvegarder la partition /data entièrement via TWRP n'est pas possible. Par défaut, TWRP exclut /data/media qui contient toutes vos fichiers personnels (photos, vidéos, documents, téléchargements...) ! C'est un choix qui vous parait sans doute étrange. Voici une explication d'un des développeur si ça vous intéresse.

Bref, pensez à sauvegarder à la main /data/media.
==> Comment sauvegarder /data/media facilement [FAQ en cours de rédaction]

Que sauvegarder via TWRP ?

Ce qui est pratique avec TWRP c'est vous avez toujours la possibilité de choisir quelles partitions restaurer depuis une sauvegarde multi-partitions. Concrètement si vous avez sauvegardé /boot et /system et qu'un jour vous cassez le démarrage en installant un mauvais kernel par exemple, vous pourrez utiliser cette sauvegarde pour ne restaurer que le /boot.

Normalement vous devez vous douter de ce qu'il est nécessaire de sauvegarder : EFS + data + system + boot.
En théorie, vous ne toucherez jamais à la partition /modem mais si vous avez peur de faire une bétise, ça ne coûte pas grand chose de sauvegarder le baseband (ça doit faire moins de 50Mo).

Vous pouvez utiliser le bouton Change storage pour basculer sur la carte SD et stocker la sauvegarder dessus. Si votre téléphone supporte USB-OTG vous pouvez aussi la stocker sur votre disque dur connecté en USB-OTG.

Regardons maintenant du côté des options.

• Enable Compression : active la compression de la sauvegarde. Il n'y a aucune raison de ne pas l'activer ! Pour info TWRP utilise pigz, une implémentation parallèle de gzip. Vous pouvez facilement diviser par 1,5 la taille de votre sauvegarde avec.
• Skip Digest generation during backup : Saute la création de la somme de contrôle (checksum) qui permet de vérifier l'intégrité de la sauvegarde. 
• Disable free space check before backup : Désactive la vérification d'espace libre avant la sauvegarde. Il faut savoir que cette vérification d'espace libre considère la taille de la sauvegarde sans compression. C'est pour cette raison que dans certains cas, cela peut être utile de désactiver cette vérification.

 Digest

Sauter la création du checksum peut faire gagner beaucoup de temps (jusqu'à 2 fois plus rapide) mais il n'est pas conseillé de le faire.

Pour expliquer (un peu mais pas trop), une somme de contrôle est généralement le résultat d'une fonction de hachage que l'on ajoute à la fin d'un fichier. TWRP utilise la fonction SHA-256.

En gros, une fonction de hachage prend une donnée en entrée (la sauvegarde par exemple) et calcule une empreinte numérique "unique" de cette donnée que l'on appelle hash ou digest.
Pour vérifier si la donnée d'origine n'a pas été corrompue, il suffit de refaire le calcul. Si l'empreinte est la même c'est que tout va bien.
C'est plus compliqué que ça en réalité mais j'ai dit que je restai concis !
--------------------------------------------
Pour les curieux comme toujours : 
https://www.wikiwand.com/fr/Fonction_de_hachage
https://fr.wikibooks.org/wiki/Les_fonctions_de_hachage_cryptographiques

Parlons un peu de la possibilité de chiffrer votre sauvegarde. Bonne idée me diriez vous !
Et bien malheureusement, c'est nul. Vous pouvez chiffrer votre sauvegarde mais c'est limite inutile  puisque que l'implémentation de la cryptographie est faite maison et donc très peu fiable. Ce n'est pas du tout leur priorité et la faiblesse de leur crypto est connue.

Bref, pas la peine d'utiliser le chiffrement de TWRP dans son état actuel (je mettrai à jour ce passage quand cela changera). En revanche, il est préférable de stocker cette sauvegarde sur une partition chiffrée.

Où sont stockés mes sauvegarde TWRP ?

Par défaut, elles sont créées dans /data/media/0/TWRP/BACKUPS.

En les laissant ici, TWRP évite de sauvegarder des sauvegardes (puisque, je le rappelle, /data/media n'est jamais sauvegardé par TWRP).

C'est une bonne idée de les laisser ici, d'autant plus si le chiffrement est désactivé. Avoir un double sur son PC reste une bonne précaution.

Restore

Simple et efficace. Cette section vous permet de choisir les partitions à restaurer depuis une sauvegarde.

Si vous n'avez pas désactivé la création du checksum pendant la backup, pensez à cocher la case Enable Digest Verification of Backup Files afin que TWRP recalcule le hash du fichier pour vérifier que la sauvegarde n'a pas été altérée.

Mount

Il est important de comprendre à quoi sert le montage/démontage d'une partition car c'est de cela qu'il s'agit dans cette section.

Pour comprendre cette notion, il faut d'abord être au point sur le système de fichier de Linux. J'en ai déjà parlé dans la partie 1 de mon guide #Libérez votre smartphone mais je vais ici entrer un peu plus dans les détails.

 Système de fichiers et point de montage

Je ne l'ai jamais explicitement dit mais vous l'avez peut-être déjà compris, Android est basé sur le noyau Linux. Pour simplifier, le rôle du noyau est de faire communiquer la partie matérielle (hardware) avec la partie logicielle (software).

Petit rappel : un système de fichiers est une façon de stocker les informations et de les organiser dans des fichiers. Sans système de fichiers, les données stockées sur un disque dur seraient un seul corps de données et il serait impossible de déterminer où est ce qu'une donnée s'arrête et la suivante commence. En séparant les données en morceaux (appelés fichiers) et en leur donnant à chacun un nom, cela devient tout de suite plus simple.
Pour citer quelques systèmes de fichiers, vous connaissez sans doute ceux utilisés par Windows : FAT32 (ancien) et NTFS. Linux et donc Android utilisent quant à eux ext4.

Sous Windows, les périphériques de stockage et les partitions sont affichés comme des lecteurs indépendants en haut de leur propre arborescence. Sous Linux, en revanche, ils sont inclus dans l'arborescence, car Unix traite aussi les partitions et périphériques de stockage comme des fichiers :



Un point de montage n'est autre qu'un répertoire à partir duquel sont accessibles les données d'une partition.

Votre téléphone a booté sur la partition recovery. Cette partition est donc forcément monté. Pourquoi vouloir monter la partition /cache ou /system si on ne l'utilise pas ?

En temps normal vous n'aurez pas à toucher à cette section. Lorsque vous flashez, wipez ou formatez des partitions elles sont automatiquement montées au besoin. Les points de montages sont plus où moins différents entre les téléphone et TWRP les a choisi pour vous.

Si par exemple vous ne voyez pas apparaître votre carte SD dans le gestionnaire de fichiers c'est que la partition associée est démontée. Il faudra donc la monter depuis cette section.

 Chiffrement et partition /data

TWRP vous a sûrement demandé votre code pour déchiffrer la partition /data. Cela est nécessaire pour monter la partition /data.
Je vous renvoie à ma FAQ [en cours de rédaction] si vous avez des problèmes avec ça.

• Mount system partition read-only : je ne vois pas du tout l'intérêt de monter la partition système en read-only (lecture seule).

Settings

La section des options est découpée en 5.

: Gestion des vibrations. Personnellement je baisse toutes les options par défaut. C'est bien trop fort !

: Gestion du fuseau horaire. Celui par défaut n'est pas le bon et à moins que vous vouliez absolument avoir l'heure, ce n'est pas important du tout.

: Gestion de la luminosité. Très forte par défaut. À baisser.

: Choix de la langue. Je conseille de laisser en anglais pour apprendre le vocabulaire en anglais qui est beaucoup plus courant.

: Paramètres divers. Me concernant je ne coche aucune case.

• Zip signature verification : La signature ZIP permet de vérifier l'authenticité du fichier ZIP avant de la flasher. Si la signature n'est pas la même que celle aposée par le dévelopeur alors TWRP empêche le flashage.
  Si tous les développeurs signaient leur fichiers zip ça serait une option très utile mais ce n'est malheuresement pas le cas...
• Reboot after installation is complete : Redémarrer automatiquement après le flashage terminé.
• Use rm -rf instead of formatting : Utiliser la commande unix rm -rf au lieu de formater. Si vous n'avez pas de problèmes de corruptions de partitions après des formatages via TWRP, il n'est pas nécessaire de toucher à ça.
• Disable free space check before backup : J'ai déjà évoqué son utilité dans la section Backup.
• Skip digest generation during backup : Idem
• Use 24-hour clock : Utiliser l'horloge 24H au lieu de 12. Purement cosmetique.
• Reverse nav bar layout : Inverse le sens des bar des navigation (quand vous faites glisser votre doigt de haut en bas, le contenu descend).
• Prompt to install TWRP app if not installed (coché par défaut) : Propose d'installer l'application TWRP si ce n'est pas déjà fait. Décochez moi ça. C'est juste pénible puisque vous ne voulez pas de cette appli.
   

 L'application TWRP

L'équipe derrière TWRP propose aussi une application non open-source et uniquement disponible sur le PlayStore (ou directement sur le site officiel de TWRP). Certes elle facilite (un tout petit peu) l'installation des mises à jour de TWRP mais je déconseille son utilisation.

Au moment de redémarrer, si vous avez oublié de décocher l'option mentionné plus haut, cet écran va apparaître. Décochez Prompt to install TWRP app if not installed puis cliquez sur Do Not Install.

C'est un des gros points noir de TWRP. C'est limite s'ils ne forcent pas son installation. Il faut aussi savoir que l'application peut collecter des données de connexion. L'équipe derrière TWRP a conclu un partenariat avec l'entreprise P3 qui s'occupe d'une partie du développement et de proposer une fonction de monitoring de votre connexion réseau :
==> Détails de l'équipe TWRP

Je vous laisse vous faire votre avis

Advanced

Quelques fonctionnalités supplémentaires :

• Copy Log : Permet de copier le journal du recovery à la racine de la mémoire interne du téléphone. Pratique pour identifier des anomalies.
• ADB Sideload : Mode particulier d'ADB qui permet d'installer des applis depuis votre PC en une seule commande. C'est surtout utile aux développeurs.
• Terminal : Pour faire la même chose qu'avec l'interface graphique mais en ligne de commande. La liste des commandes disponibles se trouvent ici.
• File Manager : Gestionnaire de fichiers minimaliste avec accès root permettant de copier, déplacer, renommer, supprimer et changer les permissions.

Reboot

Je ne pense pas que cette section mérite des explications. Just un petit rappel : Download correspond au Fastboot mode.

Modifié le 20 décembre 2019 par Mreve
Ajout d'une remarque (Partie Install)