Introduction à l'IAMF

Qu'est-ce que l'IAMF?

https://aomediacodec.github.io

L'Interactive Audio Media Format (IAMF) est un nouveau format audio développé par l'Alliance for Open Media (AOM) qui vise à révolutionner l'expérience audio immersive et interactive. Ce format open-source est conçu pour offrir:

• Une spatialisation audio avancée

• Une interactivité enrichie

• Une personnalisation pour l'auditeur

• Une compatibilité avec différents écosystèmes

Origines et développement

IAMF est développé par l'Alliance for Open Media, un consortium qui comprend des acteurs majeurs comme Google, Apple, Amazon, Netflix et d'autres. Ce format s'inscrit dans la continuité des codecs AV1 et s'intègre parfaitement avec eux.

Architecture technique de l'IAMF

Structure de base

Le format IAMF est construit autour de plusieurs composants clés:

1. En-tête (Header): Contient les métadonnées essentielles

2. Descripteurs audio: Définissent les caractéristiques des flux audio

3. Métadonnées interactives: Permettent l'adaptation dynamique

4. Données audio: Les échantillons audio proprement dits

Caractéristiques techniques principales

• Support du son 3D: Spatialisation avancée avec support pour le positionnement dynamique

• Couches audio multiples: Permet des mixages complexes

• Paramètres interactifs: Volume, égalisation et effets modifiables en temps réel

• Efficacité de codage: Utilisation des codecs AV1 pour une compression efficace

Cas d'utilisation

Applications potentielles

1. Divertissement:

   • Films et séries avec audio adaptatif

   • Jeux vidéo avec son dynamique

   • Expériences musicales interactives

2. Réalité virtuelle et augmentée:

   • Audio spatialisé précis

   • Adaptation au mouvement de l'utilisateur

3. Accessibilité:

   • Personnalisation des pistes audio

   • Adaptation aux préférences de l'auditeur

4. Publicité interactive:

   • Messages audio adaptés au contexte

Implémentation et outils

Intégration avec les codecs existants

IAMF est conçu pour fonctionner en tandem avec:

• AV1 pour la vidéo

• Opus et autres codecs audio

Outils de développement

L'écosystème IAMF propose:

• Bibliothèques de référence

• Outils de création de contenu

• Plugins pour moteurs audio populaires

Avantages par rapport aux formats existants

Démonstration pratique

Exemple de configuration basique

Workflow typique

1. Création du contenu audio avec outils auteurs

2. Encodage au format IAMF

3. Intégration dans l'application

4. Lecture avec adaptation interactive

Défis et limitations

Points à considérer

• Nécessite un support matériel/logiciel

• Courbe d'apprentissage pour les créateurs

• Compatibilité avec l'existant

Perspectives d'évolution

• Amélioration des outils auteurs

• Extension des capacités interactives

• Adoption par les plateformes majeures

Conclusion

IAMF représente une avancée significative dans les technologies audio, combinant immersion, interactivité et accessibilité dans un format ouvert. Son adoption pourrait redéfinir les standards de l'audio numérique dans les années à venir.

Ressources supplémentaires

• Site officiel IAMF

• Documentation technique

• Exemples d'implémentation

• Communauté de développement

Encodage IAMF avec des outils externes (FFmpeg et MP4Box)

https://github.com/AOMediaCodec/iamf-tools/blob/main/docs/external/encoding_with_external_tools.md#merge-an-iamf-file-with-video-into-mp4

1. Introduction à l'encodage IAMF

L'Interactive Audio Media Format (IAMF) peut être encodé et encapsulé dans des fichiers MP4 à l'aide d'outils open-source comme FFmpeg et MP4Box. Ces outils permettent :

• L'encodage de fichiers audio (WAV) en IAMF

• La fusion avec une vidéo dans un conteneur MP4

• La gestion des métadonnées de spatialisation et d'interactivité

2. Encodage avec FFmpeg

FFmpeg permet d'encoder des pistes audio en IAMF et de les fusionner avec une vidéo.

2.1. Notes importantes avant de commencer

• Ordre des canaux : Par défaut, FFmpeg suppose un ordre de canaux conforme à ITU-R BS.2051. Si votre fichier utilise un autre ordre, modifiez les indices dans channelmap.

• Métadonnées de loudness :
  IAMF nécessite des informations de volume normalisé (integrated_loudness en LKFS et digital_peak en dBFS).
  Vous pouvez les mesurer avec des outils comme loudnorm ou astats dans FFmpeg.

2.2. Exemples d'encodage avec FFmpeg

Encodage d'un fichier stéréo en IAMF

Encodage d'un fichier 5.1 en IAMF

🔹 Encodage d'un fichier Ambisonics (1er ordre) en IAMF

3. Fusion avec MP4Box

MP4Box permet d'encapsuler un fichier .iamf autonome dans un MP4 et de le fusionner avec une vidéo.

3.1. Fusion simple d'un fichier IAMF avec une vidéo

3.2. Fusion avec FFmpeg (pour des configurations complexes)

4. Conclusion

• FFmpeg est idéal pour encoder directement des WAV en IAMF et les fusionner avec une vidéo.

• MP4Box est plus simple pour fusionner un fichier IAMF existant avec une vidéo.

• Les métadonnées de loudness sont essentielles pour une expérience audio cohérente.

Documentation officielle :

• FFmpeg

• MP4Box

• IAMF Specs