← Accueil actu | Salle du marché
2026-10-24 · Source:KDNuggets

Une banale étape de chargement de données a multiplié la mémoire résidente par presque dix-neuf ; les analyseurs en flux comme ijson traitent les enregistrements un à un, gardant une empreinte constante quelle que soit la taille du fichier.
808 Mo. C'est l'empreinte atteinte par un processus Python après l'ingestion d'un unique fichier JSON qui ne pesait que 43 Mo sur le disque — une expansion de près de dix-neuf fois, et le problème au cœur d'un récent guide d'ingénierie de KDNuggets.
Le bond n'est pas un bug ; c'est le comportement par défaut de l'analyse de fichier entier. Quand Python charge un document JSON de la manière conventionnelle, il matérialise d'un coup toute la hiérarchie — chaque objet, tableau et chaîne — en structures Python natives bien avant que toute analyse ne commence. Comme les objets Python portent un surcoût substantiel par élément, un document compact en tant que texte peut occuper un ordre de grandeur de plus en mémoire vive. Pour toute équipe qui supposait que la taille du fichier était un indicateur fiable des besoins en RAM, la distance entre 43 Mo et 808 Mo est une correction désagréable.
La réponse du guide est ijson, un analyseur en flux. Plutôt que de lire tout le document en mémoire, ijson le parcourt par incréments, produisant un enregistrement à la fois afin que le code puisse traiter et jeter chaque élément avant l'arrivée du suivant. La mémoire suit alors la taille d'un seul enregistrement et non celle du fichier — c'est ce que l'auteur entend en disant que le streaming « a tout changé ».
La leçon dépasse le format d'un seul fichier. Les pipelines qui butent sur des plafonds de RAM échouent souvent non parce que les données sont vraiment trop grosses, mais parce que la stratégie de chargement tient à tout matérialiser simultanément.
Pour les planificateurs d'infrastructure IA, l'épisode est un point de données discret mais pratique. La marge mémoire sur les nœuds d'entraînement et de prétraitement coûte cher, et une étape qui gonfle une entrée de 43 Mo en 808 Mo de mémoire résidente force des instances plus grandes que ce que la charge sous-jacente exige réellement. L'ingestion en flux figure parmi les optimisations les moins chères disponibles précisément parce qu'elle ne requiert aucun nouveau matériel — seulement un chemin d'analyse différent.
Mots-clés: ijson · Python · JSON Streaming · Memory Management · Data Engineering
萬安算交所 AIXX · AIXX · Bourse compute vérifiée · Accéder à la salle