Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Comment analyser des fichiers .txt extrêmement volumineux (plus de 70 Go) ?

ayi

ayi_2

Choisissez vos outils
Il semble qu’Excel ne soit pas un outil adapté à ce que vous voulez faire.
Une approche serait d’utiliser un outil différent pour consolider ou résumer les données. <code>awk</code>, <code>sed</code>, <code>grep</code> ou <code>perl</code> pourraient être mieux adaptés à ce traitement initial et créer un fichier CSV plus petit qui pourrait ensuite être traité dans Excel ou d’autres outils.
Il existe d’autres outils qui pourraient être mieux adaptés pour faire tout le travail. Peut-être quelque chose comme R ou un SGBD. Cela dépend de ce que vous voulez faire avec les données.
Pour simplement prendre un ensemble de fichiers texte hétérogènes et réorganiser et sélectionner des colonnes, je me tournerais immédiatement vers <code>perl</code>. D’autres utiliseraient <code>awk</code>.
Puisque des outils comme <code>awk</code> et <code>perl</code> peuvent traiter les fichiers ligne par ligne et n’ont pas besoin de tout stocker en mémoire, ils peuvent traiter des fichiers énormes qui feraient planter d’autres outils. Ils peuvent aussi être étonnamment rapides.
Juste pour le plaisir, un exemple
Avec ces données
<pre><code class="lang-auto">Apples,27,500,10.2,fruit,100,200,300
Chairs 1 501 123.78 furniture 101 201 301
Europe, 655, 502,0.0001,continent, 102, 202,302

</code></pre>
nous pouvons produire cette sortie
<pre><code class="lang-auto">fruit:Apples:10.2
furniture:Chairs:123.78
continent:Europe:0.0001

</code></pre>
en utilisant cette commande
<pre><code class="lang-auto">perl -l -n -e "print join(':',(split(/[, \t] */))[4,0,3])" *.txt

</code></pre>
explication
élément 
ce qu’il fait
<code>-l</code> 
ajouter un saut de ligne après chaque print
<code>-n</code> 
traiter ligne par ligne mais ne pas afficher implicitement
<code>-e</code> 
ce qui suit est un programme à exécuter
<code>print</code> 
afficher le résultat de l’expression suivante
<code>join(":"</code> liste<code>)</code> 
créer une chaîne à partir d’une liste, utiliser “:” entre chaque élément
<code>split (/</code>expr<code>/)</code> 
utiliser l’expression pour diviser la ligne en champs
<code>[, \t]</code> 
soit une virgule, un espace ou une tabulation suivi de
<code> *</code> (espace astérisque) 
0, 1 ou plusieurs espaces
<code>(</code>liste<code>)[4,0,3]</code> 
sélectionner les 4e, 0e et 3e éléments d’une liste
Ce programme d’une seule ligne est équivalent au suivant, qui peut être plus facile à suivre
`#!perl 
use warnings; 
use strict;
while(<>) { # lire ligne par ligne toute l’entrée ou tous les fichiers listés 
my @columns = split(/[, \t] */); # découper sur les espaces ou les virgules
(Réponse tronquée)