Segmenter une base de 8go

Postez ici vos questions, réponses, commentaires ou suggestions - Les sujets seront ultérieurement répartis dans les archives par les modérateurs

Modérateur : Groupe des modérateurs

Pierre Hirach
Messages : 2
Enregistré le : 27 Juil 2021, 14:13

Segmenter une base de 8go

Messagepar Pierre Hirach » 06 Oct 2021, 08:21

Bonjour à tous,

J'ai récupéré une base de données de 8Go, évidemment il est impossible pour moi de l'ouvrir avec R. Il y a pas mal de nettoyage à faire dedans (suppression de nombreuses variables et de valeurs manquantes). Pour contourner dans un premier temps ce problème lié au volume important, j'ai pensé segmenter ma base en 4 fichiers de 2Go (plus gérable sur R).

Savez-vous comment je peux faire pour segmenter mon fichier en 4 sous-fichiers ?

Merci de votre aide !

Pierre

Mickael Canouil
Messages : 1315
Enregistré le : 04 Avr 2011, 08:53
Contact :

Re: Segmenter une base de 8go

Messagepar Mickael Canouil » 06 Oct 2021, 08:52

Bonjour,

Si c'est une base de donnée au sens traditionnelle, cela signifie que nous parlons de SQL ou noSQL, si c'est le cas, pourquoi ne pas faire les opérations au niveau de la base ? https://db.rstudio.com/

Si votre base de donnée n'est qu'un fichier plat, des commandes bash/shell/powershell pourront facilement découper le fichier selon le nombre de ligne. Une rapide recherche donne https://www.baeldung.com/linux/split-fi ... ne-numbers

Ceci étant l'assertion "évidemment il est impossible pour moi de l'ouvrir avec R" est fausse en général, mais peut-être vraie sur le système/machine que vous utilisez.

Cordialement,
Mickaël
mickael.canouil.fr | rlille.fr


Retourner vers « Questions en cours »

Qui est en ligne

Utilisateurs parcourant ce forum : Aucun utilisateur enregistré et 1 invité