Environment R

[Montana ROQUILLET]

Bonjour à tous,

J'ai une question relative à l'environnement R.
Je travaille avec des fichiers de plus en plus volumineux (plusieurs Go) et ma machine (Windows avec 8 Go de Ram) me limite quant à la manipulation de ces données.
Après moultes recherches, j'ai pu découvrir que Windows n'allouait pas plus de 2 Go au logiciel, et qu'il était par conséquent inutile que je commande une machine Windows plus puissante. Est-ce que vous pouvez me confirmer cette information ?
Je pense donc me tourner vers Linux, mais je n'ai le choix que d'une machine sans interface graphique, tout en lignes de commandes. Je n'ai jamais travaillé sous Linux et j'utilise RStudio, me sentant plus à l'aise avec une interface graphique. De fait, j'aimerais connaître les différences notables qui risquent de me perturber si je passe de Windows à un Linux sans interface, et s'il y a des fonctionnalités que je risque de ne pas retrouver (je pense notamment aux graphiques : sans interface, pas de grapique ?).
D'autre part, étant donné la quantité de données à traiter toujours plus volumineuse, je souhaite lier une base de données (je pense à MySQL) au logiciel R pour stocker les données que je reçois (jusqu'ici, tout est stocké en fichiers csv dans des répertoires). Est ce possible sous Linux, et est-ce aisé à mettre en place et à utiliser ?

Si vous avez des suggestions, des conseils, des expériences dont vous pourriez me faire part, ou tout simplement des pages internet vers lesquelles je peux me tourner, je suis preneuse.

Merci beaucoup,

Montana ROQUILLET

[Mickael Canouil]

Bonjour,

vous pouvez changer la mémoire allouée sous Windows avec la fonction memory.limit().

Linux n'est pas nécessairement un système d'exploitation sans interface utilisateur (ubuntu par exemple).
rstudio est disponible aussi sous plusieurs distributions linux (https://www.rstudio.com/products/rstudi ... /#download).

Pour ce qui est du support de stockage, la question dépend de plusieurs paramètres comme l'utilisation. C'est un sujet un peu en dehors des objectifs du forum.

Cordialement,

[Serge Rapenne]

Bonjour,

Le pb de l’absence d'environnement graphique peut être contourner en installant rstudio-server sur la machine linux. Une fois installé, tu pourras te connecter à cette machine et développer avec Rstudio depuis un navigateur internet depuis n'importe quel pc du réseau (depuis ton pc sous windows par ex).
Tu as aussi la solution emacs + ESS https://www.r-bloggers.com/using-r-with-emacs-and-ess/ et certainement bien d'autres possibilités !

Installer et paramétrer une bd sous linux ne pose normalement aucun soucis, la connexion avec R pas plus. Selon la distribution Linux que tu utilises ça doit être plus ou moins facile, mais sur une Debian (ou ubuntu en simplifiant c'est pour ainsi dire la même chose) ça doit se limiter à :

Code : Tout sélectionner

apt-get install mysql-server-5.6 mysql-client-5.6
Rscript - e 'install.packages("RMySQL", repos="http://cran.us.r-project.org")'

Serge

[Montana ROQUILLET]

Bonjour,

Merci pour vos retours respectifs.

Mickael, j'ai bien tenté d'utiliser cette fonction, malheureusement elle a également ses limites..

Serge, super, je ne connaissais pas cette version de R, elle semble parfaitement correspondre à mes besoins, je vais me tourner vers cette solution ! Merci pour l'explication de l'installation de la bd, je vais tenter ça !

Bonne journée,

Montana ROQUILLET

[matthieu faron]

Bonjour,

Par curiosité tu utilises un Windows et un R 32 ou 64 bit ?

J'ai Windows 7 64 bit, la version 64 bit de R, 16 GO de mémoire vive, je travaille actuellement avec un fichier qui une fois chargé dans R fais 14 GO et ça marche sans problème.

Je croyais que la limite de 2 GO était celle pour les machines 32 bits....

[Mickael Canouil]

Par défaut, R sous Windows n'exploitera pas toute la mémoire disponible, pour notamment des questions de performance (du moins initialement).

La limite (brute, i.e., adressage physique standard) de mémoire vive est (sous n'importe quel système d'exploitation) :

• 32-bit = 4 GB
• 64-bit = 64 GB (avec un adressage plus important 4 PB)

Ici, j'ai plus l'impression qu'il s'agit de trouver une méthode "brute force" en jouant sur la mémoire plutôt que sur la gestion des données (en particulier dans R).

Mickael, j'ai bien tenté d'utiliser cette fonction, malheureusement elle a également ses limites..

C'est à dire ?

[Montana ROQUILLET]

Bonjour à tous,

Je reviens un peu tardivement sur le sujet (malgré moi, toutes mes excuses).

Matthieu,
J'utilisais un windows 64 bit avec 8G de Ram, mais un R 32 bit... Là était peut-être le problème. Actuellement je travaille sur une Vm Windows 64 bit avec 16G de Ram, mais toujours un R 32 bit. Les performances sont meilleures pour traiter mes fichiers mais le traitement reste parfois très long. Je n'avais pas pensé à voir du côté de la version du logiciel, je vais tenter de changer de version, merci.

Mickael,
Merci pour ces précieuses informations.
La fonction memory.limit() ne changeait rien à mon problème malheureusement, les fichiers restaient a priori trop volumineux pour être manipulés dans R.

Cordialement,

Montana ROQUILLET

[Eric Casellas]

Salut,

Au cas où pour trouver des pistes il y a une task view de R sur l'utilisation de BDD : https://cran.r-project.org/web/views/Databases.html
Et il y en a aussi une sur HPC qui a un section "Large memory and out-of-memory data " : https://cran.r-project.org/web/views/HighPerformanceComputing.html

Eric

[Montana ROQUILLET]

Bonjour Éric,

Génial je vais étudier tout ça !
Merci beaucoup pour ces liens :)

Bonne journée,

Montana ROQUILLET