Données redondantes

[Coraline BRIS]

Bonjour

J'ai un jeu de données du type
ind1 ind2 ind3 ind4 ind5 ind6 ind7
mk1 A A G A A A G
mk2 C G G C G C G
mk3 T A A T A T A
mk4 A T T T T T T
mk5 G G A G G G G
mk6 T C C C C C C

Je souhaite supprimer les données qui me donnent des informations redondantes. Par exemple, le marqueur 4 me donne la même information que le marqueur 6, pareil pour les marqueurs 2 et 3.
La fonction duplicate() ne peut donc pas m'aider ici puisque les données ne sont pas à proprement parler dupliquées.

Quelqu'un aurait une idée?

Merci d'avance

Coraline

[Pierre-Yves Berrard]

Bonjour,

Par exemple, le marqueur 4 me donne la même information que le marqueur 6, pareil pour les marqueurs 2 et 3.

Pourquoi ?

(j'ai bien une idée que je pourrais confirmer en relisant mes cours de SVT de lycée...)

[Coraline BRIS]

Je travaille sur des données de génotypage donc sur les bases de l'ADN. J'ai donc de nombreuses données (plusieurs millions de lignes) donc la première raison est que j'aimerai diminuer la taille du jeu de données. Ensuite, quand je cherche à détecter des QTL/gènes associés à ces marqueurs, ils m'apportent tous la même information. Avoir une seule copie de cette information me suffit donc. Enfin, certains logiciels d'analyse ne supportent pas ces données redondantes et bloquent quand ils les rencontrent.

[Pierre-Yves Berrard]

ok, mais ça n'explique pas pourquoi les lignes 4 et 6 sont redondantes

[Coraline BRIS]

Pardon, je n'avais pas compris la question!

Les séquences changent de lettres aux mêmes endroits.
Je ne peux avoir que 2 lettres dans chaque séquence et la lettre importe peu en réalité. Ce qui compte ici c'est le fait de changer de lettre. Deux marqueurs qui changent de lettre toujours aux mêmes endroits sont donc considérés comme me donnant la même information.

J'espère être assez claire

Coraline

[Pierre-Yves Berrard]

Oui, c'est plus clair !

Une idée en utilsant la fonction rle sur chaque ligne (MARGIN = 1) du tableau de donnees.

Code : Tout sélectionner

longueurs_sequences <-
  apply(
    donnees,
    MARGIN = 1,
    function(x) paste(rle(x)$lengths, collapse = ",")
  )
donnees[!duplicated(longueurs_sequences), ]

#     ind1 ind2 ind3 ind4 ind5 ind6 ind7
# mk1    A    A    G    A    A    A    G
# mk2    C    G    G    C    G    C    G
# mk4    A    T    T    T    T    T    T
# mk5    G    G    A    G    G    G    G

[Coraline BRIS]

Ca fonctionne!
J'ai tout de même un problème avec les données manquantes...
Si j'ai
A A NA A T T
A A T A T T
les deux séquences sont considérées comme identiques.

Coraline

[Pierre-Yves Berrard]

J'ai tout de même un problème avec les données manquantes...

Avec une fonction plus élaborée ?

Code : Tout sélectionner

function(x) {
  rlex <- rle(x)
  rlex$lengths[is.na(rlex$values)] <- 0
  paste(rlex$lengths, collapse = ",")
}


À tester.

[Coraline BRIS]

J'avais réussi à faire quelque chose d'assez semblable.
Nos deux méthodes fonctionnent parfaitement. C'est un peu moins rapide en se préoccupant des NA mais plus juste!

Merci pour votre aide

Coraline