Imputation de notes

[Malarthe Bertrand]

Bonjour à tous,

Je souhaiterai réaliser une fonction qui impute des valeurs. En évitant une boucle FOR (Je l'ai testé, mais ma bdd comporte plus d'un million de lignes, c'est très long à compiler...)

Je m'explique avec un exemple de mon jeu de données :


Le but de la fonction serait d'imputer sur une nouvelle variable, lorsqu'il y a un NA compris entre deux notes similaires, la même note. Enfin, lorsque la première note (ou les) est NA, l'imputation ne se fait pas.


Merci par avance à toute la communauté.

[Dominique Soudant]

J'essaierais un truc comme ça :

1. créé une variable next qui contient la donnée suivante de la donnée courante genre next <- c(Note[-1],NA)
2. créé une variable previous qui contient la données précédente de la donnée courante genre previous <- c(NA, Note[-length(Note)])
3. créé une variable imputé qui contient la données précédente de la donnée courante genre imputed <- ifelse(is.na(Note) && previous == next, previous, Note)

@+

[Mickael Canouil]

Bonjour,

il serait peut-être bon de regarder du côté des implémentations R de la méthode "nearest neighbour imputation" (http://finzi.psych.upenn.edu/cgi-bin/na ... name=views)

Cordialement,

[Malarthe Bertrand]

Merci pour vos réponses,
mais quelqu'un a t'il une autre solution ?
j'ai essayé la première, elle ne fonctionne pas et renvoie que des NA.
La seconde est assez compliqué, je ne la comprends pas "nearest neighbour imputation"

Encore merci.

[Pierre-Yves Berrard]

quelqu'un a t'il une autre solution ?
j'ai essayé la première, elle ne fonctionne pas

Bonjour,

Ce n'est pas parce que ça ne marche pas du premier coup que c'est forcément à jeter.
En capitalisant sur l'idée de Dominique, j'obtiens une version qui marche si le donneur est à une distance maximale de 1 du receveur. Pas parfait, mais on progresse...

Code : Tout sélectionner

Note <- c(0, NA, 0, 1, NA, NA, 1, 2, NA, 3)
nextNote <- c(Note[-1], NA)
previousNote <- c(NA, Note[-length(Note)])

ifelse(
  is.na(Note) &
    !is.na(previousNote) &
    !is.na(nextNote) &
    previousNote == nextNote,
  previousNote,
  Note
)
# [1]  0  0  0  1 NA NA  1  2 NA  3

[Pierre-Yves Berrard]

Une autre idée :

Code : Tout sélectionner

library(tidyr)
library(dplyr)

Note <- c(0, NA, 0, 1, NA, NA, 1, 2, NA, 3)

notes_df <- data.frame(
  Note = Note,
  fill_down = Note,
  fill_up = Note
)

notes_df %>%
  fill(fill_down, .direction = "down") %>%
  fill(fill_up, .direction = "up") %>%
  mutate(imputation = ifelse(fill_down == fill_up, fill_down, NA))

[Malarthe Bertrand]

Une autre idée :

Code : Tout sélectionner

library(tidyr)
library(dplyr)

Note <- c(0, NA, 0, 1, NA, NA, 1, 2, NA, 3)

notes_df <- data.frame(
  Note = Note,
  fill_down = Note,
  fill_up = Note
)

notes_df %>%
  fill(fill_down, .direction = "down") %>%
  fill(fill_up, .direction = "up") %>%
  mutate(imputation = ifelse(fill_down == fill_up, fill_down, NA))

Bonjour,

cette méthode fonctionne parfaitement,

un grand merci à vous et aux autres réponses