fonction tapply avec un test

[Mattis Denonfoux]

Bonjour, j'ai un soucis avec l'utilisation de la commande tapply().
En effet, lorsque j'effectue un tapply où le FUN est un test (lillie.test en l'occurence).

Code : Tout sélectionner

tapply(X1$valeurfonc[filtre1],X1$l_codinsee[filtre1],lillie.test)

et voici le message d'erreur que R me renvoie : Error in FUN(X[[i]], ...) : sample size must be greater than 4

Les longueurs de mes 2 arguments sont bien équivalentes, je n'ai eu aucun problème avec le tapply lorsque FUN=skew ou kurtosi. L'aide sur R ne m'aide pas plus que ça...

Au cas où tapply() n'est pas la fonction adaptée, ce qui m'intéresse ici est de tester la distribution de mes valeurs foncières à une loi normale, commune par commune.

Merci d'avance pour votre aide, bonne journée
MD

[Pierre-Yves Berrard]

Bonjour,
Manifestement, c'est un message d'erreur de la fonction lillie.test qui indique qu'il y a trop peu de données.
À noter que je ne connais pas la fonction lillie.test, ni le package duquel elle provient.

[Mattis Denonfoux]

À noter que je ne connais pas la fonction lillie.test, ni le package duquel elle provient.

lillie.test vient du package "nortest", c'est une alternative au test de Kolmogorov-Smirnov.

c'est un message d'erreur de la fonction lillie.test qui indique qu'il y a trop peu de données

La taille de mon échantillon avec filtre est de l'ordre de 450 000 individus mais vous me faites penser que cela doit venir du fait que dans certaines communes (X1$l_codinsee[filtre1]), il y a moins de 4 individus...

Merci tout de même de votre réponse

[Eric Wajnberg]

Un moyen de savoir est évidement de lancer le tapply avec length :

Code : Tout sélectionner

tapply(X1$valeurfonc[filtre1],X1$l_codinsee[filtre1],length)

Eric.

[Mattis Denonfoux]

Je n'avais pas pensé à ce type de commande, en effet ça vient bien d'ici, j'ai pu créer un filtre... Ce qui m'améne à un nouveau type d'erreur x)
Je vous copie le code puis l'erreur, si quelqu'un à la réponse on ne sait jamais, sinon je me débrouillerai avec une autre commande.

Code : Tout sélectionner

com4=tapply(X1$valeurfonc[filtre1],X1$l_codinsee[filtre1],length)
com4=com4[com4>=4]

Code : Tout sélectionner

tapply(X1$valeurfonc[filtre1][com4],X1$l_codinsee[filtre1][com4],lillie.test)

Error in if (pvalue > 0.1) { :
valeur manquante là où TRUE / FALSE est requis

Merci encore de votre aide.
MD

[Pierre-Yves Berrard]

Présence de valeurs manquantes ?

Un moyen de savoir est évidement de lancer le tapply avec (length) anyNA:

Code : Tout sélectionner

tapply(X1$valeurfonc[filtre1], X1$l_codinsee[filtre1], anyNA)

[Mattis Denonfoux]

Elles ont été supprimées au préalable, mếme après vérification, il n'y en a aucune

[Pierre-Yves Berrard]

Il doit y avoir un ou plusieurs groupes pour lequel lillie.test ne fonctionne pas.

Un moyen de trouver quels groupes provoquent une erreur est d'utiliser safely du package purrr :

Code : Tout sélectionner

tapply(X1$valeurfonc[filtre1], X1$l_codinsee[filtre1], purrr::safely(lillie.test))

[Logez Maxime]

Bonjour,

le problème vient surement en partie de là :

Code : Tout sélectionner

tapply(X1$valeurfonc[filtre1][com4],X1$l_codinsee[filtre1][com4],lillie.test)


com4 est un vecteur beaucoup plus petit que celui de départ puisque tu synthétises l'information pour chaque modalité :

Code : Tout sélectionner

f <- rep(letters[1:4], c(3, 4, 4, 1))
f
 [1] "a" "a" "a" "b" "b" "b" "b" "c" "c" "c" "c" "d"

tapply(x, f, length)
a b c d
3 4 4 1
com4 <- tapply(x, f, length)
com4>=4
    a     b     c     d
FALSE  TRUE  TRUE FALSE


Ici le vecteur de départ contient 12 valeurs mais com4 que 4 (le nombre de modalités), donc quand tu fais une sélection directement à partir de com4 tu recycles le booléen que tu obtenus mais tu ne sélectionnes pas les modalités à plus de 4 :

Code : Tout sélectionner

f[com4>=4]
 f[com4>=4]
[1] "a" "a" "b" "b" "c" "c"

Ici "d" a été virée mais c'est un coup de chance, c'est parce qu'en fait tu as fait sans t'en rendre compte :

Code : Tout sélectionner

rep(com4>=4,3)
a     b     c     d     a     b     c     d     a     b     c     d
FALSE  TRUE  TRUE FALSE FALSE  TRUE  TRUE FALSE FALSE  TRUE  TRUE FALSE

Donc la dernière valeur de f ne sera pas gardée.
Par contre la modalité "a" n'aurait pas du être conservée et dans les faits elle l'est parce que tu n'as pas appliqué ta sélections sur les modalités :

Code : Tout sélectionner

# modalités à conserver :
cons <- names(com4)[com4>=4]
cons
[1] "b" "c"
f[f%in%cons]
[1] "b" "b" "b" "b" "c" "c" "c" "c"


Après quand tu filtres un facteur, toutes les modalités sont conservées dans les levels même si elles ne sont plus visibles dans le facteur. Il faut souvent redéfinir un facteur pour enlever les modalités qui ne nous intéresse pas des levels :

Code : Tout sélectionner

f <- factor(f)
f[f%in%cons]
[1] b b b b c c c c
Levels: a b c d # a et d font toujours partie des levels

tapply(x[f%in%cons], f[f%in%cons], sd)
        a         b         c         d
       NA 1.0294942 0.8929915        NA # ici a et d apparaisse encore dans le tapply
 
tapply(x[f%in%cons], factor(f[f%in%cons]), sd)
         b         c
1.0294942 0.8929915 # a et d ont disparus


Je ne sais pas si c'est ça, mais en tout cas ce sont deux pistes à regarder.

Cordialement,
Maxime

[Mattis Denonfoux]

J'ai enfin réussi ce matin à l'appliquer (aussi sur des fonctions précédentes).
Un grand merci pour vos indications précises, vous êtes mon sauveur!

MD