Regression logistique

[gael le dily]

Bonjour,

Je poste un message car j'ai quelques petites questions par rapport à R sur la regression logistique.
J'ai fouillé un peu sur le forum et n'ai pas trouvé les réponses.

J'aimerais tout d'abord savoir si il existe un package ou une fonction permettant de faire de la sélection de variables de manière ascendante ou descendante où si l'on devait le faire pas à pas à la main?

Mes variables explicatives sont un mélanges de variables qualitatives et quantitatives dois-je utiliser un modèle spécifique?

En vous remerciant des réponses que vous pourriez m'apporter!!

[Renaud Lancelot]

Bonjour,

Je poste un message car j'ai quelques petites questions par rapport à R sur la regression logistique.
J'ai fouillé un peu sur le forum et n'ai pas trouvé les réponses.

J'aimerais tout d'abord savoir si il existe un package ou une fonction permettant de faire de la sélection de variables de manière ascendante ou descendante où si l'on devait le faire pas à pas à la main?

Code : Tout sélectionner

?step

Mes variables explicatives sont un mélanges de variables qualitatives et quantitatives dois-je utiliser un modèle spécifique?

En vous remerciant des réponses que vous pourriez m'apporter!!

glm fait l'affaire dans tous les cas (où le modèle linéaire généralisé est pertinent :-) )

[gael le dily]

Merci,

en fouillant toute la matinée j'avais trouvé stepAIC comme fonction qui est la même chose semble-t-il.

Maintenant un autre problème se pose à moi. Je ne suis pas trés bon sur ce coup :D.

Lorsque je veux intégrer une nouvelle variable dans mon modèle , j'ai les messages d'erreur de R me spécifiant qu'il a mis des proba à 1 ou 0 et que l'algorithme n'a pas pu converger.
En regardant les valeurs qu'il estime je trouve pile celles que je veux...

Il semblerait que le problème de convergence arrive à partir du moment ou je met plus de 4 variables explicatives avec leur interactions.

en marquant :

Code : Tout sélectionner

A*B*C*D*E

si A,B,C,D,E sont les variables considérées...

Auriez vous une indication pour m'aider. Cordialement

[Renaud Lancelot]

Merci,

en fouillant toute la matinée j'avais trouvé stepAIC comme fonction qui est la même chose semble-t-il.

Presque.

Maintenant un autre problème se pose à moi. Je ne suis pas trés bon sur ce coup :D.

Lorsque je veux intégrer une nouvelle variable dans mon modèle , j'ai les messages d'erreur de R me spécifiant qu'il a mis des proba à 1 ou 0 et que l'algorithme n'a pas pu converger.
En regardant les valeurs qu'il estime je trouve pile celles que je veux...

Il semblerait que le problème de convergence arrive à partir du moment ou je met plus de 4 variables explicatives avec leur interactions.

en marquant :

Code : Tout sélectionner

A*B*C*D*E

si A,B,C,D,E sont les variables considérées...

Auriez vous une indication pour m'aider. Cordialement

C'est pas un message d'erreur, mais un warning... Vous êtes arrivé à un modèle qui sépare complètement les données, et la vraisemblance n'est plus calculable. C'est malheureusement souvent la conséquence d'une surparamétrisation du modèle, comme ça semble être le cas ici ==> rester avec des modèles plus simples.

[gael le dily]

J'ai réussi à trouver la configuration minimale pour ne pas avoir le problème de convergence de l'algorithme. Or ce modèle ne me permet pas d'avoir des résultats satisfaisants.

Si je rajoute des variables ,et ne suit donc plus dans le modèle avec convergence, j'imagine que les valeurs des coefficients trouvées par la méthode ne sont pas du tout fiable.

Je vous remercie des réponses que vous avez pu m'apporter

[Vincent Boulanger]

J'ai parfois eu des cas similaires de surparamétrisation de modèles, et en grattant un peu, j'étais arrivé à la conclusion que les résultats n'étaient pas interprétables si le modèle n'avait pas convergé.

VB

[gael le dily]

je te remercie de ta réponse. Je voulais comparer différentes méthodes pour faire de la classification. J'ai déjà eu un bon résultat avec une AFM suivit d'une classification. Mais je crois que la régression logistique n'est pas géniale dans mon cas..