[RESOLU] Calculer moyenne de chaque ligne sur la dernière heure

[Theo Boudard]

Bonjour,

J'ai un df qui se caractérise par une colonne Date (JJ/MM/AAAA HH:MM:SS) et une colonne de valeurs (des débits). Je cherche à créer une nouvelle colonne dans mon df où chaque ligne de cette nouvelle colonne correspond à la moyenne des valeurs de débit sur la dernière heure. (en lien avec ce questionnement plus global : viewtopic.php?f=3&t=10337)

L'idée est donc pour chaque ligne de connaitre la moyenne des débits sur la dernière heure. (et non pas de faire la moyenne pour chaque heure)

Bonne journée,
Théo Boudard

[Pierre-Yves Berrard]

Bonjour,

Si je comprends bien, le résultat devrait être le suivant ?

Code : Tout sélectionner

donnees <- data.frame(
  heure = as.POSIXct(c("2021-04-14 09:40", "2021-04-14 09:50", "2021-04-14 10:30", "2021-04-14 11:00")),
  debit = c(10, 100, 1000, 10),
  resultat = c(10, 55, 370, 505)
)

donnees
#>                 heure debit resultat
#> 1 2021-04-14 09:40:00    10       10
#> 2 2021-04-14 09:50:00   100       55
#> 3 2021-04-14 10:30:00  1000      370
#> 4 2021-04-14 11:00:00    10      505   

[Theo Boudard]

Bonjour,
C'est exactement ça. Comme dans votre exemple il n'y a pas nécessairement de régularité au niveau du nombre de valeurs par heure.

[Pierre-Yves Berrard]

Pas facile à réaliser a priori, parce que les groupes sur lesquels on voudrait calculer la moyenne se chevauchent...

[Theo Boudard]

Oui en effet ça fait un moment que je tente des trucs mais ça n'aboutit pas.

J'avais une piste mais je n'ai pas réussi, peut être que quelqu'un saura :
J'ai modifié légèrement mon df de sorte que le pas de temps soit fixe, soit une ligne toute les 2mn. Il y aurait donc peut être moyen de dire a R de faire la moyenne sur les 30 lignes précédentes (30*2mn=1h). C'est une idée mais je n'ai pas réussi a la concrétiser si jamais quelqu'un a une solution ..

[Serge Rapenne]

Bonjour,

si la série temporelle est irrégulière, c'est effectivement coton !
Je ne vois pas d'autre solution que de compléter la série pour la rendre régulière (peut être avec la fonction complete du package dplyr) puis de calculer des moyennes glissantes par ex avec la fonction roll_mean du package RccpRoll

mes 2 centimes

Serge

[Theo Boudard]

Je vais regarder un peu ce que permet cette fonction, ça peut être la solution.
Merci,
Théo Boudard

[Pierre-Yves Berrard]

Un début d'idée (qui ne nécessiterait pas de modifier les données initiales) :

Pour chaque ligne, on cherche à calculer le nombre de lignes précédentes à prendre en compte pour calculer la moyenne.

Dans notre exemple, la durée à la précédente occurence en minutes est :

Code : Tout sélectionner

tps_dernier <- c(10, 40, 30)

(j'ai exclu la première occurence qui est un peu particulière)

Le résultat voulu se calcule par :

Code : Tout sélectionner

vapply(
  seq_along(tps_dernier),
  function(n) {
    precedents <- rev(tps_dernier[1:n])
    sum(cumsum(precedents) < 60)
  },
   FUN.VALUE = integer(1)
)
#> [1] 1 2 1   

Cette étape préliminaire devrait être exceptionnellement longue à s'exécuter sur un gros jeu de données.

[Serge Rapenne]

je n'ai pas le temps de tester mais qq choses comme ça ne devrait pas être trop loin d'une solution possible :

Code : Tout sélectionner

library(dplyr)
library(RcppRoll)
 
  donnees<-donnees %>% complete(heure=seq.POSIXt(min(donnees$heure),max(donnees$heure),"2 min")) %>%
    mutate(resultat=roll_meanr(debit,n=30,na.rm=T)) %>% filter(!is.na(debit))

Serge

[Theo Boudard]

Merci beaucoup pour votre aide, je vais regarder ça.

Bonne journée,
Théo

[Logez Maxime]

Bonjour,

une possibilité avec les fonctions de base en recherchant pour chaque valeur les lignes qui correspondent à l'intervalle ]h-60 min;h].

Code : Tout sélectionner

donnees <- data.frame(
  heure = as.POSIXct(c("2021-04-14 09:40", "2021-04-14 09:50", "2021-04-14 10:30", "2021-04-14 11:00")),
  debit = c(10, 100, 1000, 10),
  resultat = c(10, 55, 370, 505)
)

res <- numeric(nrow(donnees))
for (i in seq_along(res))
  res[i] <- mean(donnees$debit[donnees$heure <= (donnees$heure[i]) & donnees$heure > donnees$heure[i]-3600])
donnees$resultat <- res


C'est pas forcément souhaitable comme méthode si tu as une longue série de données.
Si tu as une très longue série de données tu peux aussi paralléliser ce calcul.
Après il y a la question de la représentativité de telles moyennes. Des fois tu as une valeur en fin et en début d'une heure, d'autre fois tu as plus de valeurs, etc.

Cordialement,
Maxime

[Theo Boudard]

Bonjour,
Pour ce qui est de la représentativité de ces moyennes j'ai réglé le problème puisque ce que je voulais en fait c'était des sommes et non des moyennes, j'ai donc juste remplacé mean par sum et ça fonctionne très bien, un peu long en effet mais largement raisonnable.
Merci a tous pour votre aide.

Bonne semaine,
Théo Boudard