Commandothèque

Édition française · relevé du 16 novembre 2026

Accueil

Fiche

awk et les logs : pourquoi l’agrégation glisse d’une heure

mktime() et strftime() lisent le fuseau du processus, pas celui de la ligne de log. Un journal parisien agrégé sur une machine en UTC glisse de 3 600 secondes, et le changement d’heure fusionne deux heures.

Rédaction Commandothèque

Le décalage ne vient pas d’awk : il vient de la ligne de log, qui ne porte pas de fuseau. awk convertit une date en secondes avec le fuseau du processus — la variable TZ, ou /etc/localtime — jamais avec celui du serveur qui a écrit la ligne. Un agrégat horaire calculé sur une machine en UTC à partir d’un journal en Europe/Paris décale donc chaque seau de 3 600 secondes en hiver et de 7 200 secondes en été, et deux lignes de la même heure peuvent tomber dans le même seau ou dans le voisin.

awk ne lit pas le fuseau dans le texte, il applique le sien

gawk documente mktime(datespec [, utc-flag]) : si le second argument existe et n’est pas nul, la date est lue en UTC ; sinon la conversion utilise le fuseau local, avec un cas particulier quand l’argument est négatif (la valeur par défaut) et que gawk doit décider si l’heure d’été s’applique. strftime(format [, timestamp [, utc-flag]]) suit la même règle. Aucun de ces paramètres n’est le fuseau de la ligne : il est ambiant.

Cette ambivalence est la cause principale des rapports qui changent d’aspect selon la machine qui les produit. Le même fichier, le même script et la même version d’awk donnent deux histogrammes différents si l’un des deux hôtes est en UTC. Le script n’a pas de bug ; il n’a pas de position sur la question du temps.

Le script peut refuser de tourner avant même de se tromper

Sur un Mac, awk version 20200816 ne connaît ni mktime ni strftime : l’appel s’arrête sur awk: calling undefined function mktime. POSIX ne définit pas ces fonctions, elles viennent de gawk et de quelques awk modernes. Un traitement écrit sur un poste Linux et déplacé vers macOS ou vers une image minimale échoue donc à la première ligne, pas au calcul.

La ligne de log ne dit pas son fuseau

Le format syslog historique (RFC 3164) écrit Mmm dd hh:mm:ss, sans année et sans décalage. Le format RFC 5424 ajoute l’année et un décalage, mais seulement si l’application le produit. Un parc de trois serveurs dont deux écrivent en heure locale et un en UTC fournit un flux que rien ne distingue à la lecture, et qu’un sort ne remet pas d’aplomb.

Dans un seau horaire, l’erreur est silencieuse. 3 600 secondes de décalage suffisent à faire passer une ligne de 23:59 à 00:59 le lendemain, et donc à changer de jour dans les totaux. 7 200 secondes en été déplacent deux heures, ce qui suffit à inverser le classement de deux plages dans un rapport, sans qu’aucun compteur ne signale l’anomalie.

Les deux heures qui n’existent pas

En Europe/Paris, le 29 mars 2026 à 02:30 n’existe pas : les horloges passent de 02:00 à 03:00. La commande date -j -f "%Y-%m-%d %H:%M:%S" "2026-03-29 02:30:00" +%s ne refuse pas la valeur, elle rend 1774747800, soit 03:30 heure de Paris. Une heure inventée est devenue une heure réelle, et une ligne qui n’aurait jamais dû exister compte dans le total.

Le 25 octobre 2026, 02:30 existe deux fois. La même commande rend 1792888200, soit 00:30 UTC, donc la première occurrence, en heure d’été. La seconde, 01:30 UTC, n’est jamais produite. Un tableau indexé sur l’heure locale fusionne alors deux fenêtres de 3 600 secondes en une seule et perd la moitié des lignes de la seconde.

Trois corrections qui tiennent

1. Normaliser à l’entrée

La conversion doit se faire là où le fuseau est connu, pas dans awk. GNU date accepte date -u -d "2026-11-12 02:15:00+01:00" +%s ; BSD date accepte date -j -f "%Y-%m-%d %H:%M:%S%z" "2026-11-12 02:15:00+0100" +%s. En sortie, awk ne reçoit qu’un entier et ne peut plus se tromper.

2. Agréger en UTC, formater à la sortie

La clé de seau est int(t / 3600), calculée sur un horodatage déjà en UTC. Le libellé se produit à la fin, avec strftime("%Y-%m-%dT%H:00Z", t, 1) ou en lançant le traitement avec TZ=UTC. Forcer TZ dans l’environnement est la seule variante qui protège aussi un script lancé par un démon, dont le fuseau n’est pas celui du terminal.

3. Compter les lignes non converties

Un compteur de lignes non reconnues, affiché en fin de traitement, vaut mieux qu’un total propre. Si le nombre de lignes ignorées dépasse zéro, le rapport doit le dire : un agrégat qui ne couvre que 94 % des lignes est un agrégat faux, pas un agrégat approximatif.

Un test qui prouve le décalage avant de publier un chiffre

Deux exécutions sur le même fichier, l’une avec TZ=UTC, l’autre avec TZ=Europe/Paris, doivent produire les mêmes totaux par heure UTC et des libellés différents. Si les deux sorties sont identiques, le script ne convertit rien : il découpe la chaîne. Si la somme des seaux est inférieure au nombre de lignes du fichier, une partie du flux a été perdue dans une conversion, le plus souvent sur les deux lignes de transition.

Ce contrôle prend une minute et évite la question la plus coûteuse d’un rapport d’incident : « pourquoi le pic de 3 h n’apparaît pas ici alors qu’il apparaît là ». Une heure d’écart dans un graphique suffit à envoyer une équipe sur la mauvaise piste pendant une nuit.

Sources