Pour définir la timezone ou fuseau horaire utilisé par Debian/Ubuntu, il faut éditer le fichier /etc/timezone et lui mettre la ligne :
Europe/Paris
Pour mettre la machine en UTC, on met
Etc/UTC

La compilation de cette information est faite par dpkg-reconfigure tzdata

Il faut relancer tous les daemons pour que cette information soit prise en compte. Un petit reboot est donc souhaitable.