Par défaut, Chrony essaie de se connecter à des serveurs extérieurs pour se synchroniser. Ce n'est pas forcément autorisé.
Pour forcer Chrony à utiliser un serveur spécifique (1.2.3.4 dans l'exemple), il faut le rajouter : echo 'server 1.2.3.4 iburst' > /etc/chrony/sources.d/local-ntp-server.sources
Il faut désactiver le pool qui est défini dans le fichier de base /etc/chrony/chrony.conf.

Et l'activer : chronyc reload sources

Pour vérifier les sources : chronyc sources