Si SSH/SCP/SFTP est long avant de demander l'authentification (5 secondes), c'est que le serveur essaie de faire une résolution de nom de l'IP du client et n'y parvient pas.

Deux solutions :
- Désactiver les résolutions DNS dans le fichier de configuration /etc/ssh/sshd_config avec l'option

UseDNS no

- Editer le fichier /etc/hosts et forcer un nom pour l'IP du client.

La première solution empêche de faire des filtres en fonction du nom de domaine du client.
La deuxième solution impose de connaître l'IP des clients.

En mode débug, quand cela ne fonctionne pas, le client reste en attente 5s après la ligne :

debug1: SSH2_MSG_SERVICE_ACCEPT received