SSH-Config – ¿Hay alguna forma de determinar si es local o remota?

Mi ssh-config actualmente tiene dos inputs para cada host, una que tiene el nombre de host local y otra que tiene la dirección remota del host.

Me pregunto si hay alguna forma de combinar esas dos inputs para que ssh elija automáticamente la forma correcta de conectarse al host, dependiendo de si soy local o remoto.