LUKS con authentication de llave USB, ¿qué tan seguro es?

Estoy pensando en crear un encryption LUKS utilizando una llave USB en lugar de una frase de contraseña para desbloquear mi disco duro.

Sin embargo, algunas personas me dijeron que usar una llave USB para authentication es less seguro que una frase de contraseña. Mi pregunta es: ¿cómo es less seguro? Y estoy pensando en un escenario donde utilizo dicha llave USB solo en mis propios dispositivos y en este caso mi llave USB nunca es robada.

Sé que podría ir más allá y establecer una authentication de dos factores, pero eso no es lo que estoy preguntando.