Grep para un elemento específico

Estoy como atrapado en una situación difícil. Tengo un file, cuyo contenido se ve así:

3 2017-05-30 2017-09-29 2 2017-05-27 2017-08-26 1 2017-05-27 2017-08-26 

Ahora, el usuario selecciona modificar una date eligiendo labelNum, que serían los valores en la columna 1. Sobre la request, si el usuario ingresa 3. Quiero imprimir la columna 2.

Entonces escribí

 cat temp.txt | grep $labelNum | awk '{print $2}' 

Si labelNum es 3, obtengo el resultado como 2017-05-30

Pero, si el usuario ingresa labelNum como 2, entonces obtengo:

 2017-05-30 2017-05-27 2017-05-27 

Porque está buscando '2' en todas partes en el file .txt. Sin embargo, quiero la columna 2 para labelNum 2, que sería 2017-05-27

¿Hay alguna forma de hacer esto? Intenté usar awk para replace grep pero no tuve suerte.

Gracias.

Editar: las filas son dinámicas y pueden cambiar a medida que se agregan más inputs al file de text. Entonces realmente no puedo usar sed para saltar a la línea