Cómo eliminar las comillas dobles del file pero no dentro de las comillas dobles

Tenemos un ejemplo de file CSV parcial (con solo 3 campos)

nuestro objective es eliminar todos los " caracteres pero no dentro de las comillas dobles"

 ssl-server,"ssl.server.truststore.type","jks" tez-env,"enable_heap_"\n"dump","false" tez-env,"heap_dump_location"\n"port","/tmp" tez-env,"tez_user","tez" 

Rendimiento esperado:

 ssl-server,ssl.server.truststore.type,jks tez-env,enable_heap_"\n"dump,false tez-env,heap_dump_location"\n"port,/tmp tez-env,tez_user,tez