"tout à fait" always means "completely", "absolutely", "totally"
C'est tout à fait exact = It's absolutely true.
Je ne suis pas tout à fait prêt = I am not entirely ready.
C'est une bonne idée, n'est-ce pas ? - Tout à fait ! = It's a good idea, isn't it? - Absolutely!
To my understanding, "quite" in English can mean "completely", but also "to some extent". In French, "tout à fait" doesn't include the latter.