Ja. Es ist ein negativer Ausdruck.
Man sagt häufiger (/öfter) "Er ist dumm wie eine Nuss."
Oder, als direkte Beleidigung: "Du dumme Nuss!"
"Taube Nuss" bedeutet "hohle (/leere) Nuss". Eine "Niete". Wertlos (/ohne Wert/Bedeutung).
"Dumme Nuss" ist nicht genau gleich wie das englische "nuts". Denn "nuts" bedeutet "verrückt". "Nuss" bedeutet "dumm".
D., der natürlich nie so etwas sagen würde.