Personnellement, je le dis pour quelqu'un que j'apprécie. C'est affectif, lorsque qu'un ami dit une sottise par exemple, ça peut vouloir dire "grôs bêta", on utilise aussi "patate!". Exemple à l'oral: "Mais non banane, 2 + 2 ne fait pas 5 !"
On n'utilise jamais l'expression "être une banane" dans le langage courant.