Efectivamente, es para referirse de forma despectiva a inmigrantes procedentes de América Latina. Yo personalmente la he escuchado para personas procedentes de Argentina, Paraguay o Uruguay. Supongo que se usará porque de ahí proceden los guacamayos (loros) pero tampoco soy un experto en esa materia.
De cualquier manera, sí es de forma despectiva.
Un saludo.