La diferencia entre "referir" y "referirse" es que "referir" es el verbo en infinitivo, es decir, que no está conjugado. El verbo indica la acción, en este caso la acción es referirse, en tu ejemplo sería:
"Referirse a algo".
Se que crea confusión porque en inglés " to refer" is the verb and the direct translation will be "referir", pero en este caso está expresando una acción de manera indirecta así que se usa "referirse".