Exacto, Coral te ha dado la respuesta, significa, como dices: Déjame en paz o como diría en ingles: "Leave to live!" or Leave in peace!".
La frase vete a freír espárragos data del Siglo XIX, y se usaba con la misma intención que actualmente. A sabiendas que el espárrago se cuece en el primer hervor, la expresión hace referencia a la intención de querer tener a alguien ocupado el mayor tiempo posible, y para ello y evitar su molesta compañía, se le mandaba a freír espárragos. Por aquel entonces también se decía “anda a esparragar”. Existe también la teoría de que por aquella época los espárragos fritos no tenían ninguna consideración culinaria, y por ende, realizar dicha tarea no tenía ningún sentido más que perder el tiempo. Mandar a freír espárragos con el intención de perder, al mandado, de vista.
Saludos
Mario