Hola Geri:
Has hecho una buena pregunta, porque aparte de su significado según el diccionario, están los regionalismos, por ejemplo en España o en México creo que le dan usos distintos.
Para los peruanos, sí hay diferencias:
Pastel, no necesariamente es dulce, es más puede ser que contenga muy poca harina y sea algo salado y/o mezclado con algo poco dulce. Por ejemplo, un pastel de choclo (sweet corncob) o un pastel de papas (potatoes).
Por pastel normalmente nos podemos referir a tortas pero también a platos que se sirven para almorzar.
La torta siempre es aquella que se usa para los cumpleaños, pero apuesto que los mexicanos le dan más usos.
La palabra tarta casi no la usamos, además viene del francés tarte. Si la usamos, sería para nombrar algún plato de la carta de un restaurante.