En España funciona así: Se establece que la noche se inicia entre las 21,00-22,00 horas, pero puede ser "de noche" antes de ese momento. Así, puedes escuchar frases como: "En invierno, a las 6 de la tarde ya es de noche". Fíjate que en este ejemplo, aunque sea de noche, seguiremos diciendo "son las 6, 7, 8 de la tarde".
Y al contrario, escucharás: En verano, a las 11 de la noche aún es "de día" (Esto ocurre donde yo vivo, en la costa noroeste de España). En este caso, aunque a las 23,00 horas aún sea "de día", seguiremos diciendo "son las 9,10, 11 de la noche).
Que se considere que la noche comienza a las 21,00 horas es algo subjetivo. En mi experiencia personal, siempre he escuchado "son las 9 de la noche//quedamos a las 9 de la noche", pero puede que no sea así en todos los países hispanohablantes, así que no vendrían mal los comentarios de hablantes del español de otros países.
Un saludo.