Definitivamente como bien te han comentado quédate con la palabra "vértice". Durante muchos años he cursado asignaturas de todo tipo, que tienen que ver con las matemáticas y la geometría y es la primera vez en mi vida que veo esa palabra.
Respecto a la palabra ápice, aun cuando también tiene ese significado, nunca es utilizada en textos académicos. Si vemos las definiciones del diccionario de la RAE.
ápice
Del lat. apex, -ĭcis.
1. m. Extremo superior o punta de algo. U. t. en sent. fig.
2. m. Parte pequeñísima, punto muy reducido, nonada.
3. m. Parte más ardua o delicada de una cuestión o de una dificultad.
4. m. desus. Acento o cualquier otro de los signos ortográficos que se ponen sobre las letras.
En la inmensa mayoría de las ocasiones, se utiliza la palabra según la segunda acepción y muy raramente en la primera, tercera y cuarta.