它们主要的区别在于"语域"(register)。
"第一次": 现代标准用语,不论什么情况什么场合什么身份,不论是口语或者书面语,都适用。
"初次": 带着文言色彩,章回小说常用,使用时常有"惯用配搭"(collocation), 举例: "初次见面"。老派一点的应酬(比如台湾官场),也会听到这样的口语: "初次见面,奉上薄礼,请笑纳。"
"首次": 正规场合用,带着官方色彩。
"头一次": 主要用于口语。
建议你看大量不同类型的文字 - 书报、杂志、小说、公文, 语感会随之而提升,对語域的掌握也会越来越好。