About what you wrote:

빨리 회답[or 답변/대답/응답]해 주셔서 감사합니다! 

저는 어젯밤 이 문법 차이에 대해 생각했는데, "머리가 아파서 ...."라는 문장에서 "아/어서"가 더 적절한 이유를 이해하는 것 같아요.

=> 저는 어젯밤 이 두 표현의 차이에 대해 생각해 봤는데, "머리가 아파서 ..."라는 문장에서 "아/어서"가 더 적절한 이유를 이해할 것 같아요.

* 뭔가 특별한 것에 대해 골똘히 생각하는 것은 "생각해 보다"가 더 자연스러워요. 

* '-는 것 같다'는 (자기 이외의 대상에 대해) 어느 정도 판단이나 확신이 섰을 때 쓰고, 판단이 아직 명확하지 않을 때는 (특히 자기 자신에 대해서나  미래 시제의 경우에) "-ㄹ 것 같다"라고 해요.  확실치 않지만 가능할 것 같다는 것은  "-ㄹ 수 있을 것 같아요" (I seem to be able to ...)가 적절합니다.

누군가 "난 아파서"를 말하면, 보통 뒷말에서 "집에 가도 될까"라는 말을 할 것을 추측할 수 있지요?

=> 누군가 "난 아파서"라고 (말)하면, 보통 다음에 "집에 가야 할 것 같다"라는 말을 할 거라고 [or 말을 하리라고 / 말이 나오리라고] 추측할 수 있지요?

* "-를 말하다"는 조금 딱딱하고 공식적인 느낌을 주고 일상적으로는 "-라고 (말)하다"가 좋아요.

* "-을/를 추측하다"도 틀리지 않지만 간단한 내용은 "-ㄹ 것이라고", 또는 "-리라고 추측하다"가 자연스러워요.

It is hard to know why they have those meanings and usages without delving deep into their origins and history. One thing I can say is that -아/어서 is probably the most widely used constructs to give a reason or means for something. In addition, 서 also appears in other particles like 에서 and 면서. which are also related to logical grounds or a place or venue of action in which something happens.  So we might say -아/어서 is the primary phrase intended for this meaning.

-아/어 가지고 is different. It seems to me this 아/어서-like meaning is a secondary, acquired one and not part of its original meaning 가지다 (to have on oneself). It seems the earthy, everyday feel of 가지다 caught on with people and expanded its usage into the realm of -아/어서.  That is, I think it's not the most legitimate word for this sense.

아/어서 and 아/어 가지고 are close in meaning and usage.

As you say, 아/어 가지고 has a more colloquial feel, and also separates the two events it refers to more completely, like you do one thing first and then "with the result of it", do the next thing (since 가지고's base form is 가지다, to have with you) .  So it can't be used when the two things are closely connected.

When it indicates a reason, it similarly implies that the reason or cause clearly precedes the given situation.

-아/어서 is an all-around expression with little restriction.  -아/어 가지고 is too colloquial to use in very formal contexts.  So when you're not sure, it's usually safe to use -아/어서. 

For your examples,

- 늦어서 미안해요.  -아/어 가지고 would be strange here.  It may be okay if you're referring to a past event, as in 그날 늦어가지고 너무 미안 했어, but not for live situation of here and now.

학교에 걸어서 가요.  -아/어서 here indicates a means, which happens at the same time as the main event.  -아/어 가지고 can't work for this kind of parallel activities.

머리가 아파서 먼저 집에 갈게요.  I think -아/어 가지고 almost works here, albeit not as well as -아/어서 for the same reason as in the case of 늦어서 미안해요.