ㄹ 때 is used for supposition
었을 때 is used for past supposition
어릴 때 is tenseless. It can be used with any tense.
어렸을 때 is past tense. It can be used with past tense.
아이들은 어릴 때 잠을 많이 잔다.(O)
아이들은 어렸을 때 잠을 많이 잔다.(X)
아이들은 어릴 때 잠을 많이 잘 것이다.(O)
아이들은 어렸을 때 잠을 많이 잘 것이다.(X)
그는 어릴 때 잠을 많이 잤다.(O)
그는 어렸을 때 잠을 많이 잤다.(O)