"В самом деле" (really, indeed) означает "вправду", "действительно" и используется для усиления выражения как вводное слово.
Например: В самом деле, почему? (Why really?) Да перестань уже в самом деле! (Quit it already!). Не укусит же он тебя в самом деле (He can't eat you after all).
"На самом деле" (in fact, actually) означает "по правде говоря", "в действительности", "по сути".
Например: Не так уж это и трудно на самом деле (It is not really so very difficult). Вот что это такое на самом деле (That's about the size of it).
В разговорной речи "в самом деле" может заменяться на "на самом деле". Но не наоборот - иначе часть информации теряется.
Два примера для сравнения:
1) Are you quite sure? (Ты в/на самом деле уверен?). Здесь можно использовать оба варианта.
2) It really happened (Это и в самом деле = действительно произошло). It really happened (Это произошло на самом деле = в действительности). В зависимости от контекста с виду одинаковые английские предложения могут переводиться по-разному.