Rafał Kalinowski urodził się 1 września 1835 r. w Wilnie, jako syn nauczyciela Andrzeja Kalinowskiego oraz Józefy z Połońskich. Rodzina pochodziła z drobnej szlachty herbu Kalinowa, właścicieli majątków ziemskich Kalinowice i Kalinówka. Kilka dni po narodzinach zmarła matka, a ojciec ożenił się z jej siostrą, która zajęła się wychowywaniem dziecka. Po jej śmierci ojciec ożenił się z Zofią z Puttkammerów, córką Maryli Wereszczakówny.