Levitan werd in 1860 geboren in het kleine stadje Kibarti in Litouwen in een arme joodse familie. Zijn vader was leraar Frans en Duits en later vertaler voor een Frans bouwbedrijf. In 1870 verhuisde het gezin Levitan naar Moskou. In september 1873 werd Levitan aangenomen aan de Moskouse School voor Schilderkunst, Beeldhouwkunst en Architectuur. Toen in 1875 zijn moeder overleed en zijn vader zodanig ziek werd dat hij zijn kinderen niet meer kon onderhouden, kreeg Levitan een beurs van de school om hem de kans te geven op school te blijven. Tijdens zijn studie raakte Levitan bevriend met de schilder Nikolaj Tsjechov, en via deze met diens broer, de beroemde schrijver Anton Tsjechov. Levitan was vaak te gast bij Tsjechov, en mogelijk was hij verliefd op Tsjechovs zuster, Maria Pavlovna Tsjechova.