Caillebotte werd geboren in een Parijse familie uit de hogere klassen. Zijn vader Martial Caillebotte had het familiebedrijf in militair textiel geërfd en werkte daarnaast als rechter bij het Tribunal de Commerce van het departement Seine. Hij was al twee keer weduwnaar geworden voordat hij met Caillebottes moeder trouwde. Zij kreeg na Gustave nog twee zoons van hem. Vanaf 1860 bracht het gezin veel zomers door in Yerres, ongeveer 12 kilometer ten zuiden van Parijs, waar ze een groot huis bezaten. Rond deze tijd begon Gustave Caillebotte vermoedelijk met tekenen en schilderen. Later werd hij bevriend met Monet, Sisley, Renoir e.a.