ユニオン・パシフィック鉄道の鉄道員でカナダ生まれのイライアス・ディズニーと、ドイツ人とイギリス人の血を引くフローラ・コールの4番目の子としてシカゴで生まれた。父イライアスは元々カリフォルニア州で金鉱を探して暮らしていたが、妻のフローラのために定職を求めてカンザスやフロリダ州に移り、後に仕事の関係でイリノイ州シカゴへと移住していた。しかしウォルトが幼い時に一家は叔父のロバート・ディズニーの住むミズーリ州マーセリーンへ更に引っ越して農業を始めたので、結局の所はミズーリ州で少年期を過ごす事になった。

しかし、父親のイライアスはこの地においても農業に失敗して、数年後に家族を連れて同地を去った。イライアスとフローラは息子4人と娘1人を儲けたが、父親のイライアスは子供達に対して愛情に欠けた厳格な態度で接しており、ウォルトとロイが1920年代に成功をおさめても、彼らに対して冷やかな態度は変わらなかった為、ディズニー親子は長年距離を置いて交流はしなかった。