1867年（慶応3年）、伊予国宇和郡喜佐方村（現:愛媛県宇和島市吉田町）の庄屋・山下家の7人兄弟の末子として生まれた。山下は庄屋の家に生まれたことを心の糧とし、同時に庄屋の子として厳しく躾けられた。

宇和島の旧制南予中学校（現: 愛媛県立宇和島東高等学校）に入学したが、1882年（明治15年）に同校を中退し、出奔した。しかし、家出したその日の宇和島は暴風雨に襲われやむなく知人の家に厄介になっていた。すると、母からの使いの者が現われ「男子がいったん村を逃げて出て、おめおめ村へ帰ってくるようなことがあってはならない。大手を振って村の道が歩いて帰れるようになるまで帰ってくるな」と伝言を告げた。この言葉を背に山下は四国を後にする。