1888年（明治21年）3月22日、滋賀県伊香郡東阿閉村（後の南富永村、現・長浜市高月町）に生まれた。2反保の田地を耕す山岡忠三郎と妻くにの間に生まれた7人兄弟の4男3女の6番目で、祖父孫蔵の一字を取り孫吉と命名された。1894年（明治27年）阿閉小学校に入学。1898年（明治31年）義務教育課程修了後も、どうしても勉学を続けたいとの孫吉の希望を聞きいれ、決して楽ではない家計の中、北隣の古保利村の小学校補習科に進級させた。翌年七郷村に高等科が新設されると、同校の2学年に編入し1900年（明治33年）同高等科を卒業した[2]。卒業後、父の手伝いをし2年が経ち級友たちが奉公などで村を出ていく中、孫吉も村を出たい気持ちが強くなり、当時募集されていたアメリカへの移民に興味を持つが、保証金180円（50俵分の価値）を用意できるはずもなく、かつ未成年であることから両親の承諾を得られず、移民の夢は霧散した。翌1903年（明治36年）正月、村を出たい気持ちは益々強くなり、遂に奉公に出たい旨を母に告げ、父不在中を見計らい母よりもらった米1俵を現金化した3円60銭を手に、母に1万円貯めると約束して柳桑折1つを背負って大阪で働く長兄栄太郎を頼りに家を出た[3]。