1903年（明治36年）渡辺勝五郎の次男として、福岡県小倉市（現・北九州市）に生まれる。勝五郎は市内の鉄工所で働いていたが、秀雄が小学校に上がるころに解雇されてしまう。そこで父は家族のことを考え、1910年（明治43年）、単身台湾に渡ることを決意する。翌年、母親サトは幼い子供を連れて勝五郎に続く。秀雄は小学校2年生、兄は小学4年生、妹は5歳と3歳のときであった。しかし、生活が向上することはなく、1913年（大正2年）、勝五郎一人を残して再び小倉に戻る。