嘉永4年（1851年）4月20日、紀州藩の下級武士だった山葉孝之助の三男として生まれる。父が紀州藩で天文係を務めていたこともあり、幼少の頃から機械いじりが得意であった。また16歳頃には剣術修行に出て、大和の小野派一刀流の師範・澤田孝友のもとで腕を磨いたという[1]。二刀流にも造詣があったという[要出典]。だが、後に職人の道を歩むこととなる。

浜松尋常小学校のオルガンは1887年にアメリカから輸入され寄付されたリードオルガンで45円であったという。山葉は修理の際にこの構造を模写し「自分は3円で造る自信がある」と言ったという。

当時浜松で飾り職人をしていた河合喜三郎と協力し2ヶ月後にオルガンを完成させたが、浜松の小学校や静岡の師範学校での評価は低かった。そこで東京の音楽取調所（現東京藝術大学）までオルガンを運んだ。東海道線が全通していなかった当時、オルガンを担いで徒歩で箱根峠を越えての上京だったという。音楽取調所御用掛・伊澤修二の評価は、「調律が不正確」というものだった。音階や調律の知識のなかった山葉は1ヶ月かけて音楽取調所で音楽理論を学び、河合喜三郎の私財をもってオルガン第2号を製作した[4]。