（生い立ち）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　島根県能義郡安来町（現・安来市）生まれ[4][5]。父親は日立に勤務[6]して広島県呉市の軍需工場などを転々とし、日立の安来工場に勤務していた時に当地出身の渡の母と結婚していた[4][5]。戦時中の1943年[6]、父親は任地の日立呉工場を退職し[6]、実家がある兵庫県津名郡淡路町（現：淡路市）に戻り洋品店を開業、小学校一年生途中から淡路島で育った

（学生時代～芸能界とのご縁）
淡路町立石屋小学校、三田学園中学校・高等学校（6年間の寮生活）[7]、青山学院大学経済学部卒業。大学在学中は空手道部（流派は日本空手協会・松濤館流）に在籍し、青山学院大学・空手道部OB会長・渡瀬道彦の札もかかっていた。空手弐段。柔道初段。

大学へ通うため上京。弟の渡瀬恒彦と共に新宿区柏木（現・北新宿）で下宿していたが、在学中に日活が浅丘ルリ子主演100本記念映画の相手役となる新人「ミスターX」を募集していた[8]。弟の渡瀬や所属していた空手部の仲間が内緒で応募した[8]

（日活へ入社）
既に斜陽期に差し掛かってた日活では高橋英樹に続くスター候補として、デビュー前の記者会見では破格の扱いを受け “映画界待望久し！日活に驚異の新星！渡哲也!!” の横断幕（実は模造紙）で大々的に売り出された。記者会見の場で瓦割りを披露し、翌日のスポーツ紙やニュース映像でも大きく取り上げられた。