幼少期はガキ大将[3]だった。同じ小学校に通った同級生は「恒ちゃんは、ガキ大将で、けんかがものすごく強かった。友だちをいじめた相手に『何やってるんや』と向かっていき、兄貴肌で慕われていた」と懐かしんだ[4]。生誕した島根県から兵庫県津名郡淡路町（当時）に移り、三田学園中学校・高等学校卒業（6年間の寮生活）。中学の入学試験で「あの野郎2番の成績で入って来た」と兄・渡哲也が回想していたが中学三年で柔道黒帯[3][5]。高校時代は水泳部に所属。当時から同世代の女子に人気があり運動会には渡瀬目当ての女子学生が押しかけてきて大変だったという

「現場では10代の新人でも70、80歳代のベテランでもみんな同じライバル」[9] という渡瀬にとって、錚々たる俳優の中で唯一競争できる要素が「アクション」だった[9]。人並外れた身体能力の高さから、当初は東映のアクションスターのホープとして期待された[17]。

そんなやんちゃで熱い渡瀬を東映京都撮影所でも次第に認められ、中島貞夫、工藤栄一、深作欣二、山下耕作といった監督を始めあらゆる人から「恒さん」と呼ばれるようになった。東映京都撮影所では若い人を通常「○○ちゃん」、「○○ぽん」と呼ぶため渡瀬の「恒さん」は別格だった[19]。

中島貞夫は渡瀬が演技に開眼したのは「現代やくざ 血桜三兄弟」（1971年）における荒木一郎との出会いと話している[20]。ある三兄弟の末弟を演じた渡瀬が、もぐらと仇名される気弱な男を演じる荒木一郎と不思議な友情で結ばれるあるシーン。2人には長回しするからと事前に伝えてあったが、どちらが言い出したのか2人だけでリハーサルを行っていた。妙にウマも合ったのか、演技にはうるさい荒木の影響を受けて、それまでのただ生身をぶつけるような演技から変貌を遂げた[21]。

存命中、本人の口から語られることはなかったが、ごく一部の人間のみが知る事実として、1994年に脳梗塞を起こした際、左手に軽い障害が残ったといわれ、それが従来の屈強な渡瀬のイメージと併せ人間味が溢れる類まれな存在感が出てきたきっかけと見る向きもある。脳梗塞がきっかけで「最高の仕事をするために」煙草をスッパリやめ、酒は適量なら血流にいいと言われる赤ワインだけにした。連日のように1時間歩き、趣味のカメラで道端の花を撮影していた姿が目撃されている[35]。

この頃も「忠臣蔵外伝 四谷怪談」（1994年）など話題作の映画にも出演していたが、1992年から主演を続けてきた「十津川警部シリーズ」や「タクシードライバーの推理日誌」など、次第にテレビドラマへの出演本数が多くなる。