1868年（慶応4年 / 明治元年）、水戸藩士・酒井捨彦の長男として生まれた。東京府立一中、および私立の東京英語学校の学齢時代から絵画に興味を抱き、洋画家・渡辺文三郎に鉛筆画を学ぶ。1888年（明治21年）、母方の縁戚である横山家の養子となる。東京美術学校を受験することに決めると急遽、結城正明、狩野芳崖などに教えを受ける（その期間は2、3か月程度だったと言われる）。また、受験の際は受験者数300人中、 200人が鉛筆画での受験をし、しかも彼らは有名な師に何年も教わってきたと聞くや、試験の直前に鉛筆画から毛筆画への試験の変更を申請。見事に東京美術学校へと合格した。1889年（明治22年）、東京美術学校に第1期生として入学。岡倉天心、橋本雅邦らに学ぶ。同期生には下村観山、西郷孤月、第2期生には菱田春草などがいる。

大観は大変な酒好きとして知られ、人生後半の50年は飯をほとんど口にせず（たまに食べる時も一粒二粒と数えるほど）、酒と肴（少量の野菜）だけで済ませていたという。飲んでいた酒は広島の「醉心」で、これは昭和初期に広島・三原の醉心山根本店[6]の三代目社長・山根薫と知り合った大観が互いに意気投合し、「一生の飲み分を約束」した山根より無償で大観に送られていたものだった。しかし山根は年に四斗樽で何本も注文が来るので驚いたという。代金のかわりとして大観は毎年1枚ずつ自分の絵を無償で送り、結果、醉心酒造に「大観記念館」ができることとなった