1904年（明治37年）、福岡県三潴郡田口村（現・大川市）に8人きょうだいの6番目として誕生。近くには水の都柳川があり、その風景は後年の『誰か故郷を想わざる』のモチーフになった。5歳のときに父が他界し、母と姉、弟とともに7歳で故郷を離れ、働いている長兄がいる朝鮮に渡り感情起伏の激しい少年時代を過ごした。故郷喪失の悲しみは『人生の並木路』のモチーフとなった。朝鮮では最初は仁川に、その後は京城で暮らした。従兄弟から大正琴をもらったのもこの頃である。古賀政男が初めてマンドリンを手にしたのは中学3年（京城善隣商業学校）のときで、一番仲の良かったすぐ上（4番目）の兄からマンドリンを贈られた[2][3]。この時期から音楽家への道を志すようになる。

善隣商業学校を出て大阪の商店に勤めたのち、1923年（大正12年）に明治大学予科に入学し、明治大学マンドリン倶楽部の創設に参画した[4]。当時の明大マンドリン倶楽部では、ボッタキアーリ、ラウダス、バッチなどのマンドリンの大曲が演奏されていたが、古賀自身も難曲「幻想的狂想曲」（ロマーノ）を独奏するなどの活動が見られている。1928年（昭和3年）夏には旅先の青根温泉付近の山中で剃刀自殺を図るが、同行していた友人の発見により未遂に終わる[5]。そのときに見た蔵王の夕暮れから名曲『影を慕いて』の詩が浮かんだといわれている。1980年に同地に『影を慕いて』の歌碑が建立された[6]（関連：青根洋館）。1928年の秋の定期演奏会は同年春に開館したばかりの明治大学記念館講堂で開催されたが[7]、このとき佐藤千夜子の知遇を得た。また、この頃「音楽は和也（なり）」の理念が生まれた。

1929年（昭和4年）春の大学卒業後は指導者となり音楽活動を続けた[5]。6月、明大マンドリン倶楽部の定期演奏会で『影を慕いて』（ワルツ・ギター合奏）を発表。その年の暮れには、佐藤千夜子の歌唱とマンドリンオーケストラを率いて、『文のかおり』など自作品をビクターで吹き込んだ。1930年（昭和5年）秋にはビクターで、『影を慕いて』と『日本橋から』を佐藤千夜子の歌唱によって吹き込む。このときは、まだマンドリン・ギター演奏家「古賀正男」だった。また、この歌は宮城県川崎町の風景をモチーフにしたといわれている。当時、死の淵に追われた古賀が川崎町の森林を歩いているうちに我に返りこの歌を書いたという。1931年（昭和6年）1月、新譜でレコードは発売されたが、売れ行きは芳しくなかった。尚、『影を慕いて』の創作過程については、菊池清麿の『評伝古賀政男 青春よ永遠に』に詳細に記されている