1903年にブダペストにて3人兄弟の長男として生まれた[3]。名はヤーノシュ。愛称はヤーンチ。裕福な家庭で父は銀行の弁護士ノイマン・ミクシャ（英語名：マックス・ノイマン）、母はカン・マルギット（英語名：マーガレット・カン）で、ともにハンガリーに移住したユダヤ系ドイツ人だった[4]。

幼い頃より英才教育を受け、ラテン語とギリシャ語の才能を見せた。6歳で7桁から8桁の掛け算を筆算で行い[5]、父親と古代ギリシャ語でジョークを言えた[6]。8歳で微分積分をものにした。[要出典]興味は数学にとどまらず、家の一室にあったヴィルヘルム・オンケン（英語版）の44巻本の歴史書『世界史』を読了した[7]。好んで読んだもの、特に『世界史』やゲーテ、ディケンズの小説などに関しては一字一句間違えず暗唱できた。長じてからも数学書や歴史書を好み、車を運転しながら読書することもあった[6]。