1506年4月7日、フランシスコ・ザビエルはナバラ王国のパンプローナに近いハビエル城で生まれ、地方貴族の家で育った。5人姉弟（兄2人、姉2人）の末っ子で、父はドン・フアン・デ・ハッソ、母はドーニャ・マリア・デ・アズピリクエタ。父はナバラ王フアン3世の信頼厚い家臣として宰相を務め、フランシスコが誕生した頃、すでに60歳を過ぎていた。ナバラ王国は小国ながらも独立を保ってきたが、フランスとスペイン（カスティーリャ＝アラゴン）の紛争地になり、1515年についにスペインに併合される。父・フアンはこの激動の中で逝去した。その後、ザビエルの一族はバスク人とスペイン、フランスの間での複雑な争いに翻弄されることになる。