塞缪尔出生于维多利亚州的汉密尔顿，是玛丽和克利福德塞缪尔的儿子。他在南澳大利亚州阿德莱德长大，2001年毕业于罗斯特雷沃学院。他有一个弟弟本尼迪克特，作家、制片人和演员，还有一个姐姐布里奇特，舞台经理。尽管在罗斯特雷沃学院完成了高中学业，塞缪尔还是在阿曼达·波图斯的指导下在基督教兄弟学院学习了最后一年的戏剧，在那里他在罗斯特雷沃学院制作的莎士比亚的《仲夏夜之梦》中扮演汤姆·斯诺特（墙）的角色，并在 CBC 制作的阿芙拉·贝恩的《流浪者》（被放逐的骑士）中扮演“Belvile”。泽维尔·塞缪尔（Xavier Samuel）后来于2005年进入弗林德斯大学戏剧中心，师从著名表演老师朱莉·霍利奇（Julie Holledge）教授。他在毕业作品中扮演哈姆雷特。