弗里德曼生于纽约市一个工人阶级的犹太人家庭，父亲是耶诺·绍尔·弗里德曼（Jeno Saul Friedman），母亲是萨拉·埃特尔·兰道（Sarah Ethel Landau，1892年-？），两人从奥匈帝国（今乌克兰一带）移居美国，在当地邂逅，曾在血汗工厂工作。弗里德曼是家中第四个孩子，也是唯一的男孩。
他的三个姊姊包括：蒂莉·F·弗里德曼（Tillie F. Friedman，1919年-？）、海伦·弗里德曼（Helen Friedman，1920年-？）和露丝·弗里德曼（Ruth Friedman，1921年-？）[1]。高中时，弗里德曼父亲逝世后，举家搬到新泽西州的罗威市（Rahway）。