乔治·华盛顿选中西点为堡垒建筑点，因为这是一个对于整个美洲都很重要的战略地点。西点在哈德逊河“S”弯之中，占据之人可以控制所有河运。1778年，萨丢斯·科什乌兹科（Thaddeus Kosciuszko）设计了堡垒的外形。美国独立之后，华盛顿想在此建立一所全国军校，但是他的国务卿托玛斯·杰弗逊争辩说宪法之内没有给总统创立军校的权力。杰弗逊上任总统之后，在1802年3月16日签署了法律，建立联邦西点陆军军官学校，同年7月4日西点军校开学（即成立）。
1817年——1833年，上校西尔维纳斯·萨耶尔（Sylvanus Thayer）担任校长。他将土木工程设置为学校主要课程，这个期间的毕业生修建了美国大部分最初的铁路线、桥梁、港口和公路。南北战争之后，美国开始建立其他工科学校，西点军校的课程开始扩展到土木工程之外领域。
一次大战以后，校长道格拉斯·麦克阿瑟进一步增加学术课程。按照现代战争体能的要求，他推进了体育健身和运动节目。“每一个军校学生都是运动员”成为了一个重要目标。同时，军校学生传统的荣誉系统，成为校方正式规则。
1964年，林登·约翰逊总统签署法律，从2529名学生增加到4417名(现已降至4,000名)。
1976年，西点军校第一次招收女生。
1810年和1816年，西点军校没有毕业生；而1861，1915，1917，1918，1922和1943年有两班毕业生。
20世纪中，西点军校课程结构继续扩展和改变，现在学生可以在十几个领域中选课，除以前的工科，各类理科和文科都有了。