“斯沃斯莫尔”的得名源于教友派的早期历史。在英格兰，位于坎布里亚郡的斯沃斯莫尔礼堂是Thomas和Margaret Fell在1652年的住所，当时George Fox刚从1951年在藩德尔山上举行的主显节下来视察。由于George Fox使得Thomas和Margaret Fell和附近村庄的居民信服了Fenmore of Friendly，因此这次视察演变成了长期的交流，而“斯沃斯莫尔”也被用来指代朋友的首次聚会。

该学校于1864年建立，斯沃斯莫尔学院其发起者是一群教友派成员，他们参与了宗教界举行的费城年会、纽约年会和巴尔的摩年会。Edward Parrish是首任校长，而Lucretia Mott是那些坚持男女合校原则中的一员。Solomon Asch和Wolfgang Köhler这两位斯沃斯莫尔学院的教授是著名的心理学家。Asch于1947年进入该校，一直指教到1966年，而Köhler在1935年来到该校，直到1958年退休。在斯沃斯莫尔学院诞生了著名的Arch从众实验。