Malerisch liegt er da, wie auch seine Schwestern Albertsee und Hautsee: der Frauensee. Ort und See gab ein Nonnenkloster den Namen, doch erst zu einer Zeit, als es das Kloster schon nicht mehr gab. Vorher taucht es als "Lacu", "Sehe", "zum See" oder anders in den Urkunden auf.
Dieses Kloster findet man erstmals 1202 in den Urkunden verzeichnet, doch die Zeit der Gründung ist unbekannt.
Früher lag die Klosteranlage auf einer Halbinsel direkt im See. Später wurde der Wasserspiegel durch einen Stollen Richtung Hautsee abgesenkt. Somit liegt der See heute wesentlich tiefer als damals.
Die Geschichte brachte es mit sich, dass heute von den einstigen Klostergebäuden nichts mehr zu sehen ist: Wirtschaftlich hatte das Kloster seit dem 14.Jh. einen schweren Stand. Schuld daran hatte wahrscheinlich die hohe Zahl der hier tätigen Nonnen: 60 Schwestern sollen es dereinst gewesen sein. So mussten in der größten Not immer wieder Güter verkauft werden. Doch das endgültige Aus kam mit den Unruhen der Reformationszeit: 1525 stürmten Bauern aus der Umgebung das Kloster und plünderten es aus. Die Nonnen verließen das Kloster, verheirateten sich oder ließen sich auszahlen.

Landgraf Philipp von Hessen schlug mit seiner Meute die Bauern des "Werrahaufens"- aus Dank behielt er Gebiete als Entschädigung besetzt, so auch Frauensee. Einer seiner Nachfolger, Landgraf Wilhelm von Hessen-Kassel ließ 1632/34 im Klosterbereich ein Amtshaus bauen, mit Sicherheit unter Verwendung alter Klosterfundamente und -steine. In seiner Anlage und Bauweise ähnelt dieses Schloss den anderen in dieser Gegend.

Die Kirche des Ortes im neogotischen Stil wurde für die 1854 abgetragene Klosterkirche errichtet.
Bei Bauarbeiten vor dem einstigen Schloss stieß man im Sommer 2001 auf ausgedehnte Sandsteinfundamente, die wohl zum einstigen Kloster gehörten. Bei den einsetzenden Grabungsarbeiten der Archäologen brachte man auch Skelettknochen, Scherben und Alltagsgegenstände zum Vorschein.