Die Geschichte des Dorfes Kieselbach am Nordwestfuß des Krayenberges ist aufs engste mit der Geschichte der Krayenburg verwoben. So findet man die erste urkundliche Erwähnung in einer Urkunde vom 18. Juni 1155, in der die Vogtei im Dorfe (und die Burg) durch Willibold von Hersfeld vom Landgrafen Ludwig II. eingetauscht wird.
Somit gehörte Kieselbach schon früh zum Stift Hersfeld, aber auch das Kloster Frauensee hatte Zinsgerechtsame in Kieselbach. Als die Frankensteiner alle ihre Güter an die Henneberger veräußerten, gehörte auch die Krayenburg und Kieselbach dazu. Wie alle Dörfer wurde auch Kieselbach vom Dreißigjährigen Krieg hart gebeutelt, von ehemals 90 Wohnhäusern waren nur noch 29 vorhanden.
Erhöht über dem Dorfe thront die ehemalige Wehrkirche. Ihr ältester Teil dürfte der Turm sein. Der obere Stock ist aus Fachwerk errichtet, mit den für das 16.Jh. typischen doppelten schrägen Wandstreben (Andreas-kreuze). Sein Grundriss ist quatratisch, drei Fensteröffnungen lassen in ihrer Form und Gestaltung an die Tiefenorter Kirche denken.

Man darf also die Wetterfahne beim Wort nehmen, welche die Jahreszahl 1563 verkündet.

Im Inneren des Turmes befindet sich der Altarraum, bedeckt mit einem schönen Sterngewölbe, deren "Gewölbedienste" sehr tief hinabgehen - Hinweis vielleicht darauf, daß der Altarraum früher einmal tiefer lag? Drei dieser Gewölbedienste enden in mit einiger Phantasie noch zu entdeckenden Steinköpfen. Bärtige Köpfe findet man auch am Scheitelpunkt der Rippen. Hier war wohl derselbe Meister am Werke wie auch in Tiefenort und Stadtlengsfeld.
Der kelchförmige runde Taufstein aus dem Jahr 1692 zeigt vier in Stein gemeißelte runde Engelsköpfe und die Inschrift: "Galater 3. He... Christoph Schultz Fürstl. Sächs. Pachtmann in Tiefenort und Christoph Schultz Inwohner in Kieselbach Hieher ließen mich setzen Anno 1692"
Im Altarraum befindet sich eine Sakramentsnische im späten gotischen Stil. Zwar ist sie rundbogig, doch die sich mehrmals durchkreuzenden Rundstäbe verraten das frühe 16.Jh. Mit Ästen besetzte Stäbe, von denen der linke auf einem Kopf sitzt, der rechte Kopf aber abgeschlagen ist, lassen diese Datierung als richtig erscheinen.

Einfacher datieren läßt sich der Hauptraum der Kirche. Die Baurechnungen besagen das Jahr 1692. Aus dieser Zei stammen noch die Emporen, die Kanzel und der Taufstein.

Die hölzerne Kanzel ruht auf einer schraubenförmig gedrehten Holzsäule. Die fünf Seiten der Brüstung sind mit Gemälden verziert, auf dem hölzernen Schalldeckel steht ein aus Holz geschnitzter Johannes der Täufer.

Die hölzernen Emporen sind zweigeschossig. Sie zieren gemalte Bibelsprüche und Bilder der Apostel. Überwölbt wird der Kirchenraum durch ein hölzernes Tonnengewölbe, welches im Jahre 1901 erneuert wurde. Die Orgel stammt aus dem Jahr 1985.
Nicht vergessen werden darf der Platz um die Dorflinde, unterhalb der Kirche. Mit Sandsteinquadern ummauert thront die Linde hoch über der Straße. Leider mußte die alte Linde durch eine neue ersetzt werden und auch der Mauer droht nun eine Generalüberholung. Dieser Platz ist eines der "landschaftlich fesselndsten Beispiele der Dorflinden dieser Gegend" (Lehfeld/Voss) und steht zu Recht unter Denkmalschutz.