Le nom de Frankenhausen apparaît pour la première fois dans des manuscrits du IXe siècle de l'abbaye de Fulda pour mentionner un établissement franc. Un document royal de 998 mentionne l'existence d'une place forte. La présence à cet endroit de sources salées entraînera le développement de salines, au Moyen Âge, et d'une station thermale, au début du XIXe siècle.
Au XVIe siècle, Frankenhausen sera le théâtre de l'acte final de la guerre des Paysans allemands, avec la bataille de Frankenhausen où les partisans de Thomas Münzer sont définitivement défaits. 6 000 d'entre eux trouvent la mort. La combat a eu lieu sur la colline dite Schlachtberg, à 1 km environ au nord du bourg. Le chemin qui y conduit est encore aujourd'hui appelé Blutrinne, « gouttière sanglante ».
Au cours du XIXe siècle, Frankenhausen s'affirme comme ville de cure — ce qui sera officialisé en 1927 par le changement de nom en Bad Frankenhausen (Kyffh.) — et aussi comme un important centre de fabrication de boutons en nacre.