Im Jahre 1907 erschien im Auftrag des Gebirgsvereins für die Sächsische Schweiz der Sammelband „Die Burgen und vorgeschichtlichen Wohnstätten der Sächsischen Schweiz“. Darin wurde auch ein Aufsatz des Arnsdorfer Kantors Störzner über das Schloß Lohmen aufgenommen, der als „Klassiker“ der Literatur über Lohmen und sein Schloss gilt. So hieß es „Schloß Lohmen mit seiner nächsten Umgebung ist ein reizendes Fleckchen Erde, und mit Recht dürfen wir dasselbe in Bezug auf landschaftliche Schönheit als die Perle des ganzen Wesenitztales bezeichnen. Die geschichtlichen Erinnerungen, die sich an den Ort knüpfen, machen das Verweilen hier noch reizvoller.“
Die Geschichte des Schlosses reicht bis in die Anfänge der Besiedlung des Gebietes zurück. Im Jahre 1523 erwerben die Brüder Wolf und Ernst von Schönburg die Burg Hohnstein, den Lehnsitz Lohmen und die Burg Wehlen. Hohnstein wird mit Lohmen zu einem fürstlichen Doppelamte vereinigt. Ein Jahr später lässt Ernst von Schönburg den heutigen Schlossflügel errichten. Von dieser Zeit an ist die Bezeichnung „Schloß Lohmen“ üblich. Nach mehrmaligem Besitzerwechsel bleibt das Schloß ab 1619 in dauernden Besitz der Wettiner und dient nach dem Dreißigjährigen Krieg als Wohn- und Witwensitz sowie Herberge für Jagdgäste August des Starken.
Bis Mitte des 18. Jahrhunderts sind im Schlossflügel die Amtsräume sowie die Wohnungen der Gerichts- und sonstigen Beamten untergebracht. Wichtigste Aufgabe des mit dem Schloß verbundenen Gutes war die Versorgung des sächsischen Hofes in Dresden. Dazu wurden Schloß und Gutsanlage im 18. Jahrhundert erheblich ausgebaut und erweitert.
Besondere Bedeutung gewann die im Jahre 1765 durch Kurfürst Johann Georg I. eingeführte Schafzucht mit 200 aus Spanien importierten Merinoschafen. Es erfolgte die Einrichtung einer Stammschäferei im Kammergut Lohmen. Die ehemalige Schlosskapelle wurde als Brennerei, der unterkellerte Teil des Wohnhauses als Brauerei genutzt und der Rest des alten Herrenhauses zum Milchkeller ausgebaut. Das Kriegsjahr 1813 brachte dem Schloß Lohmen ebenfalls wieder großen Schaden. Nachdem die Kriegsschäden beseitigt wurden, wird das Amt Lohmen im Jahre 1853 aufgelöst und in das neu gebildete Gerichtsamt Pirna eingebunden. Im Schlossflügel werden von nun an Wohnungen der Landarbeiter, Getreidespeicher und Pferdeställe untergebracht. Während der Bodenreform wurde das sächsische Kammergut aufgelöst. Mehrere Gebäude (Herrenhaus, Brennerei, Stallanlagen) mussten in dieser Zeit zur Baustoffgewinnung abgetragen werden. Übrig blieben der historische Schlossflügel und der Gutshofflügel aus dem 18. Jahrhundert. In noch nutzbaren Räumen wurden 1945 nach Ende des 2. Weltkrieges für zahlreiche Umsiedlerfamilien erste Unterkünfte und Wohnungen eingerichtet. Der Garten des Kammergutes (auch englischer Garten genannt) fiel bis auf wenige Reste am Wesenitzhang einer Wohnblockbebauung zum Opfer. Leider wurden in der Zeit der DDR für die Unterhaltung des mittelalterlichen ehrwürdigen Schlossgebäudes so gut wie nichts getan. Durch Schäden am Dach sowie durch Versickerung von Abwässern entstehen erhebliche Mauerwerksschäden an beiden Gebäuden des Schlosses Lohmen, so dass der Schlossflügel und der Bereich Brauhaus vom Gutshofflügel nicht mehr genutzt werden können.
Zum Ende der DDR-Zeit stand dann der Schlossflügel völlig leer. Engagierten Bürgern ist zu verdanken, dass der drohende Abriss unterblieb. Die Gemeinde Lohmen entschloss sich zu ersten Sicherungsmaßnahmen. So konnten in den Jahren 1991/92 durch die Bereitstellung von Fördermittel die Fels- und Gebäudesicherung durchgeführt werden. Somit war zwar ein Teil der Gefahr des drohenden Felsabsturzes gebannt, betraf aber nicht die Bausubstanz des Schlosses. Im Jahre 1995 ging das Schloss einschließlich Kammergut aufgrund eines Rückübertragungsanspruches zurück an den Freistaat Sachsen und im Jahre 1997 in unverändertem Zustand wieder zurück an die Gemeinde Lohmen. Im Jahre darauf bekannten sich Gemeinderat und Verwaltung endgültig zum Wiederaufbau des Schlosses. Dadurch konnte endlich der Verfall gestoppt und wertvolle historische Details vor der weiteren Zerstörung bewahrt werden. Beginn des 1. Bauabschnittes war im September 1999. Fertig gestellt werden konnte der Schlossflügel im Mai 2001. Durch die Nutzung als Gemeindeamt mit Bibliothek und Touristinformation besteht für alle Einwohner und auch Gäste die Möglichkeit das Gebäude zu besichtigen und ein Stück ehemaliger Lohmener Geschichte kennen zu lernen.
Die Sanierung des Gutshofflügels erfolgte im Jahre 2004 bis 2005 durch den Arbeiter-Samariter-Bund, der dieses Gebäude mit altersgerechten Wohnungen ausstattete.