Das Ende der Herrengasse öffnet sich weit auf zu einer weiteren Überraschung: auf der rechten Seite steht ein hufeisenförmiger Bau, das Kanzleigebäude von 1767, und links die klassizistische Pfarrkirche »Zum Heiligsten Namen Jesu«, auch »Schwäbisches Pantheon« genannt.

Das Kanzleigebäude von 1767 wurde für die Verwaltung (Kanzlei) des Malefizschenk­-Territoriums errichtet. Durch die richterliche Tätigkeit diente das in ­Hufeisenform errichtete ­Gebäude nicht nur den Gerichtsherren: Räume für Angestellte und Zuchtknechte ferner für Verhöre und im Erdgeschoss für Häftlinge; sondern auch – nach dem Brand des erst kurz zuvor fertig gestellten neuen Schlosses im Jahre 1807 dem Malefizschenk als seine letzte Wohnstätte. Im linken Kopfbau verstarb er am 21. Mai 1821.

Der Bau mit seinen Volutengiebeln und den aufgegliederten Lisenen, sowie dem von einer barocken Muttergottes ­bekrönten Mittelgiebel und dem Glockenturm mit der Arm-Sünder-Glocke aus der Erbauungszeit (sie wurde beim Gang der zum Tode Verurteilten zum Hinrichtungsort geläutet) verleihen ein schlossähnliches Aussehen.

Heute ist der Kanzleibau Sitz des Rathauses (rechter Flügel), Vereins- und Gemeinschaftsräumen (derzeit im Ausbau, linker Kopfbau), Gemeindehaus der kath. Kirchengemeinde (Haus Maria Königin, im linken Flügel nach dem Kopfbau) und der Ökonomie des ehem. Rittergutes (hinterer Querbau).