Erbaut wurde der Karlsturm 1370, er gehörte zum Vortor des Altperver Tores, dessen Überreste man an ihm selbst noch erkennen kann. Das Haupttor dieser Toranlage befand sich 150m weiter hinten, direkt am Jeetze-Umfluter, der als Stadtgraben diente. Der Sandsteinsockel zeigt die Wappen des deutschen Kaisers, der 7 Kurfürstentümer und der beiden Städte Salzwedel.