Den historischen Kern des Generallandesarchivs bildet die Überlieferung der Markgrafen von Baden. Was nach den großen Kriegsverlusten des 17. Jahrhunderts von den Archiven der Linien Baden-Baden (in Rastatt) und Baden-Durlach (geflüchtet nach Basel) geblieben war, wurde Ende des 18. Jahrhunderts in Karlsruhe vereinigt. Alle Bestände dieses Archivs wurden (bis ins 20. Jahrhundert hinein) nach der Rubrikenordnung des Hofrats Friedrich Nikolaus Brauer von 1801 geordnet, nach der das gesamte Schriftgut der badischen Behörden in den Registraturen wie im Archiv in festgelegte alphabetische Stichwortgruppen einzugliedern war.

Durch die Säkularisation 1802 fielen die Archive der Hochstifte von Speyer und Konstanz an Baden, dazu Teile der Hochstiftsarchive von Straßburg und Basel, Archive der Ritterorden und vor allem viele Archive aufgehobener Klöster wie Salem, Reichenau, St. Blasien, St. Peter, Schwarzach oder Frauenalb. Aus diesen Klöstern stammen die ältesten der 136.000 Urkunden des Generallandesarchivs. Mit der Mediatisierung gelangten Kantonsarchive der Reichsritterschaft und Teile reichsstädtischer Archive an das Generallandesarchiv, wo auch Teile des kurpfälzischen Archivs und Archivalien vorderösterreichischer Herkunft zu finden sind. Unter dem Dach des Generallandesarchivs befindet sich auch das Großherzogliche Familienarchiv, dessen Verwaltung vertragsgemäß seit 1919 dem Direktor obliegt.

Der Name "Generallandesarchiv" geht auf die Umbruchszeit nach 1803 zurück, in der aus der Markgrafschaft das Großherzogtum Baden wurde. Die ihm untergeordneten, zu Beginn des 19. Jahrhunderts eingerichteten Provinzialarchive wurden allerdings nach wenigen Jahrzehnten wieder aufgehoben. 1905 konnte das Generallandesarchiv einen für die damaligen Verhältnisse ungemein modernen und weitsichtig entworfenen Archivzweckbau beziehen, in dem es heute noch seinen Sitz hat. Das Gebäude steht unter Denkmalschutz. Infolge der Verwaltungsreform wurde das Generallandesarchiv Karlsruhe am 1. Januar 2005 eine Abteilung des Landesarchivs Baden-Württemberg.