Den historischen Kern des Staatsarchivs Sigmaringen bilden die beiden Archive der bis Anfang 1850 selbständigen Fürstentümer Hohenzollern-Hechingen und Hohenzollern-Sigmaringen. In beiden Fällen handelte es sich um Auslesearchive, in die in den 1840er Jahren auch vereinzelte Behördenarchive integriert wurden. Mit der Abtretung der Souveränitätsrechte an Preußen durch den Staatsvertrag vom 7. Dezember 1849 wurden diejenigen Archivalien, welche die Hoheitsrechte und Regierungsgewalt betrafen, an den preußischen Staat übergeben, der in Sigmaringen ein eigenes Staatsarchiv einrichtete, die übrigen gelangten in ein Fürstlich Hohenzollernsches Haus- und Domänenarchiv. Die Aufteilung der Bestände, die sich bis 1864 hinzog, und die damit verbundene Ordnung nach einem neuen Archivplan zerstörten die bisherigen verwaltungsmäßigen und historischen Zusammenhänge.

Während das Fürstlich Hohenzollernsche Haus- und Domänenarchiv hauptamtlich besetzt wurde, führte das preußische Staatsarchiv Sigmaringen ein Schattendasein. Erst 1938 wurde es hauptamtlich besetzt. Bis 1945 war es für den preußischen Regierungsbezirk Sigmaringen zuständig. 1945-1952 war es das Staatsarchiv des neugebildeten Landes Württemberg-Hohenzollern, zuständig für dessen Ministerien, die 17 Landkreise sowie die übrigen Behörden und Gerichte des Landes. Nach der Bildung Baden-Württembergs wurde es zum Staatsarchiv für die Behörden und Gerichte im Regierungsbezirk Südwürttemberg-Hohenzollern/Tübingen. Die Gebiets- und Verwaltungsreform 1973 veränderte den Regierungsbezirk Tübingen und damit den Sigmaringer Archivsprengel beträchtlich. Während der alte Stadt- und Landkreis Ulm sowie Teile der Altkreise Überlingen und Stockach neu hinzukamen, wurden die Landkreise Calw, Freudenstadt, Rottweil und Tuttlingen sowie Teile der Altkreise Horb und Hechingen abgetrennt. Die regionale Zuständigkeit im Bereich der Justiz blieb unverändert.

Nach einer umfassenden Beständebereinigung mit dem Staatsarchiv Ludwigsburg zwischen 1958 und 1977 verwahrt das Staatsarchiv Sigmaringen die überwiegende Mehrzahl des im südlichen Württemberg im 19. und 20. Jahrhundert auf der unteren Verwaltungsebene entstandenen Behördenschriftguts.

Als Deposita kamen nach 1945 unter anderem das Stadtarchiv Sigmaringen, das Fürstlich Thurn und Taxissche Archiv Obermarchtal und die Schenk von Stauffenbergischen Archive ins Staatsarchiv Sigmaringen; 1978 wurde auch das Fürstlich Hohenzollernsche Haus- und Domänenarchiv hinterlegt, so dass die hohenzollerischen Archive wieder unter einem Dach vereinigt sind.

Nachdem das Staatsarchiv zeitweise auf mehrere Gebäude in und um Sigmaringen verteilt gewesen war, erhielt es 1994 mit dem Einzug in den grundlegend umgebauten Sigmaringer Prinzenbau einen modernen Archivzweckbau. Infolge der Verwaltungsreform wurde das Staatsarchiv Sigmaringen am 1. Januar 2005 eine Abteilung des Landesarchivs Baden-Württemberg.