Op 22 oktober 1857 neemt de gemeenteraad van Rotterdam een verordening aan op het bewaren en ordenen van het archief. Voor het toezicht wordt een commissie van deskundigen in het leven geroepen, onder voorzitterschap van wethouder A. Schadee. De geboorte van het stadsarchief is een feit.
De eerste stappen
Een klerk van de gemeentesecretarie, Johannes Hendrik Scheffer (1832-1886), krijgt de taak het archief op poten te zetten. Dat blijkt een lastige opgave want de administratie van de gemeente is een chaos. Scheffers eerste stap is dan ook het bij elkaar brengen van de documenten die her en der in het stadhuis aan de Kaasmarkt rondslingeren. Daarna start hij met sorteren en rangschikken. De belangrijkste documenten krijgen een plek in de nieuw aangeschafte brandkasten in de Rotondekamer van het Stadhuis.
Overvol
Scheffer roept ook particulieren op om van het archief losgeraakte documenten in te leveren op het stadhuis. Veel ontbrekende stukken komen op deze manier terug. Het leidt bovendien tot een stroom van geschenken aan het archief. Niet alleen archiefstukken, maar ook kaarten, tekeningen, stadskronieken, boeken, gravures en penningen. Al snel raken de voor het archief beschikbare kamers op het stadhuis overvol.
Verhuizing naar het Schielandshuis
In 1868 verhuist Scheffer, die inmiddels de titel ‘archivaris’ draagt en een assistent heeft, naar het Schielandshuis. Op de beletage en het souterrain zijn zes archiefruimtes met ruim honderd kasten ingericht. Maar ook daar groeit het archief al snel uit zijn jasje. Wat natuurlijk niet helpt is dat het archief het pand moet delen met Museum Boymans. Verder is de Rotterdamse bibliotheek er ondergebracht, evenals een collectie antiquiteiten die later de basis zal vormen voor het Museum voor Oudheden (tegenwoordig Museum Rotterdam).
Een eigen gebouw
In 1900 krijgt het archief eindelijk een eigen gebouw aan de Mathenesserlaan, waar het tot 1998 gevestigd zal zijn. Boymans, de bibliotheek en het Museum van Oudheden blijven achter in het Schielandshuis. Scheffer maakt het overigens niet meer mee; hij overlijdt begin 1886 na een kort ziekbed.