Trotz der zentralen Lage in der Innenstadt von Stockholm sind die Natur und die Gebäude von kulturellem und historischem Interesse auf Långholmen in weiten Teilen erhalten geblieben. Die Insel ist 1,4 km lang und an der breitesten Stelle 400 Meter breit. Früher war die Insel schmaler - daher der Name. Sie bestand nur aus kargem Weideland, das zwischen blanken Felsen wuchs.
Es gibt Spuren prähistorischer Siedlungen auf der Insel. Im letzten Jahrhundert wurde ein Silberschatz mit germanischen Münzen gefunden, die aus dem 10. Jh. stammen. Die Münzen waren lange vor der Gründung Stockholms dorthin gelangt. Die Insel ist erstmals in historischen Dokumenten aus dem 15. Jahrhundert erwähnt. Diese mittelalterlichen Dokumente berichten, dass der schwedische Reichsrat im August 1453 auf Långholmen getagt habe. Ein weiteres historisch bedeutsames Ereignis stellte die Truppenstationierung auf der Insel durch Gustav Vasa dar, bevor dieser die Stadt 1523 eroberte. Långholmen war zunächst in königlichem Besitz, bis Königin Christina 1647 die Insel der Stadt Stockholm schenkte.
Im Jahr 1622 wurde ein Zollhaus auf der Insel errichtet, das bis 1857 in Betrieb war. Am Zollhaus lagen schnelle Segelyachten vor Anker, die Schiffe jagen und zurückbringen konnte, die es versäumt hatten, Zoll zu entrichten. Der starke Ausbau der Schifffahrt auf dem Mälarensee in der schwedischen Großmachtszeit führte 1685 zum Bau einer Schiffswerft für kleinere Schiffe am Pålsund.
1649 pachtete der wohlhabende Braumeister Jochum Ahlstedt Teile der Insel und begann, sie zu bebauen. Für sich selbst errichtete er ein prunkvolles Wohnhaus, Alstavik.
1724 wurde das Wohnhaus von der Stadt aufgekauft und zu einem Spinnhaus gemacht, eine Strafanstalt für Frauen. Der Gefängnisbetrieb wurde allmählich erweitertet und sollte die Insel 250 Jahre lang beherrschen. Während der Gefängnisepoche wurden auch einige größere private Gebäude auf der Insel errichtet. In der zweiten Hälfte des 19. Jhs. wurde das Ufer ausgebaut: Die Steine wurden mit einer dicken Erdschicht bedeckt und 3000 Bäume wurden angepflanzt.
1874 wurde das Zentralgefängnis - das größte Gefängnis in Schweden – mit mehr als 500 Zellen gebaut. Dieses war bis 1975 in Betrieb und wurde 1982 abgerissen. Es lag auf der freien Fläche vor dem heutigen Hoteleingang. Das alte Staatsgefängnis steht noch und beherbergt heute das Hotel auf Långholmen. Anfang des 20. Jhs. plante die Stadt die Anlegung eines Parks auf der Ostseite der Insel. Einige Wege und Pflanzungen wurden vorgenommen.