Il progetto di costituzione di una fondazione dedicata ad Antonio Gramsci fu approvato dalla segreteria del Pci il 21 ottobre 1948 e aveva tra i suoi obiettivi, oltre la custodia della biblioteca che il dirigente comunista aveva costituito prima del suo arresto e durante gli anni di detenzione, il lavoro organizzativo per l'edizione delle sue opere, la raccolta della documentazione biografica e bibliografica che lo riguardasse, la diffusione del pensiero gramsciano e del marxismo nella società italiana e costruzione di un rapporto tra politici comunisti e studiosi, anche esterni al partito.
Individuata la sede in un villino sito nel bel quartiere romano dell'Aventino, la Fondazione venne inaugurata ufficialmente il 28 aprile 1950 con una mostra dei libri e dei quaderni del carcere di Gramsci. Primo direttore fu nominato Ambrogio Donini, studioso di storia delle religioni, vice direttore di "Rinascita" e coordinatore dell'attività editoriale del Pci.
Nel 1954 la Fondazione venne trasformata in Istituto Gramsci nell'intento di favorire un maggiore sviluppo alla propria attività e al direttore Ambrogio Donini venne affiancato un organo di direzione collegiale.
La contrapposizione creatasi tra il direttore e i suoi collaboratori in merito ad un seminario sulla storiografia marxista organizzato dall'Istituto Gramsci nel dicembre 1954 e il successivo intervento critico di Togliatti, deciso a imprimere una maggiore caratterizzazione ai percorsi di studio dell'Istituto verso il pensiero gramsciano, portò ad un'ulteriore riorganizzazione della struttura direttiva.
Nel 1955 la guida dell'Istituto venne affidata ad Alessandro Natta e a un direttivo composto dagli studiosi responsabili delle sezioni di lavoro: storia e filosofia, critica e arte, scienza, economia. In tale contesto venne avviato il lavoro editoriale per proseguire la pubblicazione delle opere di Gramsci e costituito il "Centro di studi pedagogici" sui problemi della scuola e dell'educazione.
I1 programma di lavoro subirà una brusca interruzione nel 1956 con la crisi politica e culturale che coinvolse gli intellettuali del Pci e vicini al Pci. A partire dal gennaio 1957 l'attività riprese il suo corso contestualmente ad un cambiamento nella struttura dirigente: venne infatti istituito un ampio comitato direttivo presieduto da Ranuccio Bianchi Bandinelli e da Franco Ferri, prima in qualità di segretario generale e poi, dal 1973, di direttore, carica che Ferri mantenne sino al 1979.
La lunga permanenza di Ferri alla direzione dell'Istituto si concretizzò nella realizzazione di iniziative e di incontri tesi all'approfondimento della storia e del pensiero del movimento operaio e socialista italiano e internazionale ma anche della società italiana nel suo complesso, dei suoi problemi politici. È in questo contesto che vanno inseriti i numerosi convegni organizzati dall'Istituto, i seminari e i corsi di lezioni; l'attività delle sezioni di lavoro di storia, di filosofia, di pedagogia, di scienze giuridiche negli anni Settanta; la costituzione alla fine del 1959 della rivista trimestrale "Studi storici", il cui primo direttore fu Gastone Manacorda; la fondazione nel 1971 del Centro studi e documentazione sui paesi socialisti, diretto da Adriano Guerra; l'attività editoriale, grazie alla quale si ebbe la pubblicazione nel 1975 dell'edizione critica dei "Quaderni dal carcere" di Gramsci presso Einaudi a cura di Valentino Gerratana, delle opere di Togliatti e degli scritti di Eugenio Curiel con gli Editori Riuniti nonchè dei documenti delle Brigate Garibaldi con la casa editrice Feltrinelli (1979).
Dopo la lunga direzione di Franco Ferri, l'Istituto Gramsci fu diretto per un anno da Paolo Spriano e dal 1980 al 1988 da Aldo Schiavone.
Nel 1982 l'Istituto si è costituito in Fondazione, giuridicamente riconosciuta dallo Stato e dal 1998 ha ottenuto la qualifica di o.n.l.u.s.