L'Istituto per l'Oriente venne fondato a Roma il 13 marzo del 1921. Le motivazioni di carattere politico quanto culturale dell'Ente erano ben rappresentate dalla composizione del gruppo che gli diede origine, nel quale erano presenti orientalisti, professori universitari e alti funzionari del Ministero degli affari esteri. L'appoggio governativo alla fondazione dell'Istituto trovava giustificazione nel contesto geopolitico venutosi a creare al termine della prima guerra mondiale. La sconfitta dell'Impero Ottomano aveva infatti stimolato un processo di rinnovamento culturale e sociale nel Vicino Oriente, che a breve avrebbe portato al conseguimento della completa indipendenza da parte dei paesi arabi, da secoli sottoposti al dominio del sultano turco, dunque a nuove sistemazioni politiche e a nuovi sviluppi economici e culturali.
Dalla sua nascita e fino alla fine della seconda guerra mondiale, l'Istituto apparirà caratterizzato da due anime: una scientifica, incarnata fino al 1938, anno della sua morte, dalla figura dell'accademico Carlo Alfonso Nallino, quindi da Ettore Rossi; l'altra più politica, rappresentata da Amedeo Giannini, funzionario del Ministero degli affari esteri, figura di acuto conoscitore del Vicino Oriente e dell'evoluzione della politica estera italiana, in particolare mediterranea, di quegli anni.
Scopo dell'Istituto, come indicato nell'art. 1 del suo statuto sociale, era quello “di sviluppare e di diffondere la conoscenza dell'Oriente e specialmente del mondo islamico, con opera di divulgazione ispirata a criteri scientifici”, dove il termine scientifici stava ad indicare esattezza e attendibilità delle informazioni, delle quali veniva sempre indicata la fonte.
L'Istituto, senza scopo di lucro, nasceva di fatto per aiutare a favorire gli studi nel settore, prefiggendosi di raggiungere tale scopo attraverso una serie di attività: la pubblicazione di una rivista e di volumi di carattere divulgativo; la promozione di conferenze, discussioni e altre iniziative relative all'Oriente; la promozione di  accordi fra le istituzioni già esistenti che riguardavano il mondo orientale; il sostegno agli studiosi di tali discipline, i quali poterono usufruire ben presto di una biblioteca specializzata per lo studio del Vicino Oriente specialmente islamico e di una collezione di riviste scientifiche e di periodici, nonché di corsi serali di lingue orientali; lo scambio di materiale e pubblicazioni con analoghe istituzioni italiane nonché la collaborazione con esse in imprese di carattere puramente scientifico.
Sempre secondo quanto previsto dallo statuto, la struttura dell'Istituto era composta da Presidente (che ne monitorava e vigilava l'operato), Vicepresidente, Direttore scientifico, Consiglio di amministrazione (composto di sette membri), Assemblea dei soci. A questa, che si riuniva di norma una volta all'anno, spettava la nomina, ogni tre anni, delle altre cariche.
Nonostante l'avvento del fascismo e l'adesione di molti membri dell'Istituto al regime, la salvaguardia della caratteristica di istituto di studi e documentazione, fondato su una pretesa “oggettività” della ricerca delle fonti della storia contemporanea dell'area del Vicino e Medio Oriente, fu garantita dalla presenza tra i fondatori del prof. Carlo Alfonso Nallino, uno dei massimi arabisti e islamisti, studioso di fama internazionale
A lui si deve l'organizzazione scientifica, che ne caratterizzerà per un lungo periodo natura e struttura.
In questa prima fase ne furono presidenti Giovanni Colonna di Cesarò, Amedeo Giannini, Carlo Conti Rossini, e direttori scientifici i già citati Nallino e Rossi.
Fin dalle origini l'attività più impegnativa e caratterizzante fu la pubblicazione della rivista «Oriente Moderno», della quale venne garantita un'uscita mensile dal giugno del 1921 al dicembre del 1943, divenuta poi annuale nel 1944 e nel 1945 a causa delle difficoltà finanziarie, semestrale nel 1946 e trimestrale nel 1947, grazie ad un incremento del contributo proveniente dal Ministero degli esteri, passato da lire 120.000 annue lorde a lire 500.000.
Gli anni dell'immediato dopoguerra furono segnati da riflessioni sul ruolo dell'Istituto e sulla necessità di un adeguamento rispetto ai mutamenti politici intervenuti, nonché alle nuove esigenze culturali che andavano emergendo. La fama di solido istituto di cultura fece ritenere opportuna, su suggerimento dell'allora presidente del Consiglio Alcide De Gasperi, l'istituzione di una sezione incaricata delle relazioni con i paesi arabi, ancor prima che l'Italia riprendesse a pieno i rapporti diplomatici con gli stati del Vicino Oriente, ma anche con i Movimenti di liberazione: proprio allo scopo di svolgere una particolare attività di promozione nei contatti con quei paesi e quei movimenti. Il 30 novembre 1950 veniva dunque approvato dall'Assemblea generale un nuovo statuto, nel quale si cercava di dare risposta alle esigenze emerse.
In primo luogo si diede veste formale all'associazione, promuovendo le pratiche per ottenere il riconoscimento giuridico ai sensi di legge (iter iniziato con atto del gennaio 1951 e completato nel gennaio del 1953). Su proposta del Ministero della pubblica istruzione veniva poi aggiunto al testo approvato dall'assemblea un ulteriore articolo, il 16, contenente l'indicazione degli Enti tutori: i ministeri della Pubblica istruzione (poi sostituito da quello dei Beni culturali) e degli Affari esteri.
In secondo luogo, come previsto dall'art. 10, il 5 marzo 1952 il Consiglio di Amministrazione deliberava la costituzione di un centro autonomo, sezione dell'Istituto: il Centro per le relazioni Italo-Arabe, che avrebbe dovuto istituzionalmente occuparsi più direttamente di pubbliche relazioni e di promozione anche politica dei rapporti con stati, enti e privati dei paesi arabi. Il Centro integrava inoltre l'attività dell'Istituto attraverso ricevimenti, mostre, partecipazione a fiere, aiuti a studenti arabi, viaggi di personalità provenienti dal mondo arabo. Tra le altre iniziative, il Centro intraprese la pubblicazione della rivista «Levante» in italiano e arabo, di un Bollettino economico e di una serie di quaderni intesi a far conoscere ai paesi arabi alcune realizzazioni italiane.
Seppure nato come sezione dell'IPO, il Centro ebbe subito una sua veste ufficiale e personalità distinta. Era infatti costituito da funzionari del Ministero degli affari esteri con esperienza del mondo arabo che ne ressero, con varie vicende, le sorti; tanto che già dal 1962, per impulso ministeriale, si distaccò ed iniziò ad operare per suo conto.
Sempre in base a quanto era stato stabilito dall'art. 10 del nuovo statuto, nella seduta del 16 aprile del 1958 il Consiglio di amministrazione, su proposta dell'allora presidente, il senatore Raffaele Ciasca, e di alcuni illustri archeologi e antichisti, tra i quali Sergio Moscati e Massimo Pallottino, deliberò la costituzione del Centro per l'antichità e la storia dell'arte del Vicino Oriente, finalizzato ad allargare l'attività dell'Istituto anche al campo dell'archeologia e della storia dell'arte.
Continuando dunque a costituire la sede più idonea per la realizzazione di numerose iniziative di ricerca, sia nel settore degli studi di arabistica e islamistica, sia nel settore di quelli relativi al Vicino Oriente preislamico, dal 1964 l'Istituto intraprese una collaborazione con il Consiglio nazionale delle ricerche. Nell'ambito di queste ricerche si effettuavano missioni archeologiche e di studio che potevano contare sul pieno sostegno del Ministero degli affari esteri.
Con DPR 16.12.1982 n. 1119, su proposta del Ministero per i beni culturali e ambientali, l'IPO veniva autorizzato ad accettare l'eredità disposta dalla prof. Maria Nallino, consistente in un appartamento sito in Roma e in un fondo librario a carattere orientalistico di circa 6.000 titoli. In seguito a tale accettazione, come indicato dalla stessa Nallino nel suo testamento, l'Istituto venne intitolato al prof. Nallino, assumendo la denominazione di “Istituto per l'Oriente C. A. Nallino”, con la sola modifica dell'art. 1.
Ulteriori modifiche apportate allo Statuto negli anni successivi relative all'esercizio sociale e al bilancio non ne altereranno sostanzialmente la natura giuridica, che resterà quella di Istituto con personalità giuridica di diritto privato.

L'archivio dell'Istituto per l'Oriente ha seguito come naturale il soggetto produttore nei diversi spostamenti di sede, tutti entro i confini della città di Roma. Dalla sede iniziale di piazza Venezia, condivisa con l'Istituto coloniale italiano, nel 1926 il primo trasloco portò l'Istituto in via Nazionale 89: come specificato nel verbale del Consiglio di amministrazione del 21 marzo 1926, si trattava di una sede comoda, centrale, più vicina all'Istituto per l'Europa orientale e alla Scuola di lingue orientali. Nel giugno 1930 un nuovo trasloco lo portò in via Lucrezio Caro, nel quartiere Prati. Infine nel dopoguerra gli ultimi due trasferimenti: dapprima nella Villa Lubin, sede allora dell'Istituto internazionale di agricoltura e in seguito del Consiglio nazionale dell'economia e del lavoro, per approdare finalmente nel 1960 nei locali demaniali di via Caroncini, nel quartiere Parioli. Cinque traslochi in poco meno di 40 anni, dunque, con conseguenze immaginabili sulla documentazione. 
Già dalla prima ricognizione, fatta nel 2018 per impostare il lavoro di ordinamento e inventariazione, è emersa una consistenza troppo esigua a fronte di quasi 100 anni di attività. La presenza di ampie lacune è stata poi confermata nel corso del lavoro di descrizione.
Significativa la perdita dei registri dei verbali delle riunioni degli organi collegiali, conservati solo dal 1933; lacuna in parte colmata, ma esclusivamente per l'Assemblea, dalla presenza in archivio di fascicoli delle riunioni per gli anni 1921-1933. Da un esame a posteriori delle serie conservate, si rileva in effetti che la dispersione più importante interessa i primi dieci anni di vita dell'Istituto, fino al trasferimento in via Lucrezio Caro: molte delle serie hanno come estremo remoto proprio il 1930 o i primi anni '30; fanno eccezione le serie delle registrazioni di protocollo e contabili. Anche nelle serie dedicate alla corrispondenza si trovano bensì documenti degli anni '20, ma in numero veramente troppo limitato per non immaginare che la maggior parte delle lettere sia andata perduta. Diverso il discorso delle corrispondenze dei presidenti o dei fascicoli dei direttori scientifici: qui la frammentarietà è sicuramente riconducibile anche alla conservazione separata delle carte di alcuni importanti studiosi che lo hanno presieduto o diretto. Per rimanere nell'ambito dello stesso conservatore, presso l'Istituto si trova l'archivio di Carlo Alfonso Nallino, dove sono presenti numerosi documenti collegabili alla sua attività di direttore scientifico dell'Istituto e di «Oriente Moderno». Ugualmente intersecati con i fascicoli dell'Istituto quelli del fondo Ettore Rossi, che ne è stato collaboratore e poi direttore scientifico dalla morte di Nallino, dirigendone anche la rivista, e del fondo Maria Nallino, che ha a sua volta diretto l’Istituto e la rivista dal 1955 fino alla morte nel 1974.