Jaapanile lubati 1940. aasta olümpiamänge, kuid II maailmasõda sundis riiki sellest aust loobuma. Ja alles 1964. aastal valiti olümpiamängude toimumispaigaks taas Jaapani pealinn. Need olid esimesed olümpiamängud, mis Aasias peeti.
Tokyo on tõsiselt lähenenud tohutu puhkuse ettevalmistamisele. Mängude eelõhtul viidi läbi linna märkimisväärne rekonstrueerimine: paljud vanad linnaosad lammutati, ehitati uued maanteed, ehitati sillad, püstitati kaasaegsed spordirajatised, taastati vanad staadionid ja ujulad.
XVIII mängud tõid kokku 5140 sportlast 93 riigist. Esimest korda osalesid olümpiamängudel Alžeeria, Kamerun, Elevandiluurannik, Kongo, Mali, Niger, Senegal, Sansibar, Tšaad, Trinidad ja Tobago, Mongoolia Rahvavabariik ja Nepaal. Lõuna-Aafrika Vabariigi meeskonnal keelati rassilise diskrimineerimise võistlusel osalemine. Võistlustest peatati ka Põhja-Korea, Indoneesia, Barbadose ja Ecuadori võistkonnad.
10. oktoobril kogunes olümpiastaadionile umbes 90 tuhat pealtvaatajat. Sportlasi tervitasid Jaapani keiser Hirohito ja korraldustoimkonna president Dangoro Yasukawa.
Kunagi varem pole olümpiakava olnud nii ulatuslik. Sellega liitusid judo ning naiste ja meeste võrkpall. Nende mängude eripära on muutunud märkimisväärselt suurenenud konkurentsiks igat tüüpi võistlustel. Võistluse käigus püstitati 77 olümpiarekordit ja 35 maailmarekordit.
1964. aasta mängudel säilitasid NSV Liidu sportlased mitteametlikus võistkondlikus arvestuses esikoha, võites 96 medalit, millest 30 olid kuldsed. Ameerika Ühendriikide sportlased tõid rahvuskoondisse 90 medalit, Jaapani meeskond sai kolmanda koha, sisenedes esmakordselt esikolmikusse.
Jaapani suveolümpiamängud jäid meelde Nõukogude jõutõstjate hiilgava esinemisega. Kuldmedalid said Aleksei Vakhonin, Rudolf Plyukfelder, Vladimir Golovanov ja Leonid Zhabotinsky, hõbeda Viktor Kurentsov, Juri Vlasov ja Vladimir Kaplunov.
Nõukogude võimleja Larisa Latynina võitis 2 kuld-, 2 hõbe- ja 2 pronksmedalit. Ta viis olümpiaauhindade koguarvuni 18, saades võidetud medalite arvu rekordiomanikuks.
Esimest korda olümpiamängudel kasutati tulemuste kogumiseks ja salvestamiseks arvuteid. Lisaks viidi olümpiaareenidelt esimest korda teleülekandeid teistele mandritele.