III olümpiaadi korraldamise teemat arutades otsustas rahvusvaheline olümpiakomitee korraldada see Ameerika Ühendriikide territooriumil, kuna see riik näitas kahel eelmisel mängul häid tulemusi. Esialgu sooviti olümpiamänge pidada Chicagos või New Yorgis, kuid selle tulemusena langes valik väikesele sadamalinnale St Louisile.
Saint Louisis toimunud III olümpiaad koos Pariisi olümpiamängudega peeti maailmanäituse raames. Kuid näituse kohalik juhtkond ei pidanud seda konkurendiks, vaid vastupidi, püüdis igal võimalusel kasutada mänge oma reklaamieesmärkidel. Lisaks kordasid korraldajad Pariisis 1900. aasta suveolümpiamängudel tehtud vigu. Seoses kiitusega maailmanäitusega lükati võistlused tagaplaanile ja olümpia ise kestis ligi 5 kuud (1. juuli - 23. november 1904). Erinevate erialaorganisatsioonide eestvedamisel viidi läbi palju võistlusi, kuid sellele vaatamata omistati neile kõigile olümpiadistsipliinide tiitel.
ROKi andmetel osales St. Louis'i suvemängudel 12 riiki. Ainus osariik, kes võistlusel esimest korda osales, oli Lõuna-Aafrika Vabariik. Pariisi olümpiaga võrreldes on osalevate riikide arv dramaatiliselt langenud. Pariisi suvemängudel osalenud 13 osariiki ei saanud majanduslikel põhjustel St. Louis'i tulla. Sel ajal Jaapaniga sõjas olnud Venemaa võistlusel ei osalenud.
III suveolümpiamängudel osales kokku 651 inimest, sealhulgas 6 naist. Nad võistlesid 18 spordiala 94 auhinnakomplekti nimel. Kõige arvukam oli Ameerika Ühendriikide meeskond, nad esindasid mängudel 533 inimest. Paljudel spordialadel (poks, maadlus, veepall, vibulaskmine ja tennis) esinesid ainult Ameerika sportlased, nii et mängud näitasid selgelt riigi paremust.
St. Louisis hakati esimest korda autasustama kolme, mitte kahte parimat tulemust näidanud sportlast. Võistluse peavõitja autasustati kuldmedaliga; teise koha saanud sportlane - hõbe; ja kolmas koht autasustati pronksmedaliga. See traditsioon on säilinud tänapäevani.
Mitteametlikul võistkondlikul võistlusel paigutati osalevad riigid järgmiselt: I koht - USA (78 kulda, 82 hõbedat, 78 pronksmedalit), II koht - Saksamaa (4 kulda, 4 hõbedat, 5 pronksi), III koht - Kuuba (4 kuld-, 2 hõbe-, 3 pronksmedalit).
