Mens han diskuterede spørgsmålet om at afholde III-olympiaden, besluttede Den Internationale Olympiske Komité at organisere den på De Forenede Staters territorium, da dette land viste gode resultater ved de to foregående spil. Oprindeligt ønskede de at afholde OL i Chicago eller New York, men som et resultat faldt valget på den lille havneby St. Louis.
III-olympiaden i St. Louis blev sammen med OL i Paris afholdt inden for rammerne af verdensudstillingen. Den lokale ledelse af udstillingen betragtede den imidlertid ikke som en konkurrent, men tværtimod forsøgte på enhver mulig måde at bruge spillene til deres egne reklameformål. Derudover gentog arrangørerne nogle af fejlene fra sommer-OL 1900 i Paris. På grund af tilknytning til verdensudstillingen blev konkurrencerne skubbet i baggrunden, og selve OL varede i næsten 5 måneder (1. juli - 23. november 1904). Mange konkurrencer blev afholdt under ledelse af forskellige professionelle organisationer, men på trods af dette blev de alle tildelt titlen som olympiske discipliner.
Ifølge IOC deltog 12 lande i St. Louis Summer Games. Den eneste stat, der deltog i konkurrencen for første gang, var Sydafrika. Sammenlignet med OL i Paris er antallet af deltagende lande faldet dramatisk. De 13 stater, der deltog i Summer Paris Games, kunne ikke komme til St. Louis af økonomiske årsager. Rusland, der på det tidspunkt var i krig med Japan, deltog ikke i konkurrencen.
I alt 651 mennesker deltog i de olympiske sommerlege III, inklusive 6 kvinder. De konkurrerede om 94 sæt priser i 18 sportsgrene. Det mest talrige var holdet fra Amerikas Forenede Stater, de repræsenterede 533 mennesker på spillene. I mange sportsgrene (boksning, brydning, vandpolo, bueskydning og tennis) udførte kun amerikanske atleter, så spillet viste tydeligt landets overlegenhed.
I St. Louis begyndte de for første gang at tildele de tre, ikke to, atleter, der viste det bedste resultat. Den største vinder af konkurrencen blev tildelt en guldmedalje; atleten, der tog andenpladsen - sølv; og tredjepladsen blev tildelt en bronzemedalje. Denne tradition har overlevet til i dag.
I det uofficielle holdbegivenhed var de deltagende lande placeret som følger: Jeg placerer - USA (78 guld, 82 sølv, 78 bronzemedaljer), II plads - Tyskland (4 guld, 4 sølv, 5 bronzemedaljer), III plads - Cuba (4 guld, 2 sølv, 3 bronzemedaljer).
