Kuigi sarnast pallimängu mainitakse isegi antiikaja luuletustes, loetakse käsipalli ametlikuks sünniaastaks 1898. Seejärel lülitati Taani ühe kooli kehalise kasvatuse programmi peaaegu tänapäevaste reeglitega võistkondlik võistlus. Taanlastele omistatakse ka idee palli ja väravaga kätega mängida - selle riigi mängijad kasutasid seda talvel vormis hoidmiseks.
Esimest korda ilmus käsipall olümpiaprogrammi viimastel suvemängudel enne II maailmasõja algust. Berliinis mängisid üheteistkümnest mängijast koosnevad võistkonnad, kelle turniiri võitsid kodumeeskonnad. See spordiala naasis olümpiapühadesse alles 36 aastat hiljem. Ja jälle juhtus see Saksamaal - Münchenis võistlesid meeste võistkonnad, mis moodsate reeglite kohaselt koosnesid 7 mängijast. Seejärel tuli võitjaks Jugoslaavia rahvusmeeskond. Juba järgmisel olümpial Kanadas Montrealis lisandus meeste käsipalliturniirile ka naiste käsipalliturniir. Sel aastal osutusid NSV Liidu võistkonnad nii naiste kui meeste konkurentsis konkurentidest tugevamaks.
Nõukogude naiskond võitis järgmise olümpiaturniiri 1980. aastal Moskvas ning Nõukogude Liidu võistkonnad võitsid neli korda kuldmedalid ning korra said hõbeda ja pronksi. See on kõigi käsipalliturniiridel osalevate riikide seas parim näitaja. Pärast Nõukogude Liidu olemasolu lõppu jätkasid võidukat traditsiooni kõigepealt NSV Liidu endiste vabariikide mängijatest koosnevad meeskonnad - kumbki võitis ühe kuld- ja ühe pronksmedali. Seejärel mängisid suvemängudel üsna edukalt Venemaa auastmed, kes võitsid ühe auastme medali.
Teiste riikide seas saavutas kõrgeima tulemuse Jugoslaavia, kes olümpiaadidel võitis viis eri konfessioonide medalit. Pärast selle riigi kokkuvarisemist jätkas üks endistest vabariikidest traditsioone - Horvaatia rahvusmeeskonnad lisasid nimekirja veel kaks kuldauhinda. Nii Venemaal kui Horvaatial on kõik võimalused täiendada oma notsu panku Londoni XXX suveolümpiamängude medalitega - nende riikide meeste ja naiste käsipallimeeskonnad on saanud õiguse osaleda 2012. aasta turniiridel.
