În iarna 1923-1924, Abrahams s-a antrenat asiduu sub privirile strălucitului antrenor Sam Mussabini – relația lor a fost una dintre numeroasele teme fascinante ale filmului premiat Chariots of Fire. Răsplata pentru o iarnă de muncă asiduă a venit la începutul anului 1924, când Abrahams a alergat 9,6 secunde la 100 de metri cu ajutorul vântului și a îmbunătățit din nou recordul englezesc la săritura în lungime la 24-2½ (7,38). După un interval de două săptămâni, a câștigat probele de 100 de metri și săritura în lungime la Campionatele AAA și apoi a plecat la Paris pentru Jocurile Olimpice. După ce a fost la un pas de dezastru la începutul semifinalei pentru 100 de metri, a alergat magnific în finală și l-a învins pe americanul Jackson Scholz cu un metru și jumătate. Timpul său a fost dat oficial ca fiind de 10,6 secunde, deși cronometrul electric nu arăta mai mult de 10,52 secunde. La Paris, Abrahams a ajuns, de asemenea, în finala probei de 200 de metri și a făcut parte din echipa de ștafetă care a alergat din ce în ce mai repede la fiecare ieșire înainte de a cuceri medalia de argint cu un timp de 41,2 secunde, care avea să rămână un record britanic timp de 28 de ani. Nu au existat ceremonii de prezentare la Jocurile Olimpice de la Paris și, la o lună după Jocurile Olimpice, Abraham și-a primit medaliile prin poștă; dar, deoarece autoritățile franceze nu au pus suficiente timbre pe pachet, a trebuit să plătească el însuși surplusul pozitiv.
Abrahams cu siguranță nu-și împlinise potențialul, în special ca săritor în lungime, când o accidentare gravă la picior a pus capăt carierei sale active în mai 1925, dar a continuat să aducă servicii de neegalat sportului ca administrator, jurnalist, prezentator de emisiuni, istoric și statistician. A fost corespondentul sportiv al Sunday Times din 1925 până în 1967, membru fondator al Association of Track & Field Statisticians (Asociația Statisticienilor de Atletism) și, timp de mulți ani, a fost comentator pentru postul de radio BBC. A devenit membru al Comitetului General al AAA în 1926, fiind numit secretar în 1931 și președinte în 1976. A fost primul secretar al International Board, care a fost precursorul British Amateur Athletic Board, iar în 1963 a fost numit președinte al BAAB, după ce a ocupat funcția de trezorier timp de 21 de ani. Abrahams nu a fost universal popular în cadrul sportului, iar maniera sa uneori bruscă a devenit mai pronunțată în ultimii săi ani, dar mulți oameni pot depune mărturie despre latura mai blândă și mai generoasă a caracterului său. Probabil că undeva în aceste aspecte diferite ale personalității sale se află răspunsul la întrebarea de ce nu a primit niciodată vreo recunoaștere oficială pentru munca voluntară enormă pe care a depus-o în numele sportului. Cu toate acestea, a fost distins cu CBE în 1957 în calitate de secretar al Comisiei Parcurilor Naționale, la care s-a alăturat după ce a practicat avocatura timp de 13 ani.
.