Tijdens de winter van 1923-24 trainde Abrahams ijverig onder het oog van de briljante coach Sam Mussabini – hun relatie was een van de vele fascinerende thema’s van de bekroonde film Chariots of Fire. De beloning voor een winter van hard werken kwam vroeg in 1924 toen Abrahams een door de wind ondersteunde 9,6 seconden liep op de 100 meter en opnieuw het Engelse record verspringen verbeterde tot 24-2½ (7,38). Na een onderbreking van twee weken won hij de 100 meter en het verspringen bij de AAA kampioenschappen en ging toen naar Parijs voor de Olympische Spelen. Na een bijna-ramp bij de start van de halve finales voor de 100 meter, liep hij in de finale magnifiek om de Amerikaan Jackson Scholz met twee voet te verslaan. Zijn tijd werd officieel als 10,6 seconden opgegeven hoewel de elektrische timer niet meer dan 10,52 seconden aangaf. In Parijs bereikte Abrahams ook de finale van de 200 meter en maakte deel uit van het estafetteteam dat bij elke wedstrijd steeds sneller liep voordat het de zilveren medailles won met een tijd van 41,2 seconden, wat 28 jaar lang een Brits record zou blijven. Er waren geen uitreikingsceremonies op de Parijse Olympische Spelen en een maand na de Spelen ontving Abraham zijn medailles via de post; maar omdat de Franse autoriteiten niet voldoende postzegels op het pakket hadden geplakt moest hij het teveel aan postzegels zelf betalen.
Abrahams had zeker zijn potentieel niet waargemaakt, vooral als verspringer, toen een ernstige beenblessure in mei 1925 een einde maakte aan zijn actieve loopbaan, maar hij bleef de sport onovertroffen diensten bewijzen als administrateur, journalist, omroeper, historicus en statisticus. Hij was atletiekcorrespondent van de Sunday Times van 1925 tot 1967, een van de oprichters van de Association of Track & Field Statisticians, en gedurende vele jaren commentator voor de BBC radio. Hij werd lid van het Algemeen Comité van de AAA in 1926, werd benoemd tot secretaris in 1931 en tot voorzitter in 1976. Hij was de eerste secretaris van de International Board, die de voorloper was van de British Amateur Athletic Board, en in 1963 werd hij benoemd tot voorzitter van de BAAB nadat hij 21 jaar als penningmeester had gediend. Abrahams was niet universeel populair in de sport en zijn soms bruuske manier van doen werd in zijn latere jaren wat meer uitgesproken, maar velen kunnen getuigen van de zachtere en meer genereuze kant van zijn karakter. Ergens in de verschillende aspecten van zijn persoonlijkheid ligt waarschijnlijk het antwoord op de vraag waarom hij nooit enige officiële erkenning heeft gekregen voor de enorme hoeveelheid vrijwilligerswerk die hij voor de sport heeft gedaan. Hij werd echter wel onderscheiden met de CBE in 1957 als secretaris van de National Parks Commission, waar hij in dienst trad na 13 jaar als advocaat te hebben gewerkt.