I vinteren 1923-24 trænede Abrahams ihærdigt under den geniale træner Sam Mussabini – deres forhold var et af de mange fascinerende temaer i den prisbelønnede film “Chariots of Fire”. Belønningen for en vinter med hårdt arbejde kom tidligt i 1924, da Abrahams løb en vindassisteret 9,6 sekunder på 100 yards og igen forbedrede den engelske rekord i længdespring til 24-2½ (7,38). Efter en pause på to uger vandt han 100 yards og længdespring ved AAA-mesterskaberne og tog derefter til Paris for at deltage i de olympiske lege. Efter en nærmest katastrofe i starten af semifinalen på 100 meter løb han storslået i finalen og slog amerikaneren Jackson Scholz med to fod. Hans tid blev officielt angivet som 10,6 sekunder, selv om den elektriske tidtager ikke viste mere end 10,52 sekunder. I Paris nåede Abrahams også finalen på 200 meter og var medlem af det stafethold, der løb stadigt hurtigere ved hver eneste udtagelse, inden han tog sølvmedaljerne med en tid på 41,2 sekunder, som skulle forblive britisk rekord i 28 år. Der var ingen overrækkelsesceremonier ved de olympiske lege i Paris, og en måned efter legene modtog Abraham sine medaljer med posten; men da de franske myndigheder ikke havde sat tilstrækkeligt mange frimærker på pakken, måtte han selv betale det overskydende positiv.
Abrahams havde bestemt ikke indfriet sit potentiale, især ikke som længdespringer, da en alvorlig skade i benet satte en stopper for hans aktive karriere i maj 1925, men han fortsatte med at yde uovertrufne tjenester for sporten som administrator, journalist, tv-station, historiker og statistiker. Han var sportskorrespondent for Sunday Times fra 1925 til 1967, var med til at stifte Association of Track & Field Statisticians og var i mange år kommentator for BBC Radio. Han blev medlem af AAA’s generalkomité i 1926 og blev udnævnt til sekretær i 1931 og formand i 1976. Han var den første sekretær for International Board, som var forløberen for British Amateur Athletic Board, og i 1963 blev han udnævnt til formand for BAAB efter at have fungeret som kasserer i 21 år. Abrahams var ikke alment populær inden for sporten, og hans til tider bryske måde at være på blev mere udtalt i hans senere år, men mange mennesker kan bevidne om den blidere og mere generøse side af hans karakter. Et eller andet sted i de forskellige aspekter af hans personlighed ligger sandsynligvis svaret på spørgsmålet om, hvorfor han aldrig fik nogen officiel anerkendelse for den enorme mængde frivilligt arbejde, han påtog sig på sportens vegne. Han blev dog tildelt CBE i 1957 som sekretær for National Parks Commission, som han blev ansat i efter at have været advokat i 13 år.