Under vintern 1923-24 tränade Abrahams flitigt under den briljante tränaren Sam Mussabini – deras relation var ett av de många fascinerande ämnena i den prisbelönta filmen Chariots of Fire. Belöningen för en vinter av hårt arbete kom tidigt 1924 när Abrahams sprang en vindassisterad 9,6 sekunder på 100 meter och återigen förbättrade det engelska rekordet i längdhopp till 24-2½ (7,38). Efter ett uppehåll på två veckor vann han 100 meter och längdhopp vid AAA-mästerskapen och åkte sedan till Paris för de olympiska spelen. Efter en närmast katastrof i början av semifinalen på 100 meter sprang han magnifikt i finalen och slog amerikanen Jackson Scholz med två fot. Hans tid angavs officiellt som 10,6 sekunder trots att den elektriska tidtagaren inte visade mer än 10,52 sekunder. I Paris nådde Abrahams också finalen på 200 meter och ingick i det stafettlag som sprang allt snabbare vid varje uttagning innan han tog silvermedaljerna med en tid på 41,2 sekunder, vilket skulle förbli ett brittiskt rekord i 28 år. Det fanns inga presentationsceremonier vid de olympiska spelen i Paris och en månad efter spelen fick Abraham sina medaljer med posten; men eftersom de franska myndigheterna inte hade satt tillräckligt med frimärken på paketet fick han betala överskottet själv.
Abrahams hade verkligen inte uppfyllt sin potential, särskilt inte som längdhoppare, när en allvarlig benskada satte stopp för hans aktiva karriär i maj 1925, men han fortsatte att göra oöverträffade tjänster för idrotten som administratör, journalist, radio- och tv-programledare, historiker och statistiker. Han var idrottskorrespondent för Sunday Times från 1925 till 1967, en av grundarna av Association of Track & Field Statisticians och under många år kommentator för BBC:s radio. Han blev medlem av AAA:s generalkommitté 1926, utsågs till sekreterare 1931 och till ordförande 1976. Han var den första sekreteraren i International Board, som var föregångare till British Amateur Athletic Board, och 1963 utsågs han till ordförande för BAAB efter att ha varit kassör i 21 år. Abrahams var inte allmänt populär inom sporten och hans ibland bryska sätt blev något mer uttalat under hans senare år, men många människor kan vittna om den mildare och mer generösa sidan av hans karaktär. Någonstans i de olika aspekterna av hans personlighet finns förmodligen svaret på frågan varför han aldrig fick något officiellt erkännande för den enorma mängd frivilligt arbete som han utförde för sportens räkning. Han tilldelades dock CBE 1957 som sekreterare för National Parks Commission, som han gick med i efter att ha praktiserat som advokat i 13 år.