Den ganzen Winter 1923-24 hindurch trainierte Abrahams eifrig unter den Augen des brillanten Trainers Sam Mussabini – ihre Beziehung war eines der vielen faszinierenden Themen des preisgekrönten Films Chariots of Fire. Die Belohnung für einen Winter harter Arbeit kam Anfang 1924, als Abrahams windunterstützte 9,6 Sekunden über 100 Meter lief und den englischen Weitsprungrekord erneut auf 24:2,5 (7,38) verbesserte. Nach einer zweiwöchigen Pause gewann er die 100 Yards und den Weitsprung bei den AAA-Meisterschaften und reiste dann zu den Olympischen Spielen nach Paris. Nach einer Beinahe-Katastrophe zu Beginn des Halbfinales über die 100 Meter lief er im Finale großartig und schlug den Amerikaner Jackson Scholz um zwei Fuß. Seine Zeit wurde offiziell mit 10,6 Sekunden angegeben, obwohl die elektrische Zeitmessanlage nur 10,52 Sekunden anzeigte. In Paris erreichte Abrahams auch das 200-Meter-Finale und war Mitglied der Staffel, die von Mal zu Mal schneller wurde und schließlich mit einer Zeit von 41,2 Sekunden, die 28 Jahre lang britischer Rekord bleiben sollte, die Silbermedaille gewann. Bei den Olympischen Spielen in Paris gab es keine Siegerehrungen, und einen Monat nach den Spielen erhielt Abraham seine Medaillen per Post; da die französischen Behörden jedoch nicht genügend Briefmarken auf das Paket geklebt hatten, musste er das überschüssige Porto selbst bezahlen.
Abrahams hatte sein Potenzial, insbesondere als Weitspringer, sicherlich nicht ausgeschöpft, als eine schwere Beinverletzung im Mai 1925 seine aktive Karriere beendete, aber er erwarb sich unübertroffene Verdienste um den Sport als Administrator, Journalist, Rundfunksprecher, Historiker und Statistiker. Er war von 1925 bis 1967 Leichtathletik-Korrespondent der Sunday Times, Gründungsmitglied der Association of Track & Field Statisticians und viele Jahre lang Kommentator beim BBC-Radio. 1926 wurde er Mitglied des Generalkomitees der AAA, 1931 wurde er zum Sekretär und 1976 zum Präsidenten ernannt. Er war der erste Sekretär des International Board, des Vorläufers des British Amateur Athletic Board, und 1963 wurde er zum Vorsitzenden des BAAB ernannt, nachdem er 21 Jahre lang als Schatzmeister fungiert hatte. Abrahams war innerhalb des Sports nicht überall beliebt, und seine manchmal schroffe Art wurde in seinen späteren Jahren etwas ausgeprägter, aber viele Menschen können die sanftere und großzügigere Seite seines Charakters bezeugen. Irgendwo in den unterschiedlichen Aspekten seiner Persönlichkeit liegt wahrscheinlich die Antwort auf die Frage, warum er nie eine offizielle Anerkennung für die enorme ehrenamtliche Arbeit erhielt, die er im Namen des Sports leistete. Er wurde jedoch 1957 als Sekretär der National Parks Commission mit dem CBE ausgezeichnet, der er nach 13 Jahren als Anwalt beigetreten war.