Pendant tout l’hiver 1923-24, Abrahams s’entraîne assidûment sous l’œil du brillant entraîneur Sam Mussabini – leur relation est l’un des nombreux thèmes fascinants du film primé Chariots de feu. La récompense d’un hiver de dur labeur arrive au début de l’année 1924, lorsqu’Abrahams court 9,6 secondes sur 100 mètres, assisté par le vent, et améliore à nouveau le record anglais de saut en longueur, qui passe à 24-2½ (7,38). Après un intervalle de deux semaines, il remporte le 100 yards et le saut en longueur aux championnats de l’AAA, puis se rend à Paris pour les Jeux olympiques. Après avoir frôlé la catastrophe au départ de la demi-finale du 100 mètres, il court magnifiquement en finale pour battre l’Américain Jackson Scholz de deux pieds. Son temps est officiellement donné comme étant de 10,6 secondes alors que le chronomètre électrique n’indique pas plus de 10,52 secondes. À Paris, Abrahams atteint également la finale du 200 mètres et fait partie de l’équipe de relais qui court de plus en plus vite à chaque sortie avant de remporter la médaille d’argent avec un temps de 41,2 secondes, qui restera un record britannique pendant 28 ans. Il n’y a pas eu de cérémonie de présentation aux Jeux olympiques de Paris et un mois après les Jeux, Abraham a reçu ses médailles par la poste ; mais comme les autorités françaises n’avaient pas mis suffisamment de timbres sur le colis, il a dû payer lui-même le surplus positif.
Abrahams n’avait certainement pas réalisé son potentiel, notamment en tant que sauteur en longueur, lorsqu’une grave blessure à la jambe a mis fin à sa carrière active en mai 1925, mais il a ensuite rendu des services inégalés au sport en tant qu’administrateur, journaliste, diffuseur, historien et statisticien. Il a été le correspondant athlétique du Sunday Times de 1925 à 1967, membre fondateur de l’Association of Track & Field Statisticians, et pendant de nombreuses années commentateur pour la radio de la BBC. Il est devenu membre du comité général de l’AAA en 1926, a été nommé secrétaire en 1931 et président en 1976. Il a été le premier secrétaire de l’International Board, qui était le précurseur du British Amateur Athletic Board, et en 1963 il a été nommé président du BAAB après avoir été trésorier pendant 21 ans. Abrahams n’était pas universellement populaire dans le sport et ses manières parfois brusques sont devenues plus prononcées dans ses dernières années, mais beaucoup de gens peuvent témoigner du côté plus doux et plus généreux de son caractère. Quelque part dans les différents aspects de sa personnalité se trouve probablement la réponse à la question de savoir pourquoi il n’a jamais reçu de reconnaissance officielle pour l’énorme quantité de travail bénévole qu’il a entrepris au nom du sport. Il a toutefois été décoré de l’Ordre de l’Empire britannique en 1957 en tant que secrétaire de la Commission des parcs nationaux, qu’il a rejoint après avoir exercé la profession d’avocat pendant 13 ans.