Durante el invierno de 1923-24 Abrahams se entrenó asiduamente bajo la mirada del brillante entrenador Sam Mussabini – su relación fue uno de los muchos temas fascinantes de la premiada película Carros de Fuego. La recompensa a un invierno de duro trabajo llegó a principios de 1924, cuando Abrahams corrió 9,6 segundos en 100 yardas con ayuda del viento y volvió a mejorar el récord inglés de salto de longitud hasta 24-2½ (7,38). Tras un intervalo de dos semanas, ganó las 100 yardas y el salto de longitud en los Campeonatos de la AAA y luego se fue a París para los Juegos Olímpicos. Tras un casi desastre en la salida de las semifinales de los 100 metros, corrió magníficamente en la final para vencer al estadounidense Jackson Scholz por medio metro. Su tiempo se dio oficialmente como 10,6 segundos, aunque el cronómetro eléctrico no mostraba más que 10,52 segundos. En París, Abrahams también llegó a la final de los 200 metros y formó parte del equipo de relevos que corrió progresivamente más rápido en cada salida antes de conseguir la medalla de plata con un tiempo de 41,2 segundos, que seguiría siendo un récord británico durante 28 años. No hubo ceremonias de presentación en los Juegos Olímpicos de París y, un mes después de los Juegos, Abraham recibió sus medallas por correo; pero como las autoridades francesas no habían puesto suficientes sellos en el paquete, tuvo que pagar el exceso de positivo él mismo.
Abrahams ciertamente no había alcanzado su potencial, en particular como saltador de longitud, cuando una grave lesión en la pierna puso fin a su carrera activa en mayo de 1925, pero pasó a prestar un servicio insuperable al deporte como administrador, periodista, locutor, historiador y estadístico. Fue corresponsal de atletismo del Sunday Times de 1925 a 1967, miembro fundador de la Association of Track & Field Statisticians, y durante muchos años comentarista de la radio de la BBC. Se convirtió en miembro del Comité General de la AAA en 1926, siendo nombrado Secretario en 1931 y Presidente en 1976. Fue el primer Secretario de la Junta Internacional, precursora de la Junta Atlética Amateur Británica, y en 1963 fue nombrado Presidente de la BAAB después de haber sido Tesorero durante 21 años. Abrahams no gozaba de una popularidad universal dentro del deporte y sus maneras, a veces bruscas, se hicieron más pronunciadas en sus últimos años, pero muchas personas pueden dar testimonio del lado más amable y generoso de su carácter. En algún lugar de los diferentes aspectos de su personalidad se encuentra probablemente la respuesta a la pregunta de por qué nunca recibió ningún reconocimiento oficial por la enorme cantidad de trabajo voluntario que llevó a cabo en nombre del deporte. Sin embargo, se le concedió la CBE en 1957 como Secretario de la Comisión de Parques Nacionales, a la que se incorporó después de haber ejercido como abogado durante 13 años.