Na zijn studie hemische technologie aan de Technische Universiteit Delft en een periode in het voortgezet onderwijs, werd Van der Graaf in vanaf 1966 bestuurslid van de Gereformeerde Bond. In 1973 werd hij benoemd als voltijds algemeen secretaris van deze bond. Drie jaar later werd hij hoofdredacteur van De Waarheidsvriend. Vervolgens was hij tot 2000 werkzaam als algemeen secretaris van de Gereformeerde Bond.

In de eerste helft van 1989 kon Van der Graaf de nieuwe voorzitter van de Evangelische Omroep worden. Hij had al toegezegd, maar een zondagse preek bracht hem op het laatste moment op andere gedachten. Van 1990 tot 2008 was hij panellid in het EO-programma Deze Week. Verder werkte hij mee aan bundels, handboeken en artikelen geschreven in dagbladen en tijdschriften.

Eerder dit jaar zei Van der Graaf in een interview met het Reformatorisch Dagblad: "De toekomst ligt vast. Dat ervaar ik steeds meer. Het ligt helemaal vast in het werk van de Middelaar. Of ik ernaar uitzie, naar het sterven? Dat is iets anders. Ik geloof dat je stervensgenade krijgt als je geroepen wordt. Het bekende lutherse avondgebed spreekt over de nacht van de strenge, bittere dood. Het is een laatste vijand. We zullen de doodsjordaan over moeten. Maar ik ben er zeker van dat er dan een Bootsman is Die ons veilig aan de overkant zal brengen."

Van der Graaf laat een dochter, twee zoons, negen klein- en vijf achterkleinkinderen achter. Zijn vrouw overleed onlangs.

Jan van der Graaf overleden. (85). Een man, bewogen met kerk en samenleving. Leefde zijn geloof. Leed aan de kerk. Heb hem 45 jaar mogen kennen. Dankbaar voor wie hij was en wat hij heeft gedaan.

— Andries Knevel (@andriesgknevel) October 14, 2022

Zo'n bericht raakt... In mei mocht ik voor het RD nog een groot persoonlijk interview met hem maken... Sterkte voor de familie die achterblijft! https://t.co/Gt0jKF3WUE

— Jaco van der Knijff (@jvdknijff) October 14, 2022