Jan de Graaf werd in 1941 geboren in het dorp Nes, gelegen in de gemeente Westdongeradeel, in het noordoosten van Friesland. Hij volgde een opleiding aan de Hogere Landbouwschool in Leeuwarden. Vervolgens trad De Graaf als opziener der Domeinen in dienst van de Rijksdienst voor de IJsselmeerpolders (RIJP), met als werkterrein Oostelijk Flevoland.
In 1969 werd de Lauwerszee afgesloten en deels ingepolderd. De RIJP kreeg de opdracht het drooggemaakte gebied in cultuur te brengen en in te richten. Hiervoor werd een speciale afdeling Lauwerszee in het leven geroepen. De Graaf trad in dienst van deze afdeling, doorliep diverse rangen en werd in 1982 benoemd tot afdelingshoofd. Hij oefende deze functie uit totdat hij in 1986 benoemd werd tot directeur van de Sociaal-Economische Hoofdafdeling van de RIJP. In zijn Friese tijd was De Graaf lid van Provinciale Staten van Friesland namens de Antirevolutionaire Partij.
In 1989 werd de RIJP opgeheven. Sommige taken werden geprivatiseerd, andere taken werden overgedragen aan andere overheidsinstanties. Enkele afdelingen werden samengevoegd met de Dienst der Zuiderzeewerken tot de nieuwe Directie Flevoland van Rijkswaterstaat (later directie IJsselmeergebied). Dit gold ook voor de Sociaal-Economische Hoofdafdeling. De Graaf werkte nog korte tijd voor de Directie Flevoland, totdat hij november 1990 lid werd van de Tweede Kamer namens het CDA.
De Graaf was Kamerlid tot mei 1994. Vervolgens keerde hij terug naar Rijkswaterstaat, onder meer als waarnemend Hoofdingenieur Dienst Rijkswaterstaat van Noord-Brabant en als hoofd van de Hoofdafdeling Landinrichting van de Directie IJsselmeergebied.
Verder oefende De Graaf diverse functies uit in politiek en bestuur. Zo was hij onder meer voorzitter van de fractie van het CDA in Provinciale Staten van Flevoland. Van maart 2006 tot maart 2010 was hij lid van de gemeenteraad van Dronten. Hij was wethouder in deze gemeente van september 2012 tot mei 2014.