Jan J. van den Berg werd geboren op 31 augustus 1929 te Amersfoort. Zijn eerste orgellessen kreeg hij van zijn vader, die twintig jaar organist was van de Lutherse Kerk te Amersfoort. Vervolgens kreeg hij les van Adriaan C. Schuurman, destijds cantor-organist van de Amersfoortse Joriskerk. Van den Berg begon zijn loopbaan als organist in november 1945 in de Gereformeerde Kerk in hersteld verband te Amersfoort. In november 1946 werd hij organist in de Emmakerk te Soestdijk. Van juni 1953 tot juni 1994 was hij organist van de Nieuwe Kerk te Delft. Daarna maakte hij de overstap naar rooms-katholieke kerken: de Pius X in Den Haag en de Lodewijkkerk in Leiden. Op dit moment is hij verbonden aan de Sint Bonifaciuskerk te Alphen aan den Rijn en aan de Remonstrantse Kerk te Delft. In laatstgenoemde kerk geeft hij elk jaar een reeks concerten.
Jan J. van den Berg heeft een uitgebreide lespraktijk en geeft niet alleen in Nederland, maar ook in Duitsland zeer veel concerten. Vaak was hij op de radio te beluisteren, voor de NCRV, de EO en de AVRO. Hij begeleidde verschillende koren, ook tijdens televisie-uitzendingen. Van de cantorij van de Sint Joriskerk te Amersfoort, dat destijds onder leiding stond van Adriaan C. Schuurman, was hij vaste begeleider.
Van den Berg is ook als componist bekend geworden. Hij schreef veel werken, niet alleen voor orgel – waarbij koraalbewerkingen de boventoon voeren – maar ook voor viool, hobo, fluit, piano, enzovoort. Van zijn hand verschenen tal van composities voor koor en orgel: psalmen, gezangen en Latijnse missen. Hij maakte bovendien diverse grammofoonplaten en cd’s.
Jarenlang was hij jurylid bij NOV-examens en orgelconcoursen, en trad hij als orgelbouwkundig adviseur op. In november 2005 vierde hij zijn 60-jarig organistenjubileum met een concert in de Sint Joriskerk te Amersfoort. Nog steeds is hij actief in het lesgeven en concerteren. In zijn concerten neemt het werk van zijn grote leermeester Adriaan C. Schuurman een belangrijke plaats in. Ook zijn Bach-herdenkingen, die hij al vele jaren houdt, genieten grote bekendheid.