Il intègre la classe de jazz du Conservatoire de Lille en 1995. Il en sort cinq ans plus tard avec une médaille d’or à l’unanimité. Entre temps, il crée en 2000 son propre trio avec Charles Duytschaever et Nicolas Mahieux et investit les scènes de la région : Le Travers à Bruxelles, le Festival de jazz de Tourcoing, le jazz club de Dunkerque

Le trio se présente bientôt au concours jazz de la Défense, en 2003. Il s’y distingue en obtenant la Mention Spéciale du Jury, tandis que Jérémie Ternoy reçoit le deuxième prix de soliste. En 2004, le trio enregistre un premier album autoproduit.En 2006, avec le même trio, Jérémie Ternoy remporte le concours « Rezzo Jazz à Vienne », cette distinction leur permet d’enregistrer un deuxième album : Bloc.Cet album, signé chez Zig Zag territoires leurs permet de conquérir un public plus large ( Concerts à Radio France, Disque de la semaine Jazz à Fip…)Sélectionné par l’Afijma dans le cadre du dispositif « Jazz migration » le trio de Jérémie Ternoy tourne en France et prend de l’essor et s’exporte de plus en plus : Jazz sous les pommiers, jazz à Vienne, Jazz in Marciac, Motives Festival (Genk), Rome, Karkiv etc.

Attiré par l’écriture et l’improvisation, le pianiste participe à de nombreux projets d’esthétiques différentes :  Le Thomas Grimmonprez trio (Avec Christophe Hache et Thomas Grimmonprez), le trio MTM dédié à la musique de T.Monk et à l’improvisation libre, en compagnie de Jacques Mahieux (batterie) et Nicolas Mahieux (contrebasse). C’est au côté de ces deux musiciens qu’on le retrouve sur l’album «Peaux d’âme» de jaxques Mahieux au côté de Géraldine Laurent et Olivier Benoit.

Au Rhodes et claviers il fonde le trio électrique TOC  avec Peter Orins (batterie) et Ivann Cruz (guitare). Au sein du collectif lillois Zoone Libre, il joue et compose notamment pour le grand ensemble Vazytouille. Intéressé par les thématiques du langage , du voyage il monte le projet «Contraccordiano» en compagnie de  Kristof Hiriart (Voix,percussion), Christophe Hache, Thibault Dille ou Didier Ithursarry (créé au Théatre D’Arras en mai 2011)

Attiré par les expériences transversales, Jérémie Ternoy, au fender Rhodes préparé, participe à [DUKONE] en compagnie de Thomas Suel (textes et voix) et Christian Pruvost. Ils préparent ensemble un nouveaux projet intitulé [NU] qui voit le jour en octobre 2012 porté conjointement par  Culture commune et la Rose des vents (scènes Nationales du Nord et Nord pas de Calais)

En 2012, on le retrouve au côté de Sylvain Kassap (avec Claude Tchamitchian et Hamid Drake)  il intègre le groupe MAGMA, au côté de son fondateur, Christian Vander, intègre le quartet de Gérard Marais (avec Henri Texier et Christophe Marguet).

Titulaire du DE de Jazz, Jérémie Ternoy est aussi enseignant aux Conservatoires de Tourcoing et de Lille (classe de jazz). Il anime régulièrement des ateliers et des stages autour du jazz et des musiques improvisées.

En 2021 il obtient une commande d’écriture d’état pour réaliser sa première composition d’envergure : ça commence par la marche, il décide d’y convoquer les différentes scènes et secteurs qu’il a traversé au sein d’une pièce qui viendra associer la recherche timbrale des musiques savantes à la fièvre rythmique du rock progressif  et aux transes contemplatives de certaines musiques électroniques.