Polytechnicien, Jean-Bernard Lévy est également diplômé de Telecom Paris. Il débute sa carrière en 1979 comme ingénieur travaux chez France Télécom. Il a occupé diverses positions au sein du secteur des télécommunications. Il a notamment dirigé l'activité satellites de télécommunications de Matra Espace, été directeur de cabinet du ministre de l'Industrie, des postes et télécommunications et dirigé Matra communication.
En 2002, il est nommé directeur général de Vivendi, dont il prend la présidence du directoire trois ans plus tard. En 2012, il est président directeur général de Thales. Il occupe le poste de président directeur général d'EDF depuis 2014.