Après une classe préparatoire au Lycée Saint-Louis, Paul Hermelin intègre l'École Polytechnique (X 1972). A ce diplôme s’ajoute un second de l'ENA, promotion Guernica (1976). Il débute sa carrière au Ministère de l'Economie et des Finances, au sein du cabinet de Jacques Delors. Il devient directeur de cabinet de Dominique Strauss-Kahn quand celui-ci est nommé ministre de l'Industrie et du Commerce Extérieur en 1991. C’est en 1993 qu’il intègre le groupe Capgemini, et devient PDG de Capgemini France trois ans plus tard, obtenant une place au directoire de la société. En mai 2000, il est à l'origine de la fusion entre Cap Gemini et Ernst & Young Consulting et devient à cette occasion directeur général adjoint du Groupe, avant d’en devenir le directeur général en décembre 2001. Fin 2017, Capgemini affiche un chiffre d’affaires de 13,05 milliards d’euros.
Suggested events