Nació en París, era hijo de un trabajador fabril, y al principio tuvo la intención de seguir el oficio de su padre. Habiendo pasado brillantemente por la École Normale Supérieure, donde estudió con Jules Michelet, acompañó a Michelet como secretario en sus viajes por Francia, sustituyéndolo a él en la École Normale en 1836, cuando sólo tenía 24 años de edad. La mala salud lo obligó a renunciar, y la pobreza hizo que emprendiera la tarea de escribir una extensa serie de libros de texto escolares que lo hicieron muy conocido.

Después comenzó a dedicarse a la enseñanza en la escuela secundaria, ocupando su lugar en el College Henri IV en París por más de un cuarto de siglo. Ya conocido como historiador por su Histoire des Romains et des peuples soumis à leur domination, fue elegido por Napoleón III para asistirlo en su biografía de Julio César, y el talento que demostró en esta ocasión fue reconocido por el Emperador, siendo designado Ministro de Educación en 1863. En este cargo trabajó incesantemente, intentando reformas amplias y liberales que despertaron una fuerte hostilidad por parte del partido clerical.