« Je cherche en lui un mauvais penchant. Je n’en trouve pas (…) Point de lacune, point de nuage. » Louis, parfois appelé Ludovic, Vitet fut pour Guizot le modèle du compagnon idéal. A chaque pas, dans les grandes comme dans les petites choses de l’existence, Vitet est tout proche, et c’est pourquoi Guizot, en février 1874, quelques mois avant sa mort, prit le temps et surmonta la fatigue du grand âge, pour écrire la notice biographique qu’il estimait devoir à ce parfait ami, le dernier qui lui restait, décédé en juin 1873. Ce fut aussi le dernier texte un peu substantiel rédigé de sa main. Leur rencontre, à l’en croire, remontait à 1819. Petit-fils d’un conventionnel maire de Lyon, Vitet avait alors dix-sept ans. Il faisait partie d’un petit groupe qui suivait l’enseignement et était attaché à la personne de Théodore Jouffroy, jeune philosophe enseignant à l’École normale et au collège de Bourbon. C’est là qu’il se lia pour la vie avec Tanneguy Duchâtel. Sans avoir poussé très loin des études dont il n’avait pas besoin pour vivre, Vitet montrait une curiosité d’esprit et une capacité de rédaction qui trouvèrent bientôt à s’employer. Guizot, après 1820, le recruta pour rendre les cours qu’il prononçait bons pour la publication. La création, en 1824, du journal Le Globe, organe de la jeune France libérale dont Jouffroy et ses amis peuplèrent la rédaction, le rapprocha encore de Guizot qui patronnait l’entreprise. Vitet se spécialisa dans le domaine de la littérature et surtout des beaux-arts, et soutint l’éclosion du romantisme. Dès lors, toujours flanqué de Duchâtel, il est associé à tous les projets intellectuels et politiques de Guizot. C’est lui qui trouva, en 1827, le nom de la société destinée à mobiliser l’électorat d’opposition, « Aide-toi, le ciel t’aidera », dont il rédigea le manifeste et que présidait Guizot. En 1828, il est de l’équipe fondatrice de la Revue française dirigée par Guizot. Le collaborateur est devenu un ami personnel dès avant 1830. Sous la monarchie de Juillet, ils ne se quittent plus. Dès octobre 1830, Guizot ministre de l’Intérieur crée pour lui le poste d’inspecteur général des monuments historiques, où il déploie une grande activité, et où Mérimée le remplace en 1834. En effet, son ami Duchâtel, nommé ministre du Commerce en avril 1834 dans le cabinet Molé, l’appelle comme secrétaire général de ce ministère, qu’il quitte avec lui en février 1836. Il avait été élu en septembre 1834 député de la Seine-Inférieure, qu’il représenta sans désemparer jusqu’en février 1848, tout en continuant à animer la Commission des monuments historiques, que le ministre de l’Instruction publique Guizot préside de droit. Naturellement, Guizot l’a enrôlé dans la Société de l’Histoire de France et dans le Comité chargé de publier les documents relatifs à l’histoire de France. Enfin, il entre au Conseil d’Etat en 1836, où il devient un pilier de la section des Finances. Soutien indéfectible de la majorité conservatrice et de son chef Guizot, dans laquelle Duchâtel, inamovible ministre de l’Intérieur de 1839 à 1848, occupait une place de choix, Vitet ne fut jamais ministre, peut-être parce qu’il n’avait guère de talent oratoire, sans doute parce que lui-même ne le désirait pas, occupé à ses recherches archéologiques et cultivant le goût de la beauté artistique. Mais son influence n’était pas négligeable : « C’était pour le pouvoir, écrira Guizot, un conseiller d’un esprit admirablement juste, prévoyant, sagace, plutôt qu’un compagnon d’armes ardent et efficace. » Du 18 au 20 février 1848, à la demande de Duchâtel ministre de l’Intérieur, il s’entremit, mais en vain, pour éviter que le banquet prévu tourne à l’émeute. Député à la Législative en 1849, il présida courageusement, en décembre 1851, la réunion de députés à la mairie du Xe arrondissement qui proclama la déchéance du prince-président, ce qui lui valut quelques jours de prison.
Dès lors, et vingt ans durant, Vitet se consacre à l’histoire de l’art, à la sociabilité académique – il est membre de l’Académie française depuis 1845 – et à l’amitié. Lorsque Guizot est à Paris, ils se voient, notamment à dîner, deux ou trois fois par semaine, et Vitet témoigne à son ami « un soin affectueux », en particulier après la mort de Dorothée de Lieven. Guizot déposa alors chez lui, on ignore pourquoi mais c’était un signe d’exceptionnelle confiance, de petites caisses métalliques contenant des lettres originales de la princesse. Vitet fait aussi partie du petit nombre de ceux qui séjournent au Val Richer. Collaborateur régulier de la Revue des Deux Mondes, dont il est devenu actionnaire, il publie pas moins de huit comptes rendus longs et élogieux des ouvrages publiés par Guizot, de ses Mémoires à ses Méditations sur la religion chrétienne et à l’Histoire de France racontée à mes petits-enfants.
Dans l’attachement profond éprouvé par Guizot pour Vitet, l’épouse apportait un intérêt supplémentaire. Cécile Perier, nièce de Casimir, était devenue Mme Vitet en 1832 : « En apparence la plus froide personne, belle sans mouvement », en réalité « pleine de passions, d’esprit, ne montrant tout cela qu’à son mari seul. Jamais homme n’a possédé plus exclusivement une femme, et une femme valant bien la peine d’être possédée. » On comprend que Guizot ait recherché sa compagnie, tout en se félicitant de ce parfait amour dans un mariage resté sans enfant. La mort de Cécile Vitet, en 1858, plongea Louis dans le désespoir, auquel Guizot compatit avec une intensité d’autant plus sincère qu’il avait éprouvé le même deuil deux fois, et même trois.
En 1871, après avoir publié des lettres vibrantes de patriotisme, Vitet fut élu député à l’assemblée de Bordeaux, où il retrouva Cornélis de Witt, le gendre de Guizot, au sein du groupe des conservateurs libéraux. Après la tentation d’une République modérée, il eut le temps de voter contre Thiers en mai 1873, un mois avant sa mort, comme aux beaux temps de la monarchie de Juillet. Sa disparition éprouva beaucoup Guizot : « Je n’ai point connu d’esprit plus charmant sans prétention, ni de caractère plus sûr sans promesse et plus digne avec simplicité. » Vitet était loin d’être un génie, mais il avait eu l’intelligence de reconnaître la force de Guizot et d’en concevoir de l’admiration et de l’affection dépourvues de la moindre jalousie. Plus de trois cents lettres échangées entre eux ont été conservées, témoignage saisissant de cette magnifique amitié.