Fils d'un paysan cévenole reconverti comme cheminot, André-François Mercier travaille dans les assurances après sa licence de droit, obtenue à Paris.
Mobilisé en 1939, il participe ensuite à la Résistance et s'engage au sortir de la guerre dans l'action politique, au sein du Mouvement Républicain Populaire, dont il devient le secrétaire dans le département de Seine-et-Oise.
Parachuté dans les Deux-Sèvres comme tête de liste pour l'élection de la première assemblée constituante, il obtient 20 % des voix et est élu député. Il est réélu en juin (30,8 %) et en novembre 1946 (32,6 %).
Comme parlementaire, il s'intéresse essentiellement aux questions militaires, et participe activement aux travaux de la commission de la défense nationale.
Réélu en 1951, avec cependant seulement 16,6 % des voix, du fait de la concurrence gaulliste, il présente en 1954 un rapport favorable à la CED qui est rejeté par la commission de la défense nationale.
Mais ses prises de position les plus notables de la période concerne l'Indochine. Membre de la délégation, menée par Paul Devinat, qui visite les troupes engagées sur place début 1953, il en revient encore plus convaincu d'une victoire probable contre les nationalistes. Il résume ses positions dans un ouvrage intitulé « Faut-il abandonner l'Indochine ? ».
Logiquement, il vote contre l'investiture de Mendès-France en juin 1954, et ensuite contre les accords de Genève, ce qui le met en marge du MRP, qui les approuve massivement. Par la suite, il fonde une association « Amitié France-Vietmin ».
En 1956, la liste MRP qu'il conduit à nouveau dans les Deux-Sèvres est clairement orientée à droite, apparentée avec celle du CNIP et une autre liste conservatrice. Obtenant 15,5 % des voix, il est réélu. Il devient alors vice-président de la commission de la défense nationale, et continue de consacrer son action principalement aux questions militaires. En 1956, il est chargé par Christian Pineau, ministre des affaires étrangères, d'une mission auprès de Ngo Dinh Diem, le chef de l'Etat sud-vietnamien.
Bien qu'ayant soutenu le retour de Charles De Gaulle au pouvoir en 1958, il est battu aux élections législatives de 1958. Il tente vainement de retrouver son siège en 1962.
Il quitte alors les Deux-Sèvres pour retourner en région parisienne, à Neuilly-sur-Seine, où il continue de militer au centre-droit, d'abord au sein du Centre démocrate, puis du CDS. C'est là qu'en 1967 et 1968, il se présente de nouveau aux législatives, mais sans espoir d'être élu.
A partir des années 1960 et jusqu'à sa retraite en 1982, il dirige plusieurs sociétés d'assurance.
