Fils d’un pasteur de l’église luthérienne du Pays de Montbéliard, André Parrot débute des études de théologie à la Faculté de théologie protestante de Paris en 1921 et se destine à devenir pasteur luthérien. Il étudie en parallèle l’Histoire de l’art à l’Ecole du Louvre à partir de 1924 où il suit les cours de René Dussaud. Archéologue spécialiste du Proche-Orient ancien, André Parrot obtient en 1926 une bourse à l’Ecole biblique et archéologique de Jérusalem et participe aux fouilles de Neirab, en Syrie actuelle. L’année suivante, il dirige les fouilles de Baalbek (Liban) et participe à celles de Byblos, sous la direction de Maurice Dunand.
En 1929, il décide de s’orienter vers l’archéologie mésopotamienne. Il prend alors part aux fouilles de Tello-Lagash (Irak), sous la direction de l’abbé Genouillac, auquel il succède en 1930-1931, puis de Larsa en 1933.
La même année, à la demande de Henri Seyrig, il se rend sur le site de Tell Hariri, dans la vallée de l’Euphrate, près de la frontière syro-irakienne. On y a découvert des inscriptions cunéiformes qui permettent à André Parrot de reconnaître la cité ancienne de Mari, disparue au milieu du IIe millénaire avant notre ère. De 1933 à 1974, il y mène vingt-et-une campagnes lors desquelles il met au jour le Grand Palais de la cité, quelques édifices de son centre religieux ainsi qu’une multitude de tablettes cunéiformes.
A partir de 1937, André Parrot est chargé de cours à la Faculté de théologie protestante de Paris (1937-1955) ainsi que professeur d’archéologie orientale et d’Histoire générale de l’art à l’Ecole du Louvre et conservateur-adjoint des Musées nationaux. Il dirige la revue Syria et la Revue d’assyriologie et d’archéologie orientale aux côtés de René Dussaud, Henri Seyrig, Edouard Dhorme et Georges Contenau.
En 1946, il occupe le poste de conservateur en chef du Musée du Louvre (Antiquités orientales et Arts musulmans) et devient secrétaire général de la Commission des fouilles et missions archéologiques en 1958. De 1968 à 1972, il est le premier directeur du Musée du Louvre.
Fait Commandeur de la Légion d’Honneur en 1961, André Parrot est également élu membre de l’Académie britannique en 1962 et de l’Académie des inscriptions et belles-lettres en 1963, dont il assure la présidence à partir de 1970. Il est l’auteur de trente-cinq publications et de plus d’une centaine d’articles et études au sein de revues spécialisées.