Le Conseil d'État trouve son origine dans la Constitution de 1856 qui a prévu, dans son chapitre V relatif au Gouvernement, à l'article 76, qu'"il y aura, à côté du Gouvernement, un conseil appelé à délibérer sur les projets de loi ...".
Depuis la révision constitutionnelle du 13 juin 1989, le Conseil d'État forme une institution indépendante, inscrite dans un chapitre à part (Vbis).
Une réforme incisive a été apportée à l'institution lors de la révision constitutionnelle du 12 juillet 1996, entrée en vigueur le 1er janvier 1997.
En effet, le Conseil d'État était investi jusqu'au 1er janvier 1997, d'une part, d'une fonction consultative, en tant qu'il était appelé à donner son avis sur tous les projets et propositions de loi ainsi que sur toutes autres questions qui lui auraient été déférées par le Gouvernement (jusqu’à la révision de 1989 par le Grand-Duc) ou par les lois, et, d'autre part, d'une fonction juridictionnelle du fait que son Comité du Contentieux, composé de onze de ses membres, constituait la juridiction suprême en matière administrative.
Faisant suite à l'arrêt Procola du 28 septembre 1995 de la Cour européenne des Droits de l'Homme, qui a retenu que l'article 6, paragraphe 1er de la Convention européenne des Droits de l'Homme avait été violé, en ce que le Comité du Contentieux ne remplissait pas, dans l'affaire précitée, les exigences d'impartialité requises, le législateur avait procédé dans l'intermédiaire à une séparation de ces deux fonctions dans le chef des conseillers d'État (loi du 27 octobre 1995).
En tenant compte des conclusions que le Conseil d'État avait formulées dans son avis du 7 novembre 1995, à la suite d'un examen minutieux du droit administratif à la lumière de l'évolution de la jurisprudence de la Cour de Justice des Droits de l'Homme, le Constituant a en outre décidé par la même révision constitutionnelle du 12 juillet 1996 d'instituer un ordre juridictionnel à part, chargé exclusivement du contentieux administratif (tribunal administratif et Cour administrative en appel) , en limitant dès lors le rôle du Conseil d'État à la seule fonction consultative.
Parallèlement à cette réforme, la compétence du Conseil d'État en tant qu'organe consultatif avait toutefois été renforcée. Même s'il était déjà auparavant considéré comme le "gardien de la Constitution", l'article 2, paragraphe 2 de sa nouvelle loi organique du 12 juillet 1996 investi de manière explicite le Conseil d'État de la mission de contrôler a priori la conformité des projets de loi et de règlement par rapport à leurs normes de droit supérieures (Constitution, conventions et traités internationaux, principes généraux du droit). Le contrôle a posteriori de la constitutionnalité des lois a, par la même occasion, été confié à une cour constitutionnelle.
La réforme du Conseil d’État en 2017 portait essentiellement sur sa composition, et plus précisément sur le système de nomination et la durée du mandat des conseillers d’État. En outre, des règles déontologiques ont été fixées.
Depuis la révision de la Constitution en 2023, le Conseil d’État peut être saisi de questions juridiques de principe non seulement par le Gouvernement, mais encore par la Chambre des députés, avant qu’ils soumettent un projet de texte.