Nació en 1886 en Aquisgrán, Alemania, en el seno de una familia católica. Siendo apenas un adolescente de 14 años ayudaba en el taller de artesanía familiar esculpiendo piedra y ya se veía que tenía un talento innato. En 1905 se fue a Berlín, donde empezó su carrera arquitectónica a las órdenes de distintos maestros. Pronto empezó a destacar por introducir elementos innovadores con acero y vidrio, pero aun así los comienzos fueron difíciles económicamente. Además, su trayectoria se vió cortada por la Primera Guerra Mundial al verser destinado en Rumanía.
En los años 20' comenzaron a llegar sus primeros éxitos y los trabajos más importantes, como la casa Wolf o la casa Hermann Lange. La utilización de la línea recta, la sencillez en la composición, y los juegos de luces con el reflejo en los metales son algunos de los rasgos característicos del racionalismo de Mies Van der Rohe. En 1929 le encomendaron el diseño del pabellón de Alemania en la Exposición Universal que ese año se celebrara en Barcelona. Este pabellón que aún se conserva usó pilares de acero que liberaban a las paredes como elementos de soporte y las convertía tan solo en moduladores del espacio. La famosa silla Barcelona también fue diseñada para esta ocasión.
Antes de empezar un periplo también exitoso en Estados Unidos, fue el último director de la prestigiosa escuela Bauhaus: escuela de diseño y arquitectura en la que trabajaron los artistas más importantes de la vanguardia alemana en el periodo de entreguerras y que tenía como principal objetivo la unión, a través de una formación artesana, de las nuevas exigencias de la tecnlogía y la industria modernas. Propugnaba la fusión en todas las artes. Cuando estuvo al mando de la Bauhaus (1930-1933) mantuvo sus postulados arquitectónicos como reflejó en la casa Tugendhat de Brno (República Checa) y en la casa Lemake de Berlín. Cuando los nazis cerraron la escuela, esta desapareció y Mies Van der Rohe emigró a América.
En Estados Unidos ejerció una importante influencia, sobre todo a raíz de ser el encargado de la dirección de la Sección de Arquitectura del Instituto de Tecnología de Illinois, Chicago. Repartidos por todo el amplio espacio del campus de la Universidad, dispuso los distintos edificios de forma libre y en bloques horizontales de marcadas líneas y ángulos rectos. Las estructuras simples reinaban. De esta época destaca el Crown Hall (1957), cuya fachada estaba estructurada solo con pilares de acero y cristales, al igual que los dos rascacielos Lake Shore Drive (1948-1951). También construyó junto con su discípulo P.C. Johnson el Seagram Building en 1956.
En 1969 murió y empezó así la leyenda de uno de los arquitectos más influyentes de la arquitectura contemporánea. Desde 1988, la Unión Europea y la Fundación Mies Van der Rohe otorgan en su nombre el premio de arquitectura contemporánea más importante de Europa.