Gandalf Harmaa oli yksi viidestä velhosta, jotka ilmaantuivat Keski-Maahan noin tuhat vuotta kolmannen ajan alun jälkeen yhdistämään niitä, jotka vastustivat Sauronin uudelleen nousevaa mahtia.
Gandalf liikkui enimmäkseen läntisillä mailla eikä jäänyt mihinkään pysyvästi asumaan.[1] Kun kolmatta aikaa oli kulunut yli kolmetuhatta vuotta, hän sai selville, että hobitti Bilbo Reppulin löytämä sormus oli Sauronin takoma Sormusten sormus, johon tämä oli siirtänyt suuren osan entistä voimaansa. Gandalf johti saattuetta, jonka tehtävä oli tuhota Sormus, mutta Morian kaivoksissa hän kaatui taistelussa balrogia vastaan. Hänet lähetettiin takaisin Gandalf Valkoisena, ja hän oli yksi lännen puolustuksen johtajista Sormuksen sodassa. Sauronin kukistuttua haltioiden kolmen sormuksen kantajat jättivät Keski-Maan. Yksi heistä oli Gandalf, joka oli saanut Círdanilta tulen sormuksen, Naryan.
Vaikka harva sitä Keski-Maassa tiesi, velhot olivat valarin lähettiläitä Lännen äärestä. Gandalf oli maia Olórin, joka oli asunut Valinorissa vala Irmon puutarhoissa Lórienissa.