Era miembro de una familia acomodada de Wick (Escocia), y estudió Historia Natural, Derecho y Filosofía en la Universidad de Edimburgo. En sus años de estudiante comenzó a interesarse por la arqueología, estudiando los túmulos neolíticos de Yarrows Hills y Kettleburn, sobre los que publicó los resultados de sus excavaciones en el Archaeological Journal. Tuvo que abandonar el trabajo de campo debido a problemas de salud.
En 1855 se trasladó a Egipto, donde excavó en la Necrópolis Tebana hasta 1857, publicando su primer artículo sobre el Antiguo Egipto: On one of the simple forms of Burial in use among the Ancient Egyptians, observed in a recent excavation at Geezeh (1854-1857) y entregando al museo de Escocia de Edimburgo los objetos encontrados.
En 1858 compró a un anticuario ilegal de Luxor el Papiro de Ahmes (llamado también Papiro Rhind), que se conserva en el Museo Británico de Londres desde 1863. Se trata del más antiguo tratado de matemáticas del que se tenga noticias, y el mejor exponente del trabajo matemático que realizaban los escribas egipcios. También adquirió el Rollo egipcio Matemático de cuero o EMLR (por las siglas de su nombre en inglés, Egyptian Mathematical Leather Roll), entregado al mismo museo en 1864. Posiblemente ambos proceden del Ramesseum.
Entre 1858 y 1862, Rhind recorrió diversos países dando conferencias sobre sus trabajos y ampliando conocimientos. En 1862 publicó Thebes: Its Tomb and their Tenants, Ancient and Present, including a Record of Excavations in the Necropolis, un estudio detallado de la necrópolis y sus tumbas.
En 1863 realizó un viaje por el Nilo, recorriendolo desde El Cairo hasta la segunda catarata en Wadi Halfa, y realizando un estudio geológico completo, estudiando la influencia que sus características tuvieron en las construciones egipcias de la Antigüedad. Nunca llegó ha publicar los resultados. Durante el viaje empeoró su estado de salud, y se retiró a La Majolica en el pueblo Cadenabbia a orillas del Lago de Como en la Lombardía, donde falleció el 3 de julio de 1863.
Legó su biblioteca, compuesta por unos 1.600 volúmenes, y una cantidad en efectivo a la Sociedad de Anticuarios de Escocia, y dejó legados para becas en la Universidad de Edimburgo y para la creación en Sibster de una Fundación dedicada a la difusión de la arqueología por medio de conferencias, que se conocen popularmente como Rhind lectures.
