Menurut Legenda "Brown Lady of Raynham Hall" adalah hantu mendiang Lady Dorothy Walpole (1686-1726), adik dari Perdana Menteri Pertama Inggris, Robert Walpole. Lady Dorothy adalah istri kedua dari Charles Townshend, 2nd Viscount of Raynham, yang tinggal di Raynham Hall, pada awal tahun 1700-an. Pada Awal tahun 1800-an, Raja George IV, ketika tinggal di Raynham, dia melihat sesosok wanita mengenakan baju coklat berdiri di samping ranjangnya.
Penampakan ditulis pertama terkait hantu Brown Lady oleh Lucia C. Stone saat menghadiri pertemuan di Raynham Hall pada Natal tahun 1835. Stone mengatakan bahwa Lord Charles Townsend telah mengundang berbagai tamu ke Hall, termasuk Kolonel Loftus, untuk bergabung dalam perayaan Natal. Loftus dan seorang tamu bernama Hawkins mengatakan mereka telah melihat "Brown Lady" mendekati kamar tidur mereka pada satu malam, dan melihat hantu peremuan tersebut memakai gaun coklat.
