Este edifício foi mandado construir por D. Pedro I em 1358 e serviu de residência régia a D. Fernando e D. João I, para estadas de caçadas e pescarias. Em 1588 foi vendido aos senhores de Atouguia. A partir daí foi mudando de donos e, atualmente, continua a ser propriedade privada. Na primeira metade do século XVI foi objeto de importantes obras de reconstrução, tal como o revelam os vestígios de arquitetura manuelina que, ainda hoje, podem ser apreciados.
O Paço de Serra d’El-Rei foi alvo da atenção de José Hermano Saraiva, no programa Horizontes da Memória, subordinado ao tema «Paços Perdidos», exibido na RTP 2, no último trimestre de 1998. O historiador reforçou a importância deste edifício, tanto no contexto da história do concelho como nacional, referindo o papel da sua torre medieval, muitas vezes tomada por um simples miradouro, na defesa do território. Mencionou a passagem dos reis acima mencionados, as Cortes de 1393 e referiu-se aos amores de D. Pedro e D. Inês, reafirmando a certeza de D. Pedro I ter aqui vivido durante cerca de cinco anos, numa altura em que D. Inês residia na aldeia do Moledo, no concelho da Lourinhã. Depois desses cinco anos de namoro viveram maritalmente neste Paço. Sobre este assunto, Agustina Bessa-Luís, na obra Adivinhas de Pedro e Inês, coloca a hipótese do casamento secreto dos dois apaixonados (a ter sido concretizado) poderá ter tido lugar neste recanto onde parecem ter vivido tempos felizes, longe das invejas e intrigas da Corte.