En 1299 participó en la guerra de las Vísperas sicilianas, pero fue vencido en la batalla de Falconara, que terminó con su captura y posterior encierro hasta recobrar su libertad con la Paz de Caltabellota en 1302. En abril de 1304, Felipe envió representantes a Epiro para reclamar la herencia que le había prometido su fallecido suegro. No obstante, su viuda, Ana Paleólogo Cantacuceno, rehusó entregársela debido a que deseaba que su hijo, Tomás, la sucediera. Ante la negativa, los angevinos respondieron con la guerra y encomendaron a Felipe de Saboya, gobernante de Acaya, invadir el territorio, pero se retiró tras aceptar un soborno. Por esta acción, Carlos II lo depuso del Principado y se lo entregó a Felipe. Cuando la guerra se había tornado en su contra, tuvo que firmar la paz con su suegra en 1306, con lo que renunciaba a sus pretensiones de gobernar la totalidad de Epiro.
El edificio es un ejemplo del estilo neogótico. Una de las características más notables del palacio es la torre del reloj, una atracción turística que alberga la campana llamada Big Ben, nombre asignado erróneamente al reloj de la torre.
