Сложная ситуация. Основная проблема в том, что в 2004 году, как я понимаю, Вы добровольно отказались от своей доли наследства. Общий срок исковой давности три года. Иск об установлении факта ничтожности сделки и о применении последствий ее недействительности может быть предъявлен в течение десяти лет со дня, когда началось ее исполнение. Но тут возникает вопрос, а на каком, собственно говоря, основании Вы будете оспаривать это соглашение? Если Вы имеете в виду, то, что мама с братом не имели право получать по наследству ВСЮ квартиру, то тогда возникает вопрос об оспаривании выданных свидетельств о праве на наследство. В любом случае, если Вы готовы попробовать, то Вам надо обратиться с соответствующим иском в суд.