Czy warto dokupić pamieć ram do mojego sprzetu?

Nie, nie ma sensu taka dokładka. Tym bardziej mając już 4GB. To jest wystarczająca wielkość aby bawić się systemem x64. Oczywiście mówimy tu o normalnym użytku bez ładowania maszyn wirtualnych, pracy na dużych plikach photoshopa, obróbce video itp. Zresztą platforma to już bardzo ale to bardzo leciwy sprzęt i wszystko co jest obecnie low-endem odstawia daleko w tyle Xeon'a III generacji. Do tego płyta główna a w zasadzie jej leciwy chipset to też wąskie gardło.
Jeśli wczytywanie stron działa bardzo wolno to przyczyna leży zupełnie gdzie indziej.
Zacząłbym od prostej diagnostyki zapętlonego ping'a na router i dalej w świat, poglądowego testu z dowolnej witryny na temat przepływności łącza tzw speedtest. Sprawdziłbym ładowane procesy, zasoby sprzętowe. Być może ktoś jeszcze korzysta z tego łącza, używa programów P2P. To wszystko musisz sobie sam sprawdzić.