No Regedit do Windows ir em

Computador\HKEY_CURRENT_USER\Software\Adobe\Photoshop\90.0

90.0 é a versão pode ser outra.

 

Inserir um Dword 32 bits com seguinte nome

OverridePhysicalMemoryMB

Valor Hexadecimal 2400

Regedit do Windows
photoshop ram insuficiente