Point Diffusion Implicit Memory