Gråspurven er altædende. Føden domineres af frø, korn og madrester, men i yngletiden tages også mange insekter, der er vigtige for ungerne. Den mindskede adgang til insekter i velplejede, kortklippede parker og haver menes at bidrage til, at arten er gået tilbage i byerne. Ved foderbrættet tager gråspurven gerne korn, brødkrummer og solsikkefrø, og den søger oftest føde på jorden i samlet flok.