Vid sidan om arbetet i skolan åstadkom han ända in på 1980-talet en litterär produktion av betydande omfattning. Den var mycket mångsidig, bestående av underfundiga aforismer och essäer, finstämd lyrik och tunga romaner. Författarskapet spänner från bondeliv i Halland till kulturyttringar i Faraos Egypten. Hans arbeten blev gränsöverskridande i både tid och rum med omsorgsfullt genomarbetade person- och miljöteckningar.

Albert Olsson är mest känd för sin romantrilogi om 1600-talsbonden Tore Gudmarsson. De tre böckerna Sand, Gränsland och Tore Gudmarsson gavs ut i början av 1940-talet. Författaren såg sina romaner som en motståndshandling mot andra världskrigets våldsamheter.