„Iš mažos gilės išauga didelis ąžuolas“, – teigia lietuvių patarlė. Pirmasis bibliotekos direktorius Kazys Povilaitis tokią „gilę“ pasodino dar 1956 m., pasiūlęs statyti naujus modernius bibliotekos rūmus su erdviomis skaityklomis, patogiais kabinetais: „Per visus pastato aukštus turėtų būti pagrindinė saugykla, o aplink ją [...] – specializuotos skaityklos, kuriose sudarytos sąlygos maksimaliam darbui ir kultūringam laiko praleidimui. Greitą skaitytojų aptarnavimą turėtų užtikrinti techninės priemonės, atviri fondai“. Jis nurodė ir tinkamiausią vietą bibliotekos rūmams – buvusią Parodų aikštę: „Atitinkamai parengus ir pertvarkius tą Ąžuolyno plotą, susidarytų jaukus kultūrinis kampelis, kur vasaros metu skaitytojai galėtų naudotis net atviromis skaitymo aikštelėmis prie bibliotekos“. K. Povilaitis įsivaizdavo naujuosius bibliotekos rūmus su laiptais, panašiais į knygų pilies pakeliamąjį tiltą. Po laiptais turėjo tekėti Nemuną simbolizuojantis upelis. Pro žemės ūkio literatūros skaityklos langus jis norėjo matyti skverą su ten augančiais kukurūzais. Kol šie svajonės daigai sudygo, prabėgo ne vienas ieškojimų ir ginčų dešimtmetis. Šiandien pro bibliotekos langus matome ne kukurūzus, bet tvirtumo, ilgaamžiškumo, išdidumo simbolius – ąžuolus. K. Povilaitis ir kiti statybų entuziastai nuėjo ilgą kelią, kol sustojo Ąžuolyne... Ir štai jau 60 metų ąžuolų prieglobstyje įsikūrusi biblioteka tarnauja Knygai ir Skaitytojui.