Почему в наречии "не шибко(умный)" частица пишется раздельно, несмотря на то что наречия на -о,-е пишутся раздельно только в случаях противопоставления и при словах-магнитах? Ответ, пожалуйста, обоснуйте.