Почему вы думаете, что грамотными там были только славяноязычные?
не только; но, насколько я помню, официально считается карельской единственная "усадьба Е" из нынераскопаных. То есть карелов с вепсами либо было мало, либо жили они где-то на отшибе.
В какой-то довоенной финской публикации ( ещё до находок берестяных грамот ) читал я идейку, что у пфу народов существовало некое табу на письменность, там и аргументы какие-то приводились, но я сейчас их не помню... Короче, мне эта идейка фричеством кажется.