Поясните, пожалуйста, мысль. Если у нейросети нет нужной информации, она может уверенно выдумать ложный факт, который выглядит логичным, но является ошибочным по существу.
Может, конечно, и такое бывает нередко.
Я с языковыми моделями не работал, а немного работал с моделями компьютерного зрения, но матчасть та же самая. В компьютерном зрении выглядит так. Например, мне надо различать кошек и собак. У меня есть две папки, в одной тысяча фоток кошек, в другой - тысяча фоток собак. Я создаю необученную нейронку - функцию, у которой много числовых коэффициентов, которые изначально имеют, например, случайные значения. Начинаю ей показывать фотки и спрашивать, кошка или собака? Если отвечает неправильно, чуть-чуть подправляем коэффициенты. И так несколько кругов по всему датасету, и каждый раз капельку подправлять коэффициенты в случае неправильных ответов. В результате коэффициенты сами собой подбираются так, что нейронка неплохо различает кошек и собак. После этого её можно экспортировать и использовать в приложениях.
Но когда нейронка используется в приложении, она "не помнит" конкретные фотографии, которые ей показывали в обучении. Эффект фотографий заключается в том, что благодаря ним как-то изменялись коэффициенты и в конце концов получили работающие значения. "Мышление" нейронки заключается в этих коэффициентах.
Поэтому можно представлять себе, что нейронка обладает "врождённым" объёмом знаний, в том числе умением говорить, если речь о языковой модели. Но ответы она генерирует исходя не из логики и не из сознательно составленной программы, а исходя из коэффициентов, то есть "по наитию". Коэффициенты содержат в себе информацию, но не непосредственно, а в "переваренном" виде, как результат наслоений крошечных изменений на каждом шагу обучения.
Конечно, можно тренировать нейронку рассуждать по законам логики. Но для нейронки логика - примерно то же, что для живого человека. Это не нечто, безусловно зашитое в мозг. Во-первых, в "сознательной жизни" она ими пользуется "интуитивно", то есть более-менее логические ответы появляются сами собой в результате вычислений по коэффициентам.
Во-вторых, в принципе, можно в явном виде попросить её следовать правилам логики (или любым другим, например - оформление кода), и таким требованиям она будет стараться следовать, но может, например, их забыть. Что кардинально отличается от обычного программирования, в котором логика является фундаментальным способом организации программы, и отклонение от которой немыслимо.
У слабых моделей иногда ощущается вайб студента-троечника: слышал звон, но не знаю где он, и стараюсь экспромтом накидать умных слов, чтобы получилось правдоподобно и наукообразно. По-моему, это неплохо иллюстрирует их психологию. У продвинутых моделей получается лучше, но матчасть та же.
