LLM не самоосознают свои алгоритмы
Ключевые факты
- 1 LLM не имеют доступа к своим внутренним алгоритмам или коду.
- 2 Ответы LLM на вопросы о себе основаны на обучающих данных, а не на самоанализе.
- 3 Информация, полученная от LLM о них самих, может быть неточной или ложной.
- 4 Существует риск "порочного круга подтверждения", когда ответы LLM становятся частью новых обучающих данных.
Автор поста утверждает, что LLM не способны "самоосознавать" свои внутренние системы, код, алгоритмы ранжирования или предпочтения. Когда пользователи задают LLM вопросы о том, как они работают или генерируют ответы, модель не обращается к своим внутренним механизмам. Вместо этого, ответы формируются на основе информации, которую случайные люди в интернете написали об этом, и которая была усвоена из обучающих данных или подтянута через механизм "grounding". Это приводит к "порочному кругу подтверждения", где ответы LLM, основанные на общедоступной информации, воспринимаются как истина, затем используются для создания нового контента, который, в свою очередь, может быть снова использован для обучения LLM. Автор подчеркивает, что такая информация может быть как правдивой, так и ложной, и призывает не заблуждаться, думая, что LLM консультируют на основе собственного внутреннего анализа.