Множественность человеческих предпочтений для ИИ

Групповое мышление LLM снижает множественность выходных данных и предпочтений, мотивируя исследования методов повышения разнообразия.

Рамка требует сохранять миноритарные перспективы в оценке и alignment вместо plurality-vote.

Оба результата ставят под сомнение предположение о том, что RLHF и тонкая настройка надёжно производят выровненные модели, отражающие разнообразные человеческие предпочтения.

Проблемы конвергенции выходных данных LLM напрямую связаны с задачей представления множества человеческих предпочтений в системах ИИ.

Набор данных IFLLM выявляет разнообразное поведение взгляда и мыши, отражающее множественность предпочтений пользователей к ответам LLM.

Исследование теории ценности критикует preferences как заменитель культурно укоренённых человеческих ценностей.

«Налог на диалект» показывает неравенство пайплайна даже при признании семантической эквивалентности.

Широкий спрос по пяти ценностям против узких дрейфующих конституций моделей оставляет крупные группы пользователей без покрытия.

Спрос на конституционные ранжирования ценностей широк, а предложение передовых моделей узко — формализация дефицита plural defaults.

Законы масштабирования для точности социального моделирования показывают, что моделирование мнений и поведения улучшается с вычислительными мощностями, информируя о том, как системы ИИ представляют разнообразие человеческих предпочтений.