Статистическое чудо: Рождение логики из текстового хаоса в ИИ Перемножение больших матриц — преимущественно квадратных, иногда квадратных на прямоугольные, когда задача становится особенно сложной — это, по сути, и есть основа «мышления» современных мощных систем искусственного интеллекта. Но как к этому относиться? Интересно ли это разработчикам ИИ? Давайте разберемся. Рассмотрим скорость. Человеческий мозг, несмотря на…
Прямо сейчас в мире вычислений происходит фундаментальный сдвиг, масштаба которого не было последние 40-50 лет – со времен появления классических центральных процессоров (CPU) и доминирования фон Неймановской архитектуры. Мы наблюдаем ключевой переход от последовательных вычислений к массово-параллельным. Суть в том, что вместо решения задач поочередно, одна за другой, современные системы все чаще обрабатывают множество задач одновременно. Этот переход…
Представьте запах свежескошенной травы. Или ощущение холода на щеке зимним утром. Как точно описать это другому? Как объяснить, что именно вы чувствуете? Это невозможно. Запах, цвет, боль, тепло – это глубоко личные, внутренние ощущения. Мы исходим из гипотезы, что другие чувствуют примерно то же самое. Социально мы «поднастроились»: в целом предполагаем общность восприятия, хотя масса случаев доказывает обратное. Мы думаем,…
Машинное обучение, особенно в области глубоких нейронных сетей, обладает одним поразительным свойством: никто до конца не понимает, как именно математическая структура внутри модели самоорганизуется в процессе обучения для решения поставленной задачи. Возьмем, к примеру, фундаментальную задачу предсказания следующего слова в последовательности. Если попытаться проанализировать миллиарды параметров и вычислений, происходящих внутри обученной нейросети в ответ на конкретный вход,…
Основная вычислительная сложность и главный потребитель энергии при обучении современных нейросетей — это создание так называемой «языковой модели». Вот как это работает: Вывод: Возникновение таких непредусмотренных, «эмерджентных» способностей — пожалуй, самый сногсшибательный аспект работы больших языковых моделей. Модель не просто запоминает, а обретает новые компетенции, которых раньше не было. Этот феномен — настоящее чудо современных технологий…
Дискуссии о стремительном развитии искусственного интеллекта, особенно больших языковых моделей (LLM), все чаще включают тревожные нотки об их экологическом следе. Главный вопрос: сколько же реально энергии «съедает» создание и работа ИИ, и насколько оправданы страхи о его ненасытном аппетите? Мгновенная Цена Интеллекта: Работа Сервера Начнем с конкретики работы уже обученной модели. Представьте себе чат-бот или…
Введение Мой скромный опыт работы с искусственным интеллектом постоянно заставляет меня задаваться фундаментальным вопросом: а можно ли сказать, что большие языковые модели (LLM) думают? Они не ищут ответы в базе данных, как традиционные поисковики. Они генерируют текст. Но что стоит за этим процессом генерации? Можно ли это назвать мышлением? Суть «мышления» ИИ Проясним главное: основная задача LLM —…
Мы все любим научную фантастику, этот жанр, по сути, – постоянное размышление о будущем. И каждый раз, держа в руках современный смартфон, я остро осознаю, насколько невозможны точные предсказания. Например, радиолюбитель из прошлого с огромным стажем. Если бы я рассказал ему сегодня, что в этот небольшой, плоский прямоугольник помещаются фотокамера, видеокамера, навигатор, телефон, рация, фонарик,…
Современные системы глубокого обучения открывают удивительные параллели с работой человеческого мозга. В их глубине, подобно нейронным сетям в нашем сознании, формируются особые узлы. Эти узлы становятся связующими звеньями для самых разных «линейных цепочек» знаний, усвоенных моделью – например, огромной языковой моделью. И что поразительно: модель самостоятельно вычленяет в этих цепочках нечто общее. Возьмем, к примеру, эмоциональное…
Доклад для конференции по направлениям: нейробиология, ИИ и этика технологий. Представьте, что вы можете подключиться к мозгу человека и «прочесть» его воспоминания или мысли. Звучит как сюжет фантастического фильма, но ученые десятилетиями пытаются приблизиться к этой идее. Однако пока технологии чтения мыслей не существует — и на то есть серьезные причины. Проблема №1: Что такое…