Введение
Вопрос о том, какая архитектура вычислительной системы является «правильной», на первый взгляд кажется сугубо техническим. На деле он давно вышел за пределы инженерии и превратился в вопрос экономический, а отчасти и философский. Архитектура – это не набор блоков и связей на схеме, а зафиксированное представление разработчика о том, какие задачи важны, какие ресурсы дефицитны и какими компромиссами допустимо расплачиваться. Именно поэтому спор об эффективности архитектур никогда не завершается окончательно: меняются задачи – меняется и само содержание понятия «эффективность».
Актуальность темы определяется двумя встречными процессами. С одной стороны, замедление действия закона Мура и фактическое прекращение масштабирования по Деннарду лишили отрасль привычного источника «бесплатного» роста производительности: улучшение техпроцесса больше не гарантирует пропорционального выигрыша по энергии и частоте. С другой стороны, взрывной рост нагрузок, связанных с машинным обучением и обработкой больших массивов данных, радикально изменил профиль типичного вычисления. В этих условиях выбор архитектурной стратегии перестал быть внутренним делом проектировщиков микросхем и стал фактором конкурентоспособности целых отраслей.
Цель настоящей статьи – показать, что традиционная постановка вопроса «универсальность против специализации» методологически устарела, и предложить рамку, в которой эффективность рассматривается как отношение между архитектурой и структурой решаемой задачи, а не как абсолютная характеристика вычислителя. Материалом для анализа служат как классические результаты теории вычислительных систем, так и практика последнего десятилетия, отмеченного возвращением архитектурного разнообразия после долгого периода фактической монокультуры универсальных процессоров.
Кризис универсальной модели
Классический пример архитектурного противостояния – конкуренция универсальных и специализированных решений. Универсальная архитектура фон-неймановского типа десятилетиями оставалась разумным компромиссом: она проигрывала специализированным схемам в скорости на конкретных задачах, но выигрывала в гибкости, стоимости разработки и, что не менее важно, в стоимости программной экосистемы. Один и тот же процессор исполнял бухгалтерскую программу, компилятор и физическое моделирование – и это считалось не недостатком, а главным достоинством.
Однако у этого компромисса всегда была цена. Разделение процессора и памяти, лежащее в основе фон-неймановской модели, порождает известное «узкое место»: скорость вычислений упирается в пропускную способность канала между вычислителем и хранилищем данных. Пока задачи были преимущественно вычислительно-плотными, то есть на каждый байт, извлечённый из памяти, приходилось много арифметических операций, эта плата оставалась терпимой. Кэш-иерархии, предвыборка, внеочередное исполнение – весь арсенал микроархитектурных ухищрений десятилетиями успешно маскировал проблему.
Рост нагрузок, связанных с обработкой больших данных и нейросетевым выводом, сместил баланс. Современные задачи всё чаще ограничены памятью, а не арифметикой: данные велики, повторное использование их фрагментов невелико, а доля времени, которое процессор проводит в ожидании памяти, растёт. Узкое место, которое раньше считалось терпимой платой за универсальность, стало ограничивать производительность сильнее, чем сама вычислительная мощность. Энергетическая сторона вопроса ещё показательнее: перемещение операнда из внешней памяти обходится на порядки дороже, чем выполнение над ним арифметической операции. Иначе говоря, современный вычислитель тратит энергию преимущественно не на то, чтобы считать, а на то, чтобы носить данные.
Отсюда – закономерный возврат интереса к специализации. Тензорные и матричные ускорители подстраивают тракт данных под структуру линейной алгебры; архитектуры класса «вычисления в памяти» пытаются устранить само разделение хранения и обработки; нейроморфные схемы идут ещё дальше, отказываясь от синхронной цифровой модели в пользу событийной. Каждое из этих направлений по-своему отвечает на один и тот же вызов: цена универсальности стала слишком высокой для доминирующего класса задач.
Эффективность как отношение, а не свойство
Здесь важно избежать распространённой методологической ошибки. Эффективность архитектуры нельзя измерять одной метрикой – числом операций в секунду, энергопотреблением на операцию или стоимостью кристалла. Любая из этих величин осмысленна лишь применительно к конкретной нагрузке. Ускоритель, демонстрирующий выдающиеся показатели на плотном матричном умножении, может оказаться беспомощным на задаче с нерегулярным доступом к памяти и интенсивным ветвлением; и наоборот, универсальное ядро, «медленное» по пиковым показателям, нередко выигрывает на реальном, неоднородном коде.
Корректнее говорить о соответствии архитектуры структуре задачи. Матричные вычисления, естественно, ложатся на регулярные параллельные структуры с предсказуемым потоком данных; последовательная логика с ветвлениями и косвенной адресацией – нет. Архитектура эффективна тогда, когда форма вычислителя повторяет форму вычисления: когда параллелизм задачи находит соответствующий ему параллелизм аппаратуры, а локальность данных – соответствующую ей организацию памяти. Эта мысль не нова – она восходит ещё к ранним работам по систолическим массивам и потоковым машинам, – но именно сейчас, когда резервы «слепого» масштабирования исчерпаны, она приобрела непосредственный практический вес.
Характерно, что та же логика соответствия работает и в обратном направлении: не только аппаратура подстраивается под задачи, но и задачи – под аппаратуру. Успех графических процессоров в машинном обучении объясняется не только их пригодностью для матричных операций, но и тем, что исследовательское сообщество за десятилетие сознательно отобрало и развило именно те алгоритмы, которые хорошо ложатся на доступное массовое «железо». Архитектура, таким образом, не пассивно обслуживает задачи, а активно формирует ландшафт допустимых решений – обстоятельство, которое следует учитывать при оценке долгосрочных последствий архитектурных решений, принимаемых сегодня.
Из такой постановки следует важный вывод: не существует эффективной архитектуры вообще. Существует эффективное соответствие. Формально это можно выразить так: эффективность есть функция пары «архитектура – задача», и оптимизация по одному аргументу при игнорировании второго лишена смысла. Практическое следствие столь же прямолинейно: проектирование вычислительной системы должно начинаться не с выбора аппаратной платформы, а с характеризации нагрузки – её арифметической интенсивности, профиля доступа к памяти, степени и зернистости параллелизма.
Количественные инструменты оценки соответствия
Тезис о соответствии архитектуры и задачи не остаётся декларацией – для его операционализации существует развитый количественный инструментарий. Наиболее наглядным из них является так называемая roofline-модель, связывающая достижимую производительность системы с арифметической интенсивностью нагрузки, то есть с отношением числа выполняемых операций к объёму данных, перемещаемых из памяти. Модель разделяет всё пространство задач на две области: в одной производительность ограничена пропускной способностью памяти, в другой – пиковой мощностью вычислителя. Положение конкретной задачи относительно этой границы немедленно показывает, какой архитектурный ресурс для неё является дефицитным, а какой – избыточным и, следовательно, оплаченным впустую.
Полезно помнить и классические ограничения, сформулированные задолго до нынешней волны специализации. Закон Амдала жёстко связывает предельное ускорение системы с долей последовательной части вычисления: сколь угодно мощный ускоритель бессилен против фрагмента кода, который не поддаётся распараллеливанию. Применительно к гетерогенным системам это означает, что выигрыш от специализированного блока ограничен долей нагрузки, которую этот блок реально принимает на себя, – обстоятельство, которое маркетинговые сопоставления пиковых характеристик систематически обходят стороной. Оценка архитектуры по пиковой производительности без анализа покрытия нагрузки является, строго говоря, методологически несостоятельной.
Наконец, энергетическая метрика заслуживает статуса первичной, а не вспомогательной. В условиях, когда плотность мощности ограничивает и частоту, и степень интеграции, вопрос «сколько операций в секунду» всё чаще уступает место вопросу «сколько операций на джоуль». Показательно, что именно по этой метрике разрыв между универсальными и специализированными решениями максимален: устранение накладных расходов на выборку и декодирование команд, характерных для универсального процессора, даёт специализированной схеме преимущество в десятки и сотни раз – но, разумеется, лишь на той задаче, под которую она построена.
Пределы специализации и гетерогенный компромисс
У специализации есть и обратная сторона, о которой в период всеобщего увлечения ускорителями говорят реже, чем следовало бы. Чем сильнее архитектура подогнана под конкретный класс задач, тем короче её жизненный цикл: смена доминирующей нагрузки обесценивает вложения в кремний, а они в современной микроэлектронике измеряются сотнями миллионов долларов на проект. История отрасли знает немало примеров узкоспециализированных машин, устаревших раньше, чем окупились затраты на их создание. Специализация – это ставка на стабильность класса задач, и ставка эта далеко не всегда выигрывает.
К экономическому риску добавляется программный. Специализированная архитектура требует специализированного инструментария: компиляторов, библиотек, отладчиков, наконец, инженеров, умеющих всем этим пользоваться. Стоимость программной экосистемы нередко превышает стоимость собственно аппаратной разработки, а её зрелость определяет реальную, а не пиковую производительность системы. Универсальные архитектуры выигрывали десятилетиями во многом именно потому, что накопленный программный капитал делал их выгодными даже при заведомо неоптимальной аппаратуре.
Поэтому зрелая стратегия проектирования, по-видимому, лежит не в выборе между универсальностью и специализацией, а в управлении их соотношением. Гетерогенные системы – универсальное ядро, координирующее набор узких ускорителей, – представляют собой не временный компромисс, а устойчивую архитектурную парадигму. Универсальная часть принимает на себя нерегулярный, управляющий и редко исполняемый код; специализированная – регулярные, энергоёмкие ядра вычислений. Критическим при этом становится не устройство отдельных блоков, а организация их взаимодействия: разделяемая память, когерентность, стоимость передачи управления. Именно интерфейсы, а не вычислительные элементы, определяют сегодня качество гетерогенной системы.
Отдельного внимания заслуживает вопрос о том, где проходит разумная граница специализации. Практика показывает, что наиболее устойчивыми оказываются не узкозадачные, а предметно-ориентированные архитектуры: они подстраиваются не под конкретный алгоритм, который может смениться через два-три года, а под устойчивые вычислительные примитивы целой предметной области – линейную алгебру, обработку сигналов, работу с графами. Примитивы такого уровня меняются на порядок медленнее, чем алгоритмы, построенные из них, и потому ставка на них сочетает выигрыш специализации с приемлемым горизонтом окупаемости. Иными словами, грамотная специализация – это специализация под инварианты предметной области, а не под её сиюминутное состояние.
Следует подчеркнуть, что гетерогенность переносит сложность, а не устраняет её. Бремя выбора – какую часть вычисления куда направить – смещается с проектировщика аппаратуры на компилятор, среду исполнения и в конечном счёте на программиста. Это означает, что архитектурная дисциплина будущего в значительной мере будет дисциплиной распределения: статического и динамического отображения фрагментов задачи на неоднородный вычислительный субстрат.
Заключение
Вывод из сказанного скорее методологический, чем технический. Эффективность – не свойство архитектуры самой по себе, а свойство пары «архитектура – задача»; следовательно, вопрос «какая архитектура лучше» некорректен без указания нагрузки, горизонта эксплуатации и структуры затрат. Возврат интереса к специализированным решениям отражает не поражение универсальной модели, а изменение доминирующего класса задач; риски специализации, в свою очередь, объясняют устойчивость гетерогенной парадигмы как управляемого компромисса.
Признание этих обстоятельств переводит проектирование из области поиска идеала в область осознанного выбора: инженер не находит «правильную» архитектуру, а конструирует соответствие между формой вычислителя и формой вычисления, принимая на себя ответственность за неизбежные потери по остальным измерениям. Такая постановка, вероятно, честнее отражает природу инженерной деятельности, чем привычная риторика универсальных решений, – и именно она, на взгляд автора, должна лежать в основании как исследовательских программ в области вычислительных архитектур, так и практических решений о выборе платформ.
