Интерес к проблеме предсказания границы уже есть в ресерч-комьюнити. Есть уже не одна статья, где авторы озаботились одной и той же проблемой — есть несколько пайплайнов, цифры на них похожие, а предикшны не совсем коррелируют с цифрами.

Давайте рассмотрим пример c граундовой сегментацией лошади и сегментацией от BMask R-CNN. По метрике стандартной Intersection over Union (IoU), они совпадают на 92%. Но если посмотреть на глаз, то это не тянет на 92%.

Если мы сравним BMask с PointRend, то второе как раз больше похоже на исходную разметку. Но разница между ними по IoU всего 5%, а на вид так не скажешь.

Это происходит потому, что классический IoU меряется по всем пикселям объекта, а граница составляет лишь небольшой процент от всех пикселей. Поэтому сильные изменения на границах не сильно контрибьютят метрику, и изменения границы не видно.

Сразу спойлер: если мы воспользуемся метрикой, предложенной в этой статье, то разница будет более ощутима. Например, последнее предсказание похоже на голд на 91%. Это хороший результат, хотя какие-то отдельные участки не распознались.

Boundary IoU

Чтобы подсчитать эту метрику, мы будем работать с границами. Есть голдовая граница и предсказанная.

Под границей мы понимаем все пиксели, отстоящие от контура объекта на расстоянии d. Считаем расстояние между пикселем и ближайшим пикселем границы, и если оно меньше или равно d, значит, попадает в нашу граничную область. Есть две такие границы, их можно получить с помощью операции эрозии.

Дальше мы наложим две границы, посчитаем пересечение и объединение между ними. Так мы и посчитаем наш Boundary для Interception over Union. Это отношение границы пересечения и объединения границ.

Синий и желтый — границы голда и предикшн, красный — это где они пересекаются друг с другом. Здесь мы рассматриваем площадь не всего объекта, а граничных частей, и так будем считать нашу метрику.

Как выбирать расстояние d? Для популярных датасетов авторы прикинули и поняли для себя, что d=15 — хорошо. Это позволяет проиллюстрировать разницу между предсказанием границ разных методов. Для своего кастомного датасета это можно подобрать эмпирически.

Вот мы натренировали два метода. Если у них нет разницы, или разница небольшая по простому IoU, то можно измерить ещё и границу, если это важно для задачи. Так мы увидим, насколько широкую границу нужно брать. Если у вас объекты, например, 30 пикселей в ширину, то, наверное, граница в 15 пикселей — многовато. С ней покроется весь объект, и эта метрика ничем не будет отличаться от простого IoU. Исходя из таких соображений, надо выбирать этот параметр.

Обзор статей

Мы нашли несколько статей, которые помогут лучше предсказывать границы, когда делали обзор.

Есть одна группа методов, где мы просто берем лучшую сегментацию, а лучшая сегментация — это чаще всего на трансформерах. Либо это методы, которые уделяют внимание непосредственной границе. К некоторым методам есть код, к некоторым методам в лучших практиках ресёрча есть только инференс-код модели.

Но это не помешало нам использовать и рассмотреть три первых метода, о которых мы и будем говорить.

SegFix

Это алгоритм для пост-процессинга — ему всё равно, какая модель у вас делала семантическую сегментацию. Он старается улучшить предсказания, которые ему подаются на основе предсказанных определенным образом границ.

Интуиция за этим способом такая. Согласно ошибкам моделей семантической сегментации на границе объектов и внутри них, чем ближе мы подходим к границе, тем в большем числе пикселей мы начинаем ошибаться. Авторы предлагают предсказывать границы объектов и направление внутрь этих объектов. Затем на инференсе заменять пиксели на границах, идя по этому направлению внутрь.

Именно поэтому здесь тренировка отделена от тестирования. Однажды обученный SegFix работает с предсказаниями любой модели на датасете.

Сама модель SegFix довольно простая. Берется бэкбон, из него получается карта признаков, затем используется две ветки: одна, чтобы предсказать границу, вторая — чтобы предсказать направление внутрь объекта. Вторая чуть более хитрая, но авторы здесь используют классификацию на К классов, позже про неё расскажу.

Сами ветки простые: пара сверток и финальный предиктор. Возникает вопрос: как натренировать такую модель сегментации на границу и направления?

Мы берем сегментационную маску Ground Truth, разделяем её на К классов (каждая категория — отдельный канал). Полученные бинарные маски для каждого из К классов мы преобразуем при помощи дистанс трансформа, то есть получаем в каждом ненулевом пикселе расстояние до границы. Чем ближе к границе, тем число меньше, начиная от единицы; ближе к центру оно увеличивается. Затем к полученной карте расстояний мы применяем фильтр Собеля, чтобы получить в каждом пикселе направление внутрь этой маски.

Оранжевый цвет — это вниз, то есть на границе мы понимаем, что можно попасть внутрь маски, двигаясь вниз. На основе этих двух масок мы получаем финальную разметку для предсказаний. Нам нужно две маски — первая, чтобы получить границы объекта, вторая покажет, куда на границах нам нужно двигаться, чтобы попасть внутрь объекта.

Для получения границ мы применяем трешхолд на карту расстояний. Для карты дистанс трансформа, они применяют трешхолд 5, то есть толщина границ — 5 пикселей. Это применяется для каждой из К категорий, то есть речь о внутренних границах (когда мы идем внутрь объекта), а внешние границы в таком случае равны нулю.

Поскольку на всех датасетах — на ADE или на Ситскейпе, — у нас размечены все объекты, то мы получаем толщину 10 пикселей для ребер, и они поделены пополам по направлениям.

По поводу карты направлений. При помощи фильтра Собеля мы получаем угол от 0 до 360 градусов. Регрессию не хочется получить, поэтому делим диапазон на 8 или на 4 классов и будем учить обычную сегментацию на К классов. Условно мы берем диапазон от 0 до 45 градусов как движение вверх, от 45 до 90 — как движение вправо вверх и так далее. Получаем финальную маску и просто учим сетку с кросс-энтропией.

Что делать после того, как мы запустили тренировку на тренировочную модель? Как применить полученные результаты для рефайнмента наших лейблов?

Авторы предлагают взять направление на карте ребер, и замапить предсказанные классы в сдвиге. Если на карте мы двигаемся вверх, значит, мы берем пиксели, которые находятся сверху от текущего пикселя. И так же аналогично для всех остальных пикселей. Если мы двигаемся по карте направления вниз, то мы мапим это значение в (0; -1). Это значит, что по игреку мы идем вниз, а по иксу никуда не двигаемся, и так для всех классов.

Когда мы это сделали, мы оффлайново сохранили карту сдвигов всех пикселей для любых наших изображений. В дальнейшем мы просто берём любую входную карту, предсказанную любой сегментационной моделью и сдвигаем её с помощью сохраненных оффсетов.

Как это выглядит: у нас есть входная карта, лейблов и карта оффсетов. Мы сдвигаемся по карте оффсетов по пикселям и получаем наш рефайнмент. У нас может быть ситуация, когда есть очень толстая граница, поэтому когда мы идем по оффсету, мы не берем пиксель из внутреннего региона изображения, а все ещё берём пиксели с границы.

Если бы здесь была граница три пикселя, то при оффсете в единицу мы будем брать не внутренний регион, а пиксели в границе, которые мы считаем не очень надежными. Поэтому они предлагают значения типа (-1;1) скалировать на некоторый коэффициент, чтобы запрятать пиксели поглубже из внутренней области объекта. В частности, они используют коэффициент, равный двойке.

Что ещё мне не понравилось в этой работе? Они используют Grid_sample для того, чтобы сдвинуть пиксели, а Grid_sample применяется одновременно ко всем пикселям, которые мы его попросим сдвинуть. Из-за этого самые крайние пиксели все-таки меняются не на внутренние, а на пиксели с границы, которые находятся близко к ним. Мне кажется, выгоднее использовать итеративный подход— начинать изнутри, менять на внутренние пиксели и двигаться к границам.

По результатам у них получилось, что SegFix увеличивает метрику во всех сценариях — где-то на 0,5%, где-то на 3% в зависимости от датасета. Практически везде SegFix не ухудшает результат. Поэтому они предлагают использовать его в любой сегментации.

SegFix: результаты

Мы сами тренировали Segfix на СityScapes, и вот результат, который здесь получается. Видно, что некоторые области становятся ровнее, например, машина. Было кривое ребро, после Segfix оно стало более прямым. Также на знаке видно, что Segfix помогает выровнять некоторые ребра на дороге слева и так далее.

К сожалению, есть места, где Segfix ухудшает предсказание. Если границы и сами объекты у нас достаточно тонкие и границы получаются толщиной во весь объект, то могут быть проблемы, как на этом столбе — после Segfix получается неправильная замена лейблов. Даже на этих картинках видно, что он помогает побороть некоторые фолс позитивы. Здесь, например, синяя область исчезает или салатовая превращается в зеленую, что правильно.

Вопрос: Можно уточнить про процесс? Мы предсказываем сегментацию, используя две головы — одна предсказывает границы, вторая предсказывает оффсеты. Мы берем те пиксели, которые соответствуют границе, для них смотрим пиксели из фичмапы с оффсетами и заменяем для этих пикселей. Берем тот класс, который на сегментационной маске, если сдвинуть пиксель на величину оффсета. Правильно понимаю?

Ответ: Да, так это и работает, только сегфикс абстрагирован от сегментации. Он работает сам со входным изображением и предиктит оффсеты и границу именно на входном изображении. Какую сегментацию ему рефайнить — это не важно. Это отдельная стадия, постпроцессинг. Это отдельная сеть, которая учится на датасете, мы можем взять у этой сетки предикшен, задампить его, и использовать, чтобы рефайнить любую сегментацию на этом датасете.

Вопрос: Допустим, у меня есть датасет, где изначально граундтруфная разметка была не точной на границах. Я натренировал сеть, она предсказывает также, как и в граундтруф данных. Можно ли надеяться, что уже натренированный Segfix на ситискейпс может зарефайнить?

Ответ: Я думаю, если изначально была сегментация автомобилей, то можно использовать Segfix, который был натренирован на ситискейпс. У них нет применимости к моделям на которые были обучены на кастомных датасетах. Авторы утверждают, что они пытались обучить Segfix одновременно на ADE и на ситискейпсе, который в принципе довольно общий. Его можно использовать в любых поддоменных областях на этих датасетах.

Вопрос: Правильно ли я понимаю, что без переобучения мы границу не можем резко поменять?

Да, мы можем поменять только сдвиг, потому что модель предсказывает для той толщины, которая была захардкорена во время тренировки.

Gated-SCNN: Gated Shape CNNs for Semantic Segmentation

Следующая статья это Gated shape CNN. У Gated-SCNN будет 2 бранчи в сетке. Как можно улучшить результат сегментации?

Одна из идей — запускать инференс на картинках большого размера. А лучше — тренировать на картинках большого размера.

Авторы предлагают специальный дизайн сети лайтвейт с механизмом гейтинга. Он мог бы перекачивать инфу из одной ветки сети, где бэкбон сверху, и есть все признаки иерархичности. Информация передается в другую ветку сети, которая отвечает за форму объекта. В частности это та же самая карта ребер, которая будет предсказываться на исходном разрешении картинки на входе сети.

Помимо того, что мы чтобы лучше предсказывать границы, будем предсказывать карту ребер, авторы предложили специальный дуал таск лосс.

Что авторы здесь предложили? Первый стандартный бэкбон пусть называется обычной веткой. Вторая ветка — это шейп-ветка. Информацию надо как-то передавать из обычной в шейп. Как вы понимаете, в шейп-ветке на исходном решении это все выполняется.

Как делается? Есть самая первая свертка без пулинга и без страйда. Они берут самый начальный фич после первого слоя, и естественно немного сворачивали и после этого запускают свой механизм гейтинга, чтобы подмешать фичи с более глубоких слоев и более низкого разрешения. Чтобы это сделать, они просто увеличивают их: сначала сворачивают, потом делают интерполяцию.

Как они подмешивают? Есть Gated convolutional — сверточный слой, он представляет из себя сигмоида от какой-то свертки предыдущих фич, в общем, это какой-то аттеншн. Но автор утверждает, что это альфа-канал. Мы берем фичи с обычного стрима, с шейпстрима, конкатенируем их, сворачиваем и делаем сигмоид. Получаем коэффициенты, домножаем их на фичи шейп-ветки и все это объединяем в ресидуал-блоке.

Фактически, авторы предлагают поэлементный аттеншн, чтобы подмешать фичи из бэкбона в ветку с большим разрешением. Ширина канала здесь 16, каналов мало, потому что на выходе мы будем карту ребер предсказывать. Там один канал, поэтому можно обойтись небольшим числом каналов, но с большим разрешением.

С помощью этих гейтед-слоев они подмешали все необходимые фичи. Дальше по картинке подсчитали карту градиентов через Кани, конкатенировали с обыкновенными фичами перед ASPP, чтобы предсказать сегментацию. По сути они предложили аттеншн-слой, чтобы видеть фичи на более высокой резолюшн.

Gated-SCNN: Cityscapes results

Ниже визуализации трех альфа-каналов. Представлен сам поэлементный аттеншн: в среднем ряду на более ранних слоях, а это на более глубоких слоях (слева направо).

На более ранних слоях видно, что красное — это большее значение, синее — это меньшее. На них же видно, что аттеншн усиливает отклики на ребрах внутри самого объекта. На более поздних слоях заметно, что аттеншн помогает сетке фокусироваться на ребрах математических, либо на ребрах между объектами.

На самых глубоких слоях надо применить воображение. Авторы приводят результат на Cityscapes, получают 82,8 — это средний Intersection Union. Сейчас это где-то треть страницы Cityscapes на семантической сегментации. Интересно, что авторы используют архитектуру DeepLabV3+, и утверждают, что у неё вот такой перформанс.

На ситискейпсе он немного другой. Разница небольшая: авторы использовали диплаб, но слегка передизайнили, поменяли бэкбон. Чтобы честно сравниться, они и оригинальный DeepLabV3+ перетренировали без своих модулей и это значение сюда написали.

Gated-SCNN: losses

Какие лоссы тут используются? Сегментационный лосс простой: из интересного тут то, что веса для классов обратно пропорциональны их частоте. Для предсказания ребер может использоваться бинарная кросс-энтропия. В общем, чтобы они вносили пропорциональный контрибьюшн, то есть веса, пропорциональные другому классу.

Gated-SCNN: dual task loss

Самое интересное — это дуал таск лосс, который они предложили. Судя по экспериментам, он улучшает предсказание границ. Он состоит из двух частей, давайте рассмотрим сразу вторую.

Вторая часть — просто дополнительный сегментационный лосс там, где мы хорошо предсказали карту ребер. Под хорошо предсказали мы понимаем отклик больше 0,8 и лосс там, где у нас сетка уверенно предсказывает ребра. Ну и соответственно, где плохо предсказывает, мы используем игнор лейбл.

Что такое дуал таск лосс? Это модуль разницы между предсказанными картами ребер.

Голдовую просто посчитать — запустили через Собеля, или через морфологические операции можно вычислить. А в предикшне они берут предсказание семантической сегментации, они по нему берут arg max, немного блюрят, плюсуют фильтр Гаусса, потом считают градиент. Вот так получают ребра.

В статье достаточно мало картинок, но в качестве визуализации есть гифка. В принципе, не скажешь, что граница стала слишком ровной, по машине видно, что она немного пляшет. Фактически, это хороший контрибьюшн, когда мы предлагаем не тренироваться на датасете, не докидывать свертку, а придумать специальный лосс для задачи, который все улучшит.

InverseForm: A Loss Function for Structured Boundary-Aware Segmentation

Другая работа это InverseForm Loss. Здесь авторы тоже предложили лосс и критикуют или рассматривают недостатки кросс-энтропии как функции для семантической сегментации. А кросс-энтропия тоже беспокоится о попиксельном совпадении, и не учитывает дистанцию между предсказаниями.

Бывает, что мы предсказали то же самое ребро, только сдвинутое на пару пикселей. Или слегка повернутое, или с масштабом ошиблись, что часто бывает в предикшенах. В этих случаях мы получим большой лосс.

Возьмем два патча изображений. Они содержат разные объекты. Кросс-энтропия на них выдает около единицы. А если мы возьмем тот же патч, но сдвинутый на пару сантиметров, то кросс-энтропия будет чуть больше, хотя содержимое по чарту одно и то же. В принципе, не так страшно, что у нас пиксели ошиблись. Хотя может и страшно, но выглядит так, что в одном месте лосс должен быть больше: видно, что сетка вроде всё угадала, но ей что-то мешало корректно предсказать.

Поэтому авторы предлагают задизайнить лосс функции так, чтобы она учитывала гомографию между двумя картинками. Ну или была менее чувствительна к сдвигам, чем к неправильному предсказанию.

Тут немного сложный пайплайн. Авторы предлагают тренировать определенным образом сетку, через которую будут пускать лосс. то будет Это и будет InverseForm Loss.

Как они предлагают тренировать. Эта сетка на вход получит две карты ребер: первая — голдовая, вторая — та, которую предскажет наш пайплайн. И для карты ребер сетка должна выдать гомографию или аффинное преобразование или только трансляцию. В общем, должна получиться матрица преобразований, такая задача у этой сетки.

Если предикшн будет идеальный, то предсказание будет единичной матрицей. Во время тренировки сети мы будем сравнивать выход сетки, которая предсказывает преобразование с единичной матрицей и брать L2-норму. Это будет итоговый лосс.

Осталось только натренировать сетку на голубом фоне, чтобы она умела выдавать преобразования, когда ей дают на вход две карты ребер. Предлагается тренировать с помощью еще одного трансформера (на желтом фоне), с помощью special-трансформера сети. Она нужна чтобы выдавать более реалистичную трансформацию.

Тренировать её можно как на своем датасете, так и на MNIST stroke, который можно найти на сайте PyTorch. В целом, пайплайн тренировки выглядит вот так — сначала тренируем STN, которые бы выдавал коэффициент преобразования: сдвиг, поворот, масштабирование. Желтую сетку сохраняем. Голубую мы вставляем в датасет для тренировки нашей сети, чтобы для каждой карты ребер по ней она сгенерировала какое-то преобразование. И это преобразование мы применяем к карте ребер. И вот уже эти карты ребер мы передаем на вход нашей сети и просим её натренировать, чтобы она выдавала то преобразование, которое мы получили во вторую карту ребер.

Как только мы натренировали, мы уже можем это вставлять внутрь нашего пайплайна.

Авторы также предложили собственный дизайн сети, но нас интересует просто как выпускался лосс. Мы берем карту ребер с голдовой сегментацией, авторы ещё тайлят (применяют tiling), потому что на полной картинке сети сложно предсказывать коэффициенты. И для каждого тайла считают лосс и этот лосс сравнивают с единичной матрицей, считают L2 и распространяют.

Во время тренировки нашей сегментационной сети эта сетка заморожена. Мы её уже один раз натренировали и дальше используем в качестве оракула, который предсказывает трансформации между предсказанной картой ребер и голдовой.

Вопрос: Допустим, у нас есть тайлы с Ground Truth и с предикшена. Мы заранее обучили сетку предсказывать параметры преобразования, которые мы можем сделать. Что мы делаем дальше, применяем и уже после этого считаем лосс между Ground truth и предикшеном после преобразования?

Ответ: Это не совсем так. Преобразование говорит о том, как надо повернуть голдовую картинку, чтобы получилось предсказанное. Но идея в том, что карты ребер должны в идеале совпадать. А совпадают они тогда, когда предсказанные матрицы трансформации единичны и перенос нулевой. Эту единичную матрицу мы вычитаем из предсказанных коэффициентов и это все будет в L2. У этой статьи не выложен тренировочный код и авторы не отвечают на уточняющие вопросы.

Результаты этой сетки находятся на первой странице ситискейпса, потому что за бейслайн была тоже выбрана сетка с первой страницы. В результате вышел импрувмент в районе 0,5%. Да, метрику они считают не ту, которую мы рассматривали в начале семинара, потому что статьи выходят с разным шагом, но это что-то очень похожее.

InverseForm: A Loss Function for Structured Boundary-Aware Segmentation

Вот несколько примеров, по которым можно понять, насколько хорошо это работает. Есть голд, есть бейслайн с лоссом, который должен хорошо предсказывать границы. Во-первых, границы сильно прямыми не стали, но где-то сегментация улучшилась. Если смотреть с такой точки зрения рваной границы, то они улучшились, потому что предикшен более правильный, и классификатор меньше ошибается.

Bonus

Был вопрос, что лучше: искать методы, которые улучшают границу или просто взять и инвестировать время в прокачку или поиск самой мощной сегментации?

В относительно недавней статье за декабрь 21-го года, была предложена архитектура Mask2Former. Эта сетка, основанная на трансформере, можно посмотреть насколько точно она дает границы.

Слева — классическая картинка, которую все знают. Можно посмотреть, насколько точно обозначено разделение между человеком и фоном. Выглядит как простая попиксельная разметка. Понятно, что есть какие-то конфьюжн регионы, но все равно понятно, что человек — не жесткий предмет, не самый легкий для сегментации.

Тоже самое можно видеть с котиком. Шерсть просто пиксель в пиксель, кроме макушки.

Более сложный пример с автобусом. В одном из челленджей на Кегле ребята тренировали мэттинг, чтобы тень под автобусом отделить от автобуса, тут уже эта сетка дает вполне себе хорошие границы, только немного съехало сверху.

На примере справа видны примеры фолс-позитива, когда картинка смешалась с фоном, есть рваные края, какие мы видели в предыдущих сетках. Но в целом, даже такие кривые объекты с нечастой формой сетка предсказала вполне точно. Выглядит так, что современные сетки очень хорошо решают задачу.

Q&A

Вопрос: по какому принципу вы выбирали методы про которые вы рассказывали?

Ответ: По принципу наличия кода. Надо было посмотреть много гипотез, найти те, к которым нет кода, — это гораздо сложнее, чем найти те, к которым код уже есть. UnverseForm затесался, потому что интересная идея.

Первые три метода тестируются на известных датасетах, последний не совсем про улучшение границ. Если вы предсказываете сегментацию и даунсемплите картинку, а хотите хорошую сегментацию, то CascadePSP — то, что нужно.

Вопрос: Я бы спросил про случай, когда у нас в данных качество границ не лучшее, потому что на них нет фокуса — что мы можем здесь предпринять?

Ответ: Если нет проблем, на чем инферить, и если есть время, я бы попробовал Mask2Former. Достаточно дружелюбный код и интересный результат из коробки. Плюс, куча предтренированных моделей, но не на CityScapes. Можно даже потренировать и самостоятельно зафайнтюнить. А если речь о каком-то edge-device с 200 гб весов, то вряд ли затащишь, тут надо добавлять лоссы.

По материалам открытого семинара Павла Сёмкина, Даниила Осокина «Предсказание границ объектов в задаче семантической сегментации»‎, который прошел в Xperience.AI.

Человек видит окружающие предметы, потому что они либо отражают падающий свет, либо сами являются источниками света. Интенсивность отраженного света зависит от свойств поверхности, коэффициента отражения и некоторых свойств, определяющих, в какую сторону будет направлен отраженный луч.

Если рассматривать характеристику более интегрально, то у нас есть глянцевая поверхность, для которых соблюдается правило из классической физики — что угол падения равен углу отражения. Ещё есть более матовые поверхности, где отражение происходит под каким-то более произвольным углом. Эти свойства поверхности могут зависеть от самой поверхности и от длины волны света, которая на них падает. Для одних длин волн % отражения может быть один, для других — другой. У нас входной спектр после отражения несколько изменяется, и мы видим цветные поверхности.

Физический смысл цвета

Как вы все знаете, свет — это электромагнитная волна. Видимый свет обладает достаточно узким диапазоном от 400 до 900 нанометров. Всё то, что выше и ниже, человеческий глаз уже не воспринимает.

Как мы бы могли записывать цвет? Есть спектр в конкретной точке, здесь я условно нарисовал его белой линией. Мы можем сэмплировать, записать эти сведения, и говорить о том, что данная точка получает такое распределение энергии, электромагнитное излучение в соответствии со спектром, на которую записана.

Но мы так не делаем, потому что воспринимаем свет немножко по-другому.

Если посмотреть с точки зрения биологии и устройства глаза, у человека всего два вида основных рецепторов, которые воспринимают цвет — это колбочки и палочки. Палочки — это такие черно-белые рецепторы, которые очень чувствительны. И в самом глазу они распределены таким образом, что их концентрация больше в областях периферийного зрения, а в центре глазного дна их меньше.

Есть выражение “все кошки ночью серые” потому, что при малых условиях освещения у нас зрение обеспечивается за счет палочек. Поскольку они реагируют, но не делают разницы в цвете, то в плохих условиях освещения мир кажется нам черно-белым.

Колбочки — другой вид рецепторов, и их существует три вида. Три вида, которые реагируют в основном на красный, зеленый и синий.

Сама по себе чувствительность колбочек показана на графике, здесь она нормализована. Колбочки, которые чувствительны к зеленому свету, обозначены буквой М. У них чувствительность выше, и мы лучше видим слабые оттенки зеленого, нежели красного или синего.

Эти исследования относительно того, как видит глаз, их проводили еще в 1931 году французы, и они тогда предложили модель, которой ученые пользуются до сих пор.

Цветовая модель XYZ

Это цветовая модель XYZ. Она является мастер-моделью для почти всех остальных моделей. Через нее прямо или косвенно осуществляется преобразование, когда мы переходим из одной модели кодирования цвета в другую.

В чем эта модель заключается? Есть такое понятие, как визуальная яркость, это Y-компонента.  Она максимально чувствительна спектрально в области зеленых цветов, поэтому ее чаще всего изображают зеленой. Компонента Z — отклик колбочек на короткой длине волны, то есть те, которые реагируют на синий цвет. Здесь она практически полностью повторяет тот отклик, который формируется у человека.

Последняя компонента Х определена следующим образом: во-первых, она не отрицательна, а во-вторых, площади под всеми кривыми будут одинаковые.

Таким образом, числа, которые мы получаем при интегрировании спектральной плотности потока для равномерного белого света, давали одинаковые значения. То есть, для белого равномерно распределенного спектра у нас одинаковые значения XYZ.

Цветовая модель xyY

Если мы возьмем и изобразим те цвета, которые человек может видеть, в пространстве XYZ, то получается конструкция, отдаленно напоминающая конус. Очень часто этот конус изображают как сечение плоскости, у которой сумма компонентов XYZ является некой константой.

Такая цветовая модель называется xyY. Иногда еще к ней дописывают Y, то есть яркость. Она получается, когда мы переходим из координат XYZ в xy, деля сумму всех компонентов на X и Y.

Эта диаграмма называется хроматической — она изображает физически реализуемые, воспринимаемые цвета при некой константной яркости.

Что здесь следует заметить? Во-первых, эта диаграмма занимает не всю площадь, то есть, формально, у нас есть координата 00 (xy), в которой координата есть, а соответствующего ей цвета нет.

Почему так происходит? Глаз хорошо различает цвета, но добиться того, что на определенной длине волны реагирует рецептор только одного вида (например, только синего цвета), и нет никакой реакции красного и зеленого — невозможно в силу объективных причин. Поэтому всегда возникает смесь откликов, близких к нулю, но не нулевых, это ограничивает саму хроматическую диаграмму. Если нанести чистые спектральные линии на неё, они образуют незамкнутую петлю. Она идёт к красным, если смотреть справа, вверх — к зеленым, вниз — к синим.

Виды цветовых моделей

Как я уже говорил, XYZ — мастер-модель, она построена на основе того, как человек воспринимает цвет. Она даёт максимальный охват возможных и невозможных цветовых сочетаний, которые с точки зрения модели в принципе реализуемы. Единственное ограничение — отклики не могут быть отрицательными, потому что интенсивность цвета не может быть отрицательной.

Однако они либо не существуют в природе, либо человек их при данной яркости не видит. Кроме XYZ существуют также аддитивные модели — это всем нам известный RGB, их целое семейство, но о них позже.

Существуют также субтрактивные модели — CMY, CMYK. Они, в основном, используются в полиграфии. То есть, в аддитивных мы добавляем к черному разный свет с разной интенсивностью и таким образом получаем цвет, который нам нужен. В субтрактивных же наоборот — из белой бумаги с помощью краски вычитаем цвета, которые не должны отражаться от этой бумаги.

Также существуют цилиндрические модели, типа HSV и HSL. Они так называются потому, что здесь есть компонент оттенка, который представляет из себя цилиндр, он задается градусами. Разница между ними в том, что если у HSL-модели при увеличении третьей компоненты Lightness мы переходим в белый свет, то в HSV третьи компоненты это Value. При увеличении Value до максимума мы получаем максимально насыщенный круг по краям, у которого белый цвет находится в самом центре.

Кроме того, существует некоторое количество моделей, которые используются для сжатия, обработки и передачи изображения, такие как YUV, YCbCR. YCbCR используется внутри .jpeg, YUV — в различных вариантах видеокодирования.

В чем их особенность: вместо того, чтобы передавать три независимые цветовые компоненты, здесь передается одна компонента, которая показывает яркость и две цветоразностные  перпендикулярные компоненты, они кодируют непосредственно саму информацию о цвете.

Модель YUV и подобные цветоразностные пришли из телевидения. После распространения черно-белого телевидения нужно было сделать цветное, но так, чтобы оно было совместимо с новыми устройствами. Этого добились с помощью дополнительной передачи цветоразностной информации, чтобы более современные телевизоры могли эту информацию вытащить и вывести. Для черно-белого телевизора картинка так и оставалась черно-белой.

Есть ещё одна модель, которая близка к цветоразностным, это модель Lab. Её особенность в том, что преобразование в неё делает модель равномерной с точки зрения восприятия. Другими словами, если мы находимся в точке цветового пространства, то фиксированный шаг в каком-то направлении вызывает одинаковую реакцию восприятия человека. Эта модель удобна для тех, кто работает с цветом, с графикой — если, например, мы в ней понизим яркость на 10%, то она будет снижена на 10% с точки зрения восприятия человека, и это удобно.

Параметры аддитивных цветовых моделей

Большинство аддитивных цветовых моделей определяются несколькими параметрами. Во-первых, это основные цвета (color primaries), также это точка белого — та точка, в которой мы считаем, что отражается белый цвет, и некая передаточная характеристика или функция.

Если записать формулой, то получается, что цвет на выходе — это функция от произведения некой матрицы перехода на координаты цвета в исходном пространстве. Эти матрицы перехода обычно задаются для перехода из XYZ.

Начнем с самой распространенной цветовой модели — sRGB. Если нет явного указания на другое, то вы, скорее всего, работаете с цветом в формате sRGB. Она появилась в 1996 году, в результате соглашения компании HP и Microsoft. Основные цвета у этой модели — это цвета-люминофоры, наиболее распространенные у массы CRT-мониторов.

Здесь мы видим, что синий достаточно близко к чистому, красный достаточно близок к чистому красному, однако зеленый еще достаточно далеко. Такое изображение говорит нам о том, что цвета, которые можно закодировать в модели sRGB, лежат внутри этого треугольника.

Если сравнить площадь треугольника с площадью цветовой диаграммы, которую может воспринять человек, то охват этой цветовой модели около 35%, что в общем-то не очень много. В качестве точки белого здесь используется D65. D65 — это колориметрическая характеристика, которая примерно соответствует освещенности при температуре 6500 кельвинов, это температура свечения черного тела. Почему примерно? Потому что, на самом деле, она определена через стандарты. Есть график спектральной плотности, который считается в соответствии с этой точкой белого.

Что из себя представляет передаточная функция, как она работает? Здесь фотография, которую я делал при определенном уровне освещения. А дальше я сделал то же фото, увеличив уровень освещения в 2 раза. То есть я на вспышке добавил в два раза больше мощности за одну ступень, и получил картинку, которую вы видите справа сверху.

Однако если взять исходную фотографию и просто помножить её значение на 2, то мы видим ту картинку, которая снизу слева. Передаточная функция вносит элемент нелинейности, и для того, чтобы внести изменения, нам уже недостаточно просто взять и домножить значения. Нам приходится с этим делать что-то ещё.

Само по себе восприятие интенсивности света нелинейно. Если кто-то из вас занимался фотографией, наверняка слышал о так называемой 18%-й серой карте. Это некий шаблон, который используется как образец, чтобы определить по нему оттенок, и в то же время используется как эталон средне серого цвета. Получается, это что-то среднее между совсем черным и совсем белым с точки зрения человека. В данном случае 18% означает, что она отражает всего лишь 18% падающего света.

Ещё кое-что про sRGB. На дворе был 1996 год, в основном все используют CRT-мониторы. Они, в большинстве своём, имеют нелинейную зависимость интенсивности свечения от напряжения. Есть электронно-лучевая трубка, напряжение подается на управляющую сетку для потока электронов. Зависимость этого напряжения и той интенсивности света, которая излучается монитором также нелинейна.

Соотношение примерно такое: если мы подаем 50% входного сигнала на управляющую сетку  монитора, то на выходе мы получим примерно 22% от максимального свечения. На слайде выше я показал, как это выглядит.

Нелинейность компенсируется с помощью гамма-коррекции. Гамма-коррекция — степенная функция, в которой мы берём наши значения и возводим их в определенную степень. В данном случае, для того, чтобы скорректировать, мы возводим их в степень 1:2,2. Это для классического монитора.

Преобразование XYZ в sRGB

Эти две вещи они определяют, как из линейного представления цвета мы переходим в RGB. То есть, значение цвета в цветовом пространстве пропорционально соответствует интенсивности цвета в тех условиях освещения, в которых мы находимся, и мы переходим в непосредственно RGB.

Полное преобразование из XYZ в sRGB выглядит следующим образом:

• Корректируем баланс белого (при необходимости). То есть мы говорим, что точка у объекта реально белая, и масштабируем наш компонент XYZ, чтобы получить те значения, которые указаны здесь. Эти значения определяются точкой белого D65, и они табличные.
• Переход от XYZ к линейному RGB. Здесь применяется матрица, которая пересчитывает координаты цветов в координаты пространства RGB. По сути те пропорции, в которых надо смешать основные цвета в модели RGB, чтобы получить тот или иной цвет.
• Дальше переходим в нелинейный sRGB с помощью нелинейной функции. Нелинейная она для того, чтобы немного выровнять резкий спад на малых значениях. Когда у нас значения меньше 0,003, то мы пересчитываем его линейно. Когда они больше, у нас возникает степенная функция, и мы видим коэффициент 2,4 а не 2,2. Это связано с тем, что за счет линейной части мы немного съезжаем. Параметр подобран таким образом, чтобы в нуле мы получили ноль, в единице — единицу, а сама точка перегиба выбрана таким образом, чтобы значения совпадали.

Зачем такие сложности?

• Повторюсь, это был 96-й год, и sRGB был задуман так, чтобы правильно показываться на массовых CRT-мониторах без каких-либо преобразований. То есть, картинка закодирована таким образом, что мы подаем эти значения прямо сразу на Argyll-преобразователь, и мы видим картинку с правильными оттенками, потому что она закодирована с использованием реальных цветов-люминофоров.
• Нелинейность, о которой я говорил, вкупе с нелинейностью восприятия позволяет кодировать уровни более линейно с точки зрения восприятия. Глаз устроен таким образом, что небольшие изменения в яркости темных объектов мы видим лучше, чем такие же изменения на ярких объектах. При помощи нелинейности наша шкала сосредоточена больше в области небольших значений и небольшой яркости.
• Нелинейность пришла из стандартов телевидения (таких как Rec. 709), о них я расскажу позже.

Проблемы sRGB

Естественно, у SRGB есть некоторые проблемы:

• Прогресс не стоит на месте. Современные мониторы, которые могут быть светодиодными с TFT-технологиями, имеют другую передаточную характеристику, и по сути вынуждены пересчитывать значения из модели sRGB внутри себя или с помощью видеокарты, чтобы более правильно отображать цвет.
• При более широком цветовом охвате монитора sRGB получается, что мы не можем использовать охват монитора полностью. Это нужно для того, чтобы получить достоверные цвета. Мы либо используем часть возможностей своего монитора, либо пытаемся растянуть sRGB в большее пространство, что вызывает некие искажения цветов. В результате картинка становится слишком насыщенной.

Adobe RGB

Эта модель была принята в 1998-м году. У неё больший охват в сторону зеленых цветов, то есть основные цвета – красный и синий совпадают, а зеленый очень сильно сдвинут вверх.

Он был создан для полиграфии, потому что если мы посмотрим на sRGB (черный треугольник пунктир на графике), и посмотрим на цветовой охват CMYK для полиграфии, то есть достаточно большая сине-зеленая область, которая не может быть корректно отображена с помощью sRGB.

Rec. 709, Rec. 2020

Следующие модели для телевидения — Rec. 709 и Rec. 2020. По основным цветам, 709 совпадает с RGB — такие же цвета, такая же точка белого, но имеет менее выпуклую передаточную характеристику. Если мы смотрим в устройстве отстроенную на RGB картинку, которая закодирована в Rec. 709, без конвертаций (а они необходимы), то обычно она выглядит темнее.

Rec. 709 разработан для HDTV. Как продолжение этой цветовой модели, был разработан Rec. 2020, он по передаточной характеристике такой же как 709, но имеет больший цветовой охват. Опять же, 2020 был сделан с прицелом на HDTV, новые мониторы и технологии.

DCI-P3

Также вы можете где-то встретиться с цветовой моделью DCI-P3. Она разработана для проекторов, и, судя по всему, цветовые компоненты брались из того, какие используются источники света и фильтры в проекторах. Она шире, чем sRGB, но уже, чем Rec. 2020.

ProPhoto RGB

Когда вы экспортируете обработанную фотографию из raw-снимка в tiff, скорее всего это будет tiff с форматом ProPhotoRGB. Он был разработан Kodak и он покрывает 90% реализуемых цветов. При этом, в самом формате 13% возможных значений — это мнимые и нереализуемые цвета.

Мы можем задать координатами те точки, которые в принципе человек либо не увидит, либо цвета получаются с использованием отрицательным значением яркости, что невозможно. У модели немного теплее точка белого — D500, что примерно соответствует 5000 кельвинам. Значение гамма — 1,8.

Дело ещё в том, что расширение модели дается нам не бесплатно. Если мы используем восьмибитное сэмплирование, то шаги в этом случае становятся более заметными для человека, поэтому именно ProPhoto рекомендуется использовать при сэмплировании с большей битностью.

Динамический диапазон

Теперь немного о динамическом диапазоне и о том, как именно он работает с интенсивностью света.

Очень часто можно встретить такие термины, как HDR и SDR. Дальше HDR я буду называть не то, что представлено здесь. Здесь картинка, у которой искусственно динамический диапазон темных и светлых объектов сжали в маленький диапазон — тот, который поддерживают стандартные устройства: мониторы, телефоны и т. д.

Когда я буду говорить про стандартный динамический диапазон, я буду иметь в виду распространенные устройства. Когда заговорю про большой динамический диапазон, про HDR, буду иметь в виду способ представления данных, у которых разность между самым ярким и самым темным превышает возможности стандартных устройств воспроизведения.

Если посмотреть на некоторые устройства, с которыми мы можем получать изображение, то для относительно новых фотоаппаратов получается где-то 12-13D, где D — степень двойки. Шкала нелинейная, она измеряется ступенями. 12D означает, что разность в яркости между самым ярким и самым темным значением, которое мы можем получить с помощью фотоаппарата, примерно соответствует 2 в 12 степени. 12D–13D — для камеры, сканеров и более дорогих устройств — возможно и больше, до 14–16. Черно-белая пленка дает около 10D. Человеку сложно это измерить, поэтому не берусь утверждать, что цифры именно такие, но порядок соответствует.

Если мы закроем глаза, выйдем на улицу и откроем глаза, мы сможем сразу разглядеть где-то 14D. За счет того, что глаз адаптируется, и работает вместе с мозгом, спустя некоторое время динамический диапазон расширяется до 20-24D. Повторюсь, измерять сложно, цифры только примерные. Глаз+мозг дают диапазон, который невозможно покрыть входными и выходными устройствами.  Например, фотоотпечаток на бумаге в лаборатории — 6,5D. Обычный контрастный монитор — около 10D.

Tonemapping

Для того, чтобы взять богатый динамический диапазон и засунуть его в пуски, чтобы сделать картинку более натуральной, используют такой процесс, как tonemapping. Он нужен не только для изображений, полученных естественным путем, с помощью камеры. Также он нужен для перехода из HDR, линейного цифрового пространства, после рендера в 3D.

Я его начал рассматривать, работая с трехмерным рендером Unreal Engine. Поскольку tonemapping — это очень субъективная штука, существует достаточно много функций, которые позволяют перевести HDR в SDR. Часть из них завязаны на производителе, например S-Log от Sony. У Unreal есть своя кривая, и ещё несколько вариантов.

Я здесь не буду очень подробно на них останавливаться, просто покажу примеры.

Основная проблема начинается с достаточно яркими цветами, например, с небом. Когда голубое небо становится ярче, мы достаточно быстро добегаем до клиппинга по синему каналу. Если мы продолжаем дальше увеличивать яркость, то мы оттенок сам начинает съезжать в сторону более зеленого, как слева на слайде:

Что делает мэппинг? Он преобразует так, чтобы оттенок более-менее сохранялся. Вот здесь на картинке неплохо видно — желтая брусчатка, зеленоватое небо. То есть линейностью мы отрезали все показатели, что больше единицы.

Если мы применяем более сложную и хитрую модель, то цвета выглядят более натурально и естественно. Однако тут все тоже не так просто. Тот же ACES (academic color encoding system), заточен на цвет, и применяя даже их подход при работе с цветом, можно получить неожиданный результат, как с кроликом, который почему-то становится фиолетовым сверху.

Ели мы работаем просто из линейного sRGB с помощью линейного tonemapping, то картинка выглядит по-другому. Основной посыл в том, что tonemapping субъективен, и в некоторых случая лучшие результаты получаются с помощью разных подходов. Да и сам тонмаппинг можно использовать по разному: например, высчитывать значения яркости для точки как некую сумму компонентов, или как отдельные компоненты.

Пример ACEScg workflow

Как выглядит воркфлоу с их точки зрения. Когда мы работаем с цветом, особенно с цветом от нескольких источников (делаем наложения и т.д.), у нас может быть несколько источников, и каждый из них проходит через свой IDT — input device transform. Это могут быть sRGB или линейные текстуры, например, синтетически отрендеренные в каком-то синтетическом движке, это могут быть уже Basic RSG-текстуры, которые описывают широкое цветовое пространство, которое такое же, как у XYZ.

Дальше выполняем выходное преобразование над полученным результатом, которое включает в себя как они его называют Reference rendering transform. По сути, это tonemapping + некоторые преобразования.

И ODT — Output Device Transform — нужен для того, чтобы финальная картинка одинаково хорошо на мониторах, на sRGB, на Rec. 709 (по телевизору) и на проекторах.

Обработка изображений с сенсора камеры

Как выглядит обработка изображений с сенсора камеры? Здесь тоже применяется некоторое преобразование и цветовые модели.

Здесь могут быть отличия от камеры к камере, от того, какой софт вы используете, но в большинстве случаев мы получаем сырую картинку из камеры, которую нужно подвергнуть обработке, демозаизации, убрать сетку зеленых и красных фильтров, собрать картинку вместе.

После этого применяется шумоподавление, а дальше мы работаем как раз с балансом белого, то есть мы умножаем наши знания таким образом, что белое остается белым. Мы делаем это в линейном цветовом пространстве, а также применяем преобразование самого пространства.

Каждый производитель делает камеры немного своими, и они отличаются по свойствам, поэтому спектральная чувствительность элементов красного, зеленого и синего отличается от матрицы к матрице и от камеры к камере. В зависимости от того, какой используется софт, мы можем либо просто получить координаты основных фильтров, либо можем применять более сложные схемы, когда строится полный спектральный отклик на каждый из цветов.

После того, как мы перешли в какое-то цветовое пространство, например, линейный RGB с широким динамическим диапазоном. Дальше применяются улучшения. Картинка, полученная с одинаковым софтом, будет выглядеть по-разному на разных камерах, а маппинг перегонит картинку из HDR в стандартный динамический диапазон. На выходе мы получаем sRGB-картинку, если мы переходили в это пространство. Или же мы могли работать в другом пространстве, применять улучшения и tonemapping, чтобы получить картинку как в sRGB.

Инструменты для работы с цветом

• https://colour-science.org/ — Python-библиотека. Источник информации о том, как правильно конвертировать из одного цветового пространства в другое. Как с этим можно работать — тоже хорошо расписано;
• OpenCV;
• OpenEXR — поддержка формата EXR.

Q&A

Вопрос: кто ответственный за конвертацию между форматами? Есть sRGB-изображение, и какой-то специфический монитор, который поддерживает тот же самый DCI P3. Какое звено отвечает за конвертацию? Это происходит в софте?

Ответ: Обычно этим занимается ОС. У Windows есть раздел цветовых профилей, в Ubuntu тоже есть что-то подобное. Приложение отдает видеодрайверу картинку, и уже драйвер решает, как отобразить, чтобы это было правильно. Редакторы, которые есть внутри цветовых пространств, тоже могут внутри себя проводить преобразования.

По материалам открытого семинара Георгия Дюльдина «Light and colour»‎, который прошел в Xperience.AI.

Давайте разберемся: чем продуктовая отличается от проектной или аутсорс-разработки?

Ответ: Тем, кто отвечает за конечный продукт. Ещё в аутсорс-разработке есть конкретное задание, а в продуктовой мы просто хотим максимизировать прибыль. Также есть отличия в сроке: проект, в отличие от продукта, имеет конец.

Всё верно. Продукт — бесконечно развивающаяся штука, и да, есть отличия в сроках, потому что у проекта есть конец. Так как продукт — зона высокой неопределенности, наша задача постепенно все превращать в мини-проекты. Они будут называться историями, про них поговорим чуть позже. Основное различие в том, что заказчик может быть клиентом, а может быть группой пользователей.

Когда заказчик один, и мы говорим про проектную разработку, то с ним можно договориться и понять, чего он хочет. Вы наверняка сталкивались с ситуациями, когда люди, которые готовы оплачивать дорогих специалистов, не могут сами определиться, что им нужно, и постоянно меняют свои требования.

Но как быть, когда заказчиков-клиентов тысячи и десятки тысяч, и всем нужно угодить, а они также не могут определиться с запросом?

Я бы хотел вспомнить бородатую цитату Генри Форда: «Если бы я спросил людей, чего они хотят, они бы ответили — более быструю лошадь». Есть много трактовок этой цитаты, но мне бы хотелось восстановить истину. Как вы понимаете эту фразу?

Ответ: Не нужно ждать от людей решения. С них нужно собирать требования, чтобы понять, чего они добиваются — какие задачи хотят выполнить, какие цели достичь.

Люди обычно говорят не то, что хотят в реальности, потому что есть разные уровни контекста. Есть цель «получить богатство», а есть — «пойти работать». «Пойти работать» может включать «получить богатство», а может и не включать.

Давайте приведу пример. Раньше коммунальные платежи оплачивались в почтовых отделениях, и все с этим жили. Как только появилась возможность оплачивать онлайн, все очень быстро туда перебежали. Остальные в этот момент мучались, ели кактус, ходили стоять в очереди, потом в последний момент перед ними закрывались окна.

Другой пример — про покупку и продажу автомобилей. Сейчас этот процесс сильно автоматизирован с помощью платформ вроде «Авто.ру», маркетплейсов типа «Авито» и подобных. А раньше автомобили покупались через знакомых, люди писали объявления в газетах и обращались на авторынки. Оказывается, что до сих пор есть страны, где так делают. Люди выпускают продукцию, аналогичную «Авто.ру» в местах, где люди своими ногами ходят на авторынки.

Давайте вернемся к Генри Форду. Слушал он или не слушал людей? Слушал. Люди говорили, что им важно быстро добраться из точки А в точку В и перевозить больше грузов, чтобы лошадь не уставала. Он это слушал и ему пришла идея с автомобилем. Он дал то самое решение, которое люди не могли сформулировать, но оно им подошло.

Когда люди поняли, что нужно делать и определили требования, это ставится в проектную разработку с понятным definition of done, критериями приемки и сроками.

Pipeline (конвейер) и команда

Хотел бы упрощенно пробежаться по конвейеру разработки и поговорить про продуктовую команду: уточнить, кто в каких процессах задействован, кто из бизнесовой, а кто из технической команды.

Итак, команды в продуктовой разработке обычно кросс-функциональны. В них есть продакты, разработчики и команда тестирования. Причем, QA и разработчики работают вместе, а продакту необязательно все время находиться внутри команды. Но важно быть на расстоянии вытянутой руки — если возникают вопросы, нужно быть готовым на них ответить.

Первый этап здесь обозначен как генерация идей. Идеи становятся гипотезами, гипотезы генерируют продакты, и команда тоже в этом участвует. Гипотезы генерируются из совершенно разных источников, таких как общение с пользователями и аналитика.

Мы смотрим, как люди пользуются нашим сайтом или продуктом, видим какие-то отвалы по воронкам и добавляем улучшения. Ещё можем подсмотреть идеи у конкурентов или в продуктах из совсем других сфер, которые могут нам как-то подойти.

Продакты пишут истории вместе с командой — это, наверное, одно из основных отличий проектной разработки. Бывает такое, что команде разработки приходит готовое ТЗ, но в продуктовой разработке продакты пишут историю вместе с командой.

Дальше история попадает в бэклог. Из бэклога команда берет её в работу, параллельно с этим подключается отдел маркетинга — он занимается SEO, публикацией материалов и почтой. Потом все это дело релизится, DevOps’ы и дизайнеры подключаются на этапе истории. Затем мы собираем данные, выясняем, как повлияли наши изменения — положительно или отрицательно? И в конце получаем новые результаты и знания.

Истории вместо требований (ТЗ)

Как это может работать. Приходит продакт и говорит: «Давайте добавим авторизацию через Гугл». Задача понятная: ясно, куда кнопку добавить, куда метрику растить. С этого момента команда берет шаблон истории и прописывает возможные сценарии: что будет если нажать на кнопку, какие могут быть пограничные ситуации, что будет, если у пользователя уже есть почта, с которой он регистрировался. Дальше ответственность передается команде, и она уже без продакта сможет ответить на все эти вопросы.

Или, например, приходит продакт и говорит: «Мы заметили, что пользователи с медленным интернетом отваливаются, так как у нас тяжелый инсталлятор». Это пример из разработки, где есть софт, как в десктопных приложениях.

Здесь продакт приходит с проблематикой, а не с решением. Нужно уменьшить вес, желательно кратно, надо подумать, как. Этим уже занимается команда — предлагает решения, пробует варианты и на чем-то останавливается. Это в итоге и попадает в историю.

Когда продакт приходит с проблемой, а не с конкретным решением, как в ТЗ, команда прокачивает бизнес-мышление. В дальнейшем, они увидят фичу в каком-то другом продукте, и сами начнут приносить ценные идеи, задавать вопросы. Когда команда повзрослеет, продакт сможет быть спокойным за результат: он отдал задачу с такой верхнеуровневой формулировкой, команда её сама продумает и реализует.

Гипотеза

Гипотеза — звучит красиво, но на деле это всего лишь наше предположение об устройстве реальности, которое можно проверить. Например, если перекрасить кнопку Explore models из фиолетового в красный, её станут чаще кликать. Как это проверить? Только на практике, просто перекрасить и проверить.

Мы не знаем, как будет на самом деле, но можем только выдвинуть предположение и понять, улучшит ли наше изменение продукт. Чтобы это понять, мы проводим сравнительный тест, или A/B-тест.

Есть интересный вопрос-сравнение: почему лучше строить сарай, чем бетонный бункер? Даже у опытных в своем продукте и сегменте команд, около 28% гипотез — удачные, остальные 80%+ либо никак не влияют, либо влияют негативно, и их нужно выпиливать.

В продуктовой разработке нужно отучивать себя от мышления вроде: «Давайте изучим Best practices, основательно подготовим фундамент, зальем все бетоном и построим многофункциональный бункер». Лучше так — «Из глины и палок сколотим сарай и посмотрим, зайдет идея или нет. Зашла? — отлично, отрефакторим, забетонируем. Если нет — безжалостно выпилим».

Для демонстрации приведу пример нескольких  A/B-тестов. Давайте попробуем угадать, какие из них были самые кликабельные.

Не очень хорошо видно, но в правом нижнем углу есть два варианта письма. Первый — обычный текст и кнопка «Заказать». И рядом с ним письмо с таким же посылом, но в красивом желтом шаблоне.

Левая версия с простым текстом — версия А. Красивая желтая — В. В этом случае выиграл вариант А (обычное письмо) и CTR у него был 13,6% против 9% у варианта с шаблоном. С чем это связано? Возможно, с той базой, по которой рассылали письма. Люди могли ассоциировать шаблон с маркетинговым предложением, поэтому они его даже не читали и не кликали. А обычный текст они воспринимали как письмо.

Второй пример — про тренировку. Слева два варианта поп-апа. В одном из них написано «Начните прямо сейчас, попробуйте бесплатную тренировку» и есть просьба ввести email, второй тоже просит почту, но в заголовке «Мы дарим вам меню на три дня» и дальше что-то про «никакой гречи и кефира». В итоге конверсия варианта А — почти 4%, варианта В — 6,5%.

Вариант В выиграл, потому что для тренировки надо трудиться, а для меню — есть. Вариант А побуждает что-то сделать (ты что-то должен), а Б говорит о пользе, которую ты получишь (тебе что-то должны).

Еще пример: наверху два экрана телефона, тоже поп-апы, но это пример с театром. Такая же задача — собрать почту. Первая надпись: «Узнавайте о премьерах первыми», и вторая — «Оставьте почту» и кнопка «Отправить». У первого варианта конверсия — 1,16%, у второго — практически 4%. Вывод: люди не читают мелкий текст. В случае А люди не понимают, что от них хотят, потому что «Оставьте email» у них написано мелким текстом под большой красной надписью. В случае В — прямой призыв к действию —«Оставьте email». Выяснилось, что он работает лучше.

Последний пример — с доктором, тут нужна конверсия в телефонные номера. У варианта А конверсия выше, как раз по той же причине: люди не читают мелкий текст, а видят прямой призыв.

Какой можно подвести итог? То, что нам кажется, не всегда совпадает с реальностью. Красная кнопка действительно может лучше конвертить, чем фиолетовая.

Когда-то Яндекс, чтобы отучить людей мыслить шаблоном «я думаю, что надо делать так, потому что видел у других», выпустили футболки «Я нерепрезентативен».

Представим ситуацию. Я предложу вам идею для стартапа: придумать софт для переноса DVD в формат, пригодный для телефона. Вы скажете: «Что? Ты спятил? DVD в 21-м году?». На самом деле, это реальный случай — в Японии люди хранят на DVD записи фильмов, семейные архивы, и для них это очень востребованный функционал. Поэтому нужно идти к пользователям и конкурентам, и проверять всё на цифрах.

MVP и RAT: подход к проверке гипотез

Есть подходы к проверке гипотез: MVP и RAT. MVP — это не продукт, а способ проверить с минимальными трудозатратами, интересует он пользователя или нет. Если проблема пользователя в том, чтобы быстрее передвигаться, можно на коленке прикрутить к доске 4 колеса и посмотреть, будут ли они этим пользоваться. После этого уже итеративно улучшаться до автомобиля.

Давайте ответим на вопрос: нужно ли облачное хранилище РПЦ?

Мы же не будем делать облачное хранилище, а потом предлагать в церкви. MVP пусть будет лендингом с текстом. Его мы покажем церковнослужителям, и проследим, будут они кликать или нет. То есть, с MVP мы даже не приступаем к разработке облачного хранилища.

А RAT — это проверка самых рискованных предположений. RAT задает вопрос: а облачные хранилища вообще нужны церквям? В данном случае, можно найти 100 церквей, прозвонить их и спросить. Таким образом, можно без разработки лендинга получить ответ.

У нас как раз недавно в проекте был похожий случай. Мы занимались разработкой модели по удалению фона на фото под мобилку, и в нашем случае надо было разослать письма разработчикам приложений — узнать, интересно ли им предложение.

С точки зрения MVP можно проверить так. Есть некий лендинг, но нет «подмобилки». Можно добавить кнопку «Get for mobile» и посмотреть, будут на неё кликать или нет. Но мы не уверены, ходят ли к нам разработчики мобильных приложений, поэтому не факт, что MVP с кнопкой сработает.

Есть история о том, почему нужно вовремя проверять гипотезы, а не строить бетонный бункер. Помните стартап Iridium? Это самый дорогой проваленный стартап, который разрабатывал спутниковые телефоны.

Идея появилась, когда один из инженеров Motorola отдыхал на островах с женой, и телефон там не ловил. Он решил сделать так, чтобы телефоном можно было пользоваться из любой точки мира с помощью звонков через спутник.

Компания отнеслась к этому серьезно, с инженерным подходом. Они выстроили огромную инфраструктуру, запустили спутники в космос, собрали 6 млрд долларов инвестиций. Это были уважаемые и опытные люди, однако за время до запуска спутника в космос сотовые операторы поставили вышки на островах. В итоге стоимость сотовой связи сильно упала. Продукт на момент выхода оказался в десять раз дороже, чем стоимость сотовой связи, и оказался никому не нужен.

Вопрос: А как можно было отловить эту ситуацию и понять, что дальше этим заниматься не стоит?

Поставим вопрос так: какое у нас самое рискованное предположение? — Что люди готовы платить за использование телефонов там, где нет связи. Нужно узнать, сколько их и как дешевле удовлетворить их потребности. А ещё рассмотреть, есть ли места с большим скоплением людей, не покрытые связью. Так и вышло: операторы поставили вышки, пока чьи-то корабли бороздили космос.

Суть в том, что важно вывести продукт на рынок не слишком поздно и не слишком рано. Взять, например, историю, как «Яндекс.Такси» опередили большинство похожих сервисов.

Раньше люди заказывали такси по номеру телефона, и не просто в агрегатор, а в колл-центр, и компаниям приходилось ещё содержать операторов. Дальше колл-центр распределял заказы между таксистами, а таксисты договаривались с операторами. У последних были любимчики, поэтому тех водителей, у кого больше заказов, приходилось долго ждать в очереди.

Что сделал «Яндекс»? Взял и сократил затраты на автопарк — люди приходят работать работать на своих машинах. Все, что им нужно, это телефон с навигатором и GPS. Компания отказалась от колл-центров — пользователь сам поставит точку на карте, откуда забрать и куда поехать. Получилось так, что технология GPS стала доступна, и появился продукт, который убил конкурентов. Это отличный пример того, как всё случилось вовремя.

Ответ: С этим утверждением можно поспорить. Мы не знаем, на самом ли деле дешевле нанимать операторов для инфраструктуры; не знаем стоимости разработки и техподдержки в сравнении. Я думаю, что «Яндекс» выиграл по двум причинам:

• Пользователь заказывает такси, и видит, сколько он заплатит; GPS уже много лет, но Яндекс позволяет сказать, что я здесь и приедет такси, не надо называть адресов.
• Яндекс сделал удобно. А ещё он отодвинул от себя вопросы ответственность, лицензий, техобслуживания и техосмотра, то, что такси обязаны делать по закону. Говорить, что это экономически эффективно, я бы не стал, у нас нет цифр.

Команда мыслит ценностью для бизнеса, а не задачами

Важно разворачивать свое мышление в сторону ценности, которую мы принесем бизнесу или клиенту. Вместо того, чтобы говорить «Я прокачался в React» лучше сказать «Улучшилось качество кода, и разработка гипотез ускорилась в два раза». В этом как раз есть ценность для бизнеса.

Обязательно нужно замыкать цикл обратной связи. То есть, мы замеряем, как история повлияла на пользовательские бизнес-метрики, и от этого делаем выводы: оставляем или выпиливаем.

Что главное в продуктовой разработке

Самое главное в продуктовой разработке — это быстрая поставка ценности. Отсюда же теория про сараи и бетонные бункеры. Весь остальной процесс выстраивается от этого.

Как это сделать? Предлагают разные фреймворки — Kanban, Scrum, экстремальное программирование, «Кеневин» и другие. Для продуктового мышления нам помогает AGILE-философия. Что для этого нужно:

• Понимание, что люди и взаимодействия важнее процессов и инструментов. Рабочий продукт важнее исчерпывающей документации. Мы не отрицаем важность, того что справа, но всё же больше ценим то, что слева.
• Готовность к изменениям даже на последней стадии истории. Мир и бизнес быстро меняются. Когда мы писали историю, мы думали одним образом, но реальность так устроена, что к концу все может измениться. Проджект может вернуться к команде, когда разработка уже начата, и выдвинуть новые требования.
• Сохранение гибкости мышления чтобы учитывать множество точек зрения.
• Постоянное саморазвитие и совершенствование системы. Чтобы поддерживать высокую скорость разработки, нужно следить, чтобы система оставалась стабильной и быстрой несмотря на наши сараи и костыли. Главное — чтобы система была поддерживаемой, чтобы стоимость внедрения изменений в код была низкой.
• Принятие собственной ответственности за результат.

Продуктовое мышление (mindset)

Продуктовое мышление можно применять не только к продуктам, но и к задачам. Пример — офис как продукт. Мы недавно переезжали в новый офис, поэтому решил разобрать, может, будет полезно.

Давайте порассуждаем, зачем нам нужен офис. Зачем и чтобы что? Чтобы создать комфортные условия для работы. А комфортные — это какие? Необходимое оборудование, тишина, настрой, свет, тепло.

По-хорошему, эти условия нужно узнать у пользователей, чтобы понять, что им важно, какие задачи стоят перед ними. Наверное, ещё нужен быстрый интернет, наличие кофеварки и переговорок.

Вот мы поговорили, доказали себе необходимость офисов, пошли анализировать рынок. Посмотрели, как в других компаниях они устроены, учли наши потребности, стали искать предложения в нашем городе: какие они бывают, сколько стоят. Дальше выбираем подходящие.

Было бы здорово, если бы мы без заключения договоров взяли наших пользователей и отправили их пару дней там поработать. Так мы бы собрали бы обратную связь, и выяснили, например, что кофеварка не так важна, или вылез бы другой критерий, который мы упустили.

С учетом этого мы меняем свои требования и находим тот вариант, который нас устраивает по цене и расположению. Но если мы на этом остановимся, будет стремно. Дальше мы мониторим, сколько человек туда ходят, получают ли они достаточную тишину и комфорт. То есть мы следим за некоторыми метриками, получаем обратную связь, улучшаемся и повторяем цикл заново. Спустя какое-то время мы получаем самый подходящий под наши нужды и запросы офис.

Ещё этот подход можно применять не только для задач, но и для процессов. Допустим, мы уже как-то работаем, что-то случилось и мы облажались — не отправили заказчику апдейт в пятницу. Мы не думаем, что виноват человек, а думаем, что виноват процесс. Мы решаем, что нужно сделать, чтобы процесс не допускал возникновение таких пожаров.  

Таким же способом мы устраняем баги в коде: сначала тушим пожар, потом думаем, как создать условия, чтобы этих пожаров не было. Ретро в этом плане — инструмент для улучшений. После того, как что-то случилось, надо собраться всей командой и понять весь контекст: кто что делал, какие были условия. Здесь же мы придумаем несколько вариантов, как это улучшить, остановимся на чем-то одном, замерим, помогло это или нет, и закрепим новый процесс.

Для найма такое мышление тоже подходит. Нашли хорошего кандидата? — Давайте проведем ретро и разберемся, что мы делали, как с ним договаривались, улучшения зафиксировали. Нашли хорошего, но он не принял оффер? — Запросили обратную связь, пообщались с кандидатом, внедрили изменения, посмотрели, работает или нет.

Уволился сотрудник, провели интервью. Хотим узнать что-то до увольнения? — Ищем инструменты, как получить данные раньше, например, one-on-one.

Проведу семинар? — Запрошу обратную связь, и так далее. На самом деле, такое продуктовое отношение можно применять не только к задачам, но и к процессам. Соответственно, если наша задача — двигаться как можно быстрее, такие мелкие улучшения помогают нам ускоряться.

Почему быть первыми не всегда хорошо

Когда я учился в университете, меня вдохновляла идея запустить первым в Нижнем или в России какой-нибудь Проект Х. Я часто вижу, как студенты в группах пишут о том, что они первыми запустили какой-то проект. Но есть нюанс: если вы первые что-то сделали, в голову приходят два варианта — либо вы самый умные, либо оно никому не нужно.

Чаще всего — второе. Если смотреть на причины, почему стартапы проваливаются, то они сделали продукт «для никого».

Если посмотреть на реальную историю, все известные нам гиганты не были первыми. Соцсети существовали до Facebook: например, Classmates — она до сих пор функционирует, у нее аудитория 50 млн человек. По сравнению с ФБ — это капля в море, но она вышла на 9 лет раньше.

Поисковики тоже существовали до Google. Если Yahoo! еще кто-то помнит и пользуется, то что такое Wandex я сам даже и не слышал.

Пионеры в какой-то области часто сталкиваются с риском, что это никому не нужно. Бывают такие моменты, что спрос ещё не сформировался — не понятно, будет ли бизнес востребован в течение 5 – 10 лет. Этим пользуются те, кто пришел позднее — вторым, третьим. Они легко копируют список фич, проверенных первопроходцами. Они могут видеть, есть ли на рынке деньги и сколько их.

Как сейчас делают крупняки типа «Яндекса»? Не так давно они заходили в нишу онлайн-образования с «Практикумом». До них это делали Skillbox и множество других онлайн-университетов. «Яндекс» зашел на рынок, когда он достиг оборота 1 млрд рублей в РФ. Тут же вопрос: когда рано и когда поздно? Крупняки могут себе позволить заходить позже, стартапам приходится запускаться раньше.

Сегодня поговорим о кибербезопасности, как современные компании пытаются её строить и о том, как именно её нужно строить.

О чем пойдёт речь в статье:

• Основные проблемы кибербезопасности компании;
• Какие цели преследуют киберпреступники, когда пытаются взломать организацию, что ими движет;
• Разница между целенаправленными и массовыми атаками;
• Фазы целенаправленных атак;
• Управление уязвимостями;
• Разница между Red Team, Penetration Testing и Vulnerability Assessment.

Информационные технологии в современном мире

Начиная с 2000-х годов в России шел планомерный рост информационных технологий. Они развивались, появлялись новые методы и железки, и все было хорошо примерно до 2020-го года. Тогда у нас появилась пандемия коронавируса, которая дала невероятный толчок и ускорило развитие ИТ.

Почему этот скачок произошел? У многих компаний был план или дорожная карта по поводу того, как развивать свою инфраструктуру: когда и какое железо менять, на какие сервера переходить. Стали популярными облака — многие задумались о переезде в облако, потому что это выгодно. Кто-то рассчитывал свои бюджеты, ждал снижения цен, чтобы все закупить, потому что майнинг поднял цены на некоторые составные части компьютеров.

Все планомерно шло, а тут раз — и начинается пандемия. Объявили локдаун, а людям как-то надо продолжать работать. А как работать, если у большинства компаний работа построена так, что посещение офиса обязательно? Удаленка сейчас — что-то само собой разумеющееся, а тогда это было в новинку, и считалось преимуществом компании.

Тогда резко возрастала инфраструктура организаций, и нужно было переходить так, чтобы процессы не останавливались. Из-за этого начали придумывать, как сотрудникам удаленно подключаться, какие сервера можно выставить наружу, какие сделать VPN-соединения, и все это в короткие сроки.

Первоочередная задача компании — чтобы всё работало. И в этот момент у нас сильно проседает кибербезопасность (КБ), поскольку большинство фирм отводят КБ на второй план. Это логично и нормально — нужно, чтобы процессы продолжали работать, а безопасно это или нет — это уже второй вопрос.

Таких фирм множество по всему миру, и все проседают по части КБ, из-за этого резко выросло число кибератак. Они возникли за счет того, что появляется слабое место, кто-то пользуется ситуацией и реализует все те возникающие угрозы.

На графике выше видно, что начиная с января 20-го года по сентябрь 21-го среднее число кибератак в неделю плавно увеличилось. Вроде бы 21-й год, пандемия длится почти два года, надо подумать про безопасность, чтобы уменьшить число атак. К сожалению, нет — компании нащупали, как им дальше работать и про кибербезопасность забыли — она ушла на другой план: фокус на развитие инфраструктуры, которая была создана в 20-м году.

Кибератаки 2021-го года

Ниже мы видим график кибератак в 20-м и 21-м году в зависимости от регионов. В 21-м году число кибератак возросло на 40%, а в России на 54%. Как всегда, большинство атакует образование, исследовательскую деятельность, государственно-правительственные организации и систему здравоохранения.

Вопрос: почему первое место занимают не военные и государственные объекты, а образование и исследователи? Почему в этом списке есть здравоохранение?

Ответ аудитории: несколько месяцев назад в Финляндии взломали крупный психиатрический центр и вымогали миллионы долларов, чтобы не выкладывать информацию, потому что она довольно чувствительная.

В: Тогда почему исследование и образование на первом месте?

О: Человеческий фактор, способы социальной инженерии. В банковской и военной сфере есть протоколы обработки поступающей информации.

На самом деле, здравоохранение есть в этом списке из-за того, что идет пандемия и за этим все пристально следят. Многие считают, что нам дают не совсем корректную статистику заболеваемости ковидом. А еще потому, что проседают другие области здравоохранения: их пытаются больше атаковать, чтобы найти истинную информацию, которая отражает реальное положение дел.

Образование и исследования на первом месте потому что образовательные учреждения и ВУЗы мало заботятся о своей безопасности. Плюс, когда все ушли на дистанционку, участились попытки взлома от школьников и людей с низкой квалификацией. Что они пытаются атаковать? Образовательные учреждения, те же электронные дневники в надежде исправить свои оценки, и т.д.

Исследовательские институты всегда были целью злоумышленников любой квалификации — это возможность найти исходники, получить информацию о ноу-хау, что всегда представляло большой интерес.

На графике заметно, что в Азии большинство атак — это вирусы-вымогатели. В 20 – 21-м году участились атаки на африканские организации, потому что это легкая цель.

Кибербезопасность развивается, организации поняли угрозу со стороны преступников, и пытались защищаться — использовать средства защиты и другие методы. Сейчас стало сложнее атаковать Америку, Европу и Азию. Африканские страны еще до этого уровня не дошли, поэтому злоумышленники проникают через них дальше или вводят те организации в сеть ботнетов, чтобы организовывать свои кибератаки.

Основные проблемы кибербезопасности компаний

Поскольку дистанционная работа только недавно стала популярна и активна, она не всегда организована правильно. Сейчас не так часто, но раньше встречалось больше RDP-соединений, были слабые словарные пароли, отсутствовала многофакторная аутентификация.

Как у нас говорят компании, которые занимаются исследованиями, увеличилось количество атак типа брутфорс. Это когда злоумышленник подбирает пароли пользователей, в надежде на то, что они будут словарные и не очень сложные, а если нет второго фактора, ему рано или поздно это удастся. Вопрос в том, пресекает это организация или нет.

Также многие организации не следят за тем, что обновляется программное обеспечение, выходят новые уязвимости и патчи, а известные уязвимости никак не закрывают.

Для примера, в 2021-м году было достаточно много атак на уязвимости, которые были известны в 2018-м и в 2019-м году. Они были связаны с VPN-ами, например, на Citrix, на Cisco. Скорее всего, пришло оборудование, его просто поставили, не обновили ничего и патчи не поставили.

Также компании очень долго реагируют на те инциденты, которые у них произошли. И хорошо, если в принципе реагируют — чаще всего у нас в стране вообще никакой реакции не происходит. Администраторы или администраторы безопасности не замечают, что в сети, помимо обычных пользователей, живет злоумышленник.

То, что было, есть и всегда будет — человеческий фактор. Сколько сотрудников не информируй (а некоторые и этого не делают), сколько не проводи тренинги в области кибербезопасности, все равно найдутся люди, которые позволят провести успешные фишинговые атаки.

Это проблема, с которой непонятно как бороться, но именно постоянное информирование, тренинги и рассылки немного повышают бдительность и чуть-чуть уменьшают риск, но не избавляют от него.

Компания Deep Instinct провела исследование, в котором выяснила, что реагирование на кибератаки занимает у средней компании около 21 часа. Это больше двух рабочих дней, что очень много. За 21 час злоумышленник, который проник в компанию, может достать очень много официальной информации и много чего наделать: что-то изменить, вывести из строя, организовать большое количество вредоносов.

86% специалистов по безопасности не уверены в том, что их сотрудники не будут переходить по вредоносным ссылкам. То есть человеческий фактор все равно остается.

Плюс ко всему, сейчас ощущается нехватка квалифицированных сотрудников. Как преподаватель университета могу сказать, что с каждым годом увеличивается набор студентов на специальности, связанные с информационной безопасностью. Но выхлоп от студентов, которые идут работать по специальности, очень маленький и почти не увеличивается из года в год. Происходит так, что есть красивая и актуальная специальность, но по факту студенты не готовы по ней работать.

Цель киберпреступников

Зачем киберпреступники атакуют, и что именно они хотят получить?

• Есть люди-фанатики, которые ломают для того, чтобы ломать; чтобы поставить себе галочку, что он смог взломать эту компанию.
• Есть киберпреступники, у которых обострено чувство справедливости. Они считают, что что-то неправильное происходит в мире, в политической или другой сфере жизни. Они в качестве возмездия могут это исправить. Есть отдельные пласты очень увлеченных людей, но чаще ими руководят более материальные цели
• Их интересует информация, к которой они хотя получить доступ. В последнее время, вы могли видеть информацию о том, что в даркнете появилась база данных пользователей какого-то портала. Собственно, преступники пытаются слить персональные данные пользователей или сотрудников, чтобы дальше продать и получить деньги;
• Они хотят получить деньги с помощью распространения вирусов-шифровальщиков. Они шифруют материалы и просят прислать на биткоин-кошелек деньги;
• Хотят внедрить майнинговое программное обеспечение или включить систему в сеть ботнетов;
• Конкурирующие организации взламывают компанию, чтобы её скомпрометировать, привести в нерабочее состояние или создать инфоповод.

Яркий пример, который случился недавно — выложили исходный код Госуслуг  (27:00). Мол, нашли репозиторий, и разработчики не думают о безопасности, раз так случилось. Через 1,5 дня выясняется, что это исходный код Госуслуг только по Пензенской области. А инфоповод такой, что Госуслуги с которыми мы работаем постоянно сливает наши данные, и всё скомпрометировано.

Варианты кибератак

Кибератаки можно делить по разным направлениям и видам, но глобально их можно поделить на две категории:

• Целенаправленные;
• Массовые.

Под целенаправленной мы подразумеваем, что злоумышленников интересует конкретная организация или информация. Они будут использовать любые методы и способы, которые им доступны, для того, чтобы достигнуть цели. Эти атаки могут быть очень длительными по времени в зависимости от того, насколько серьезно у компании проработана инфраструктура и защита. Атаки могут занимать от нескольких месяцев до нескольких лет.

Целенаправленными атаками занимаются киберпреступники, группировки, которые тоже появлялись в новостях. Яркие примеры — Carbanak и Lazarus. Они нацелены на финансовый сектор и банки, либо государственные и правительственные организации для получения другой выгоды.

Массовые атаки — это когда появляется информация о новой 0day или 1day уязвимости. Преступники пытаются с помощью неё взломать всё, что взламывается — они сканируют интернет на наличие слабых мест, а дальше разбираются, что с этим делать. Они могут забрать информацию, что-то зашифровать и включить в сеть ботнета. Яркие примеры — декабрьская log4j и EternalBlue, которая была актуальна в 2016 году, когда случился массовый взлом SMP-протокола.

Пример: если вы купите себе VPS-ку, то вы увидите, насколько много попыток логина на эту VPS у вас будет, причем, всегда разные страны. Группировки проводят сканирование всего интернета на наличие открытых портов и слабых паролей, чтобы найти легкодоступную цель. Во время пандемии такие случаи участились, потому что стали беспорядочно открывать порты и ресурсы.

Средние компании чаще всего сталкиваются с массовой атакой. Они попадают в этот список, если они не занимаются серьезными разработками, и они не крупные подрядчики государственных компаний или военных организаций.

Если компания укрупняется, у неё появляются серьёзные контракты, или она обрабатывает какую-то критически важную информацию, то она тоже может попадать под риск целенаправленной атаки. По законодательству у нас появляется много объектов критической информационной инфраструктуры — предприятия, заводы, подрядчики — они тоже попадают в группу риска.

Фазы целенаправленной атаки

Первый этап у злоумышленника — подготовка. Ему важно понять, что он хочет получить, какая цель ему интересна. Например, он знает, что организация занимается разработкой космического спутника, и ему хочется получить данные или чертежи.

Дальше начинается сбор информации об организации-разработчике. Интернет сейчас повсюду — соцсети, рабочие сайты и сервисы для удаленной работы. Преступник ищет соцсети сотрудников, кто чем занимается, определяет периметр компании, который доступен из интернета.

Исходя из этого злоумышленники разрабатывают стратегию — как они смогут проникнуть, будут ли использовать социальную инженерию; вторгнутся физически или переманят/купят инсайдера, либо пойдут искать уязвимости.

Если проводится сканирование и они понимают, что можно действовать через уязвимость, то создается стенд на стороне злоумышленников. Стенд имитирует компанию (ресурсы компании) и преступники проверяют действие инструментария, своего инструментария. Важно понимать, что он создает наименьшее количество шума, чтобы их не засекла команда защитников компании-жертвы.

Следующий этап — это проникновение, когда злоумышленники обходят существующие средства защиты, и пытаются эксплуатировать уязвимости. Если вдруг у них не получается, они либо понимают, что не будут мучаться и используют социальную инженерию, либо используют комбинированные техники и в конечном итоге проникают внутрь сети.

Но злоумышленник не знает, куда он попал после того, как проник. Вы знаете свою компанию и системные администраторы понимают, что и где у них расположено. А злоумышленник пришел и не понимает, где он находится: это еще DMZ  или это уже внутренняя сеть? Куда идти, чтобы попасть к тому, что его интересует? Он проводит инвентаризацию сети, смотрит, где он находится и какие ресурсы ему доступны.

Далее он переходит к следующему этапу — нужно как-то распространяться. Если он нашел уязвимость, ему нужно создать точку сохранения/возврата, чтобы как-то закрепиться в системе, и он смог бы туда вернуть в случае чего. Это нужно, чтобы не проходить каждый раз всю цепочку заново — например, если поднимется какой-то кипишь, и команда защиты попросит его уйти из сети.

А дальше он будет перемещаться — смотреть, куда у него есть доступы и что он там сможет сделать. Злоумышленник двигается по сети с целью собрать как можно больше данных, которые помогут ему достигнуть определенной цели. Он смотрит документы, ищет логины и пароли от различных учетных записей и серверов. То есть, он ищет ключевую информацию.

Следующий этап, последний — когда злоумышленник выполняет свою задачу. Он нашел информацию и что-то с ней делает: похищает, изменяет, либо удаляет и делает недоступной. Зависит от того, зачем он пришел. У нас есть три кита информационной безопасности — конфиденциальность, целостность и доступность, и цели злоумышленника вокруг них и крутятся.

Дальше он пытается скрыть следы присутствия, и если ему это необходимо, то старается закрепиться, делает точку возврата, чтобы потом за обновленной информацией вернуться.

По слайду выше понятно, что есть некая цель и точка взлома. Злоумышленнику нужно пройти весь этот путь, а он не знает, куда идти, как попасть и через что он сможет это сделать. Злоумышленник пробует разные способы, если у него нет инсайдера, который ему говорит, что нужно искать. В момент перемещения по внутренней сети нужно поймать взломщика. Многие организации создают honeypot’ы, ставят средства защиты, но ставят на периметр, где могут быть точки взлома, чтобы не допустить вторжения. Но правильно будет искать злоумышленника, который уже появился у вас в сети.

По сути, не бывает абсолютно безопасных компаний. То, что вам рассказывают вендоры и интеграторы — не более, чем маркетинговый ход. Никогда никакое средство защиты не дает гарантии, что ваша компания не будет взломана и не сможет предсказать взлом. Любая фирма может подвергнуться атаке — это вопрос времени и денег. Вопрос того, будет ли цель оправдывать средства и финансовые потери.

Основная цель компании не столько защищаться, чтобы не взломали, сколько поймать злоумышленника. Не в том смысле, чтобы засечь самого человека, а в том, чтобы узнать цель атаки, пока он не нанес серьезный ущерб. Нужно постараться либо проконтролировать его действия, либо вовремя заблокировать ему доступ в сеть.

Но мы всегда рекомендуем своим заказчикам не сразу блокировать. Нужно понять мотив — потом это поможет в расследовании, чтобы выяснить, кого эта информация может заинтересовать.

Цикл управления уязвимостями

Зачастую у компании есть не одна интересная цель, а множество. Немногие в России осознают, что защита должна не только повышать безопасность, но и управлять уязвимостями и снижать ущерб от реализации угроз. Угрозы и взломы будут всегда, и цель организации — уменьшить те последствия, которые могут наступить.

Не все найденные уязвимости несут одинаковые риски, поэтому нужно грамотно расставить приоритеты. На слайде вы видите цикл уязвимости, мы в общих чертах по нему пробежимся.

Мы со своей стороны проводим анализ защищенности у заказчиков. Казалось бы, нужно закрыть слабые стороны и все будет хорошо. Но выясняется, что компании вообще не проводили управления уязвимостями и не оценивали риски. Либо оценили другие риски выше, чем те, которые мы нашли. Разные люди по-разному их оценивают: сама компания может посчитать уязвимыми совсем другие места и ресурсы.

Сама оценка рисков и цикл управления — процесс, который никогда не заканчивается, он достаточно сложный в реализации. В том плане, что иногда сложно договориться, какие активы более критичны, и какие угрозы несут большие риски.

Самый интересный момент – когда проводится идентификация активов, производится первое сканирование на наличие уязвимостей и вставляется отчет. Дальше заказчик ставит приоритеты и определяет степень угрозы для каждого случая. К примеру, вопрос: если реализуют эту угрозу, чем нам это грозит? И ответ: здесь могут слить информацию, а здесь получить доступ к каким-то ресурсам.

Дальше переходим к действиям: что с этой уязвимостью можно сделать?

Не всегда её можно устранить. В работающей инфраструктуре иногда нельзя что-то обновлять или запрещать, иначе остановится бизнес-процесс. В некоторых организациях до сих пор спокойно работают на Windows XP, и её нельзя ни на что заменить: уникальное программное обеспечение, на котором оно завязано, запускается только на XP. ПО уже старое, его давно не переписывали, а речь идет о критически важном объекте.

Компания берёт на себя устранение угрозы, либо принимает риск — то, что они не могут с ним ничего сделать. Либо она можно не устранять, но сделать что-то, чтобы снизить уровень угрозы.

Дальше начинается повторная оценка и сканирование. Это нужно затем, что инфраструктура всегда динамична — сегодня она такая, через месяц появляется что-то новое. Какой-то сервер выпустили в интернет, что-то поменяли на сайте, закрыли одну уязвимость, появились другие и т.д.

Компании нужно постоянно оценивать свою защищенность, чтобы идти в ногу со временем а не приходить сразу с большими проблемами. Есть требования регуляторов и законодательства, которые необходимо выполнять, но они не всегда перекликаются с практической безопасностью, с той необходимостью обеспечения ИБ, которая есть у компании. Многие выполняют всё, что требуют регуляторы, чтобы не получить штрафы и запрет на работу, но от этого страдает практическая сторона вопроса.

Типы работ по проверке уровня уязвимостей

Как мы можем оценить уровень защищенности компании? Есть три типа работ — оценка уязвимостей, тестирование на проникновение, и Red Team.

Оценка уязвимости — это использование сканеров, но не проверка эксплуатации. То есть, мы просто проверили, отдали отчет, сказали, что происходит на периметре.

Тестирование на проникновение — демонстрация того, как уязвимость может повлиять на бизнес-процессы и поставить под угрозу конфиденциальность, целостность или доступность компании. Чаще всего она частично автоматизируется, и частично выполняется в ручном режиме. Но всегда оговариваются границы: можно ли использовать социальную инженерию, какие веб-ресурсы, хосты и подсети просматриваются в процессе. Все это прописывается в договоре.

Red Teaming — новая услуга. Это тренировка, которая работает на стороне заказчика. Идеальный случай, когда про работу Red Team знает не служба безопасности компании, а только её директор. При Red Team нет оговорок о том, что делаем, что не делаем. Стоит задача реализовывать риски и смотреть, как на это будет реагировать команда защиты заказчика.

Методы пентеста

Пентест можно поделить три вида: по методам «белого ящика», «черного ящика» и «серого ящика».

При черном ящике пентестеру не дается вообще никакой информации об информационной системе компании. При белом ящике дается вся информация и исходный код, при сером — минимальный объем информации, вроде логина и пароля к каким-то ресурсам. При пентесте смотрятся только отдельные ресурсы и есть границы.

При Red Team имитируются реальные злоумышленники. Задача в том, чтобы построить и наладить процессы взаимодействия на случая произошедшего инцидента.

Часто сталкиваемся с тем, что у заказчика происходит инцидент, и непонятно, кто за что отвечает. Не знаешь, у кого какую информацию брать: спрашиваешь локи, тебе говорят, что они у кого-то другого.

Мы уже говорили, что в среднем проходит 21 час на то, чтобы заметили инцидент, и это действительно так. Мало где есть слаженная команда, которая четко знает, что делать, и все в этот момент работают и участвуют в процессе расследования.

Задача Red Team — наладить процесс, выработать автоматизм и понимание того, что, когда и зачем делать. Например, если команда видит в локе определенные параметры, значит атакуют определенным способом, и справляться с этим нужно таким-то способом.

Последние четыре года Red Team стал модным словом на Западе. У нас оно мало приживается, но во многих компаниях создаются внутренние Red Team команды. Но это, к сожалению, не работает, потому что атакующая команда должна быть независимой.

При повторной работе с одной и той же компанией есть большой соблазн провести тестирование — посмотреть что-то заново, потому что ты уже знаешь инфраструктуру, где были проблемы. Ты знаешь определенных людей и хочется пойти по тому же пути, по которому ты шел до этого.

В идеале, атакующие должны каждый раз меняться, но тут возникает проблема доверия, про которую мы в рамках лекции говорить не будем.

Выводы

• Современный мир и условия работы компаний говорят о том, что нужно уделять много внимания обеспечению кибербезопасности.
• Всегда нужно начинать с процесса управления уязвимостями, а не просто поставить средства защиты, настроить или не настроить их. Мы часто сталкиваемся с тем, что средства защиты есть, но они настроены неправильно, и от этого никакой пользы.
• Нужно определить критичные активы и понять, как их можно защитить. В любой компании, даже небольшой, нужна команда защитников, это BlueTeam или SOC. Или же пара человек, которые будут следить за тем, что происходит.
• От человеческого фактора никуда не деться, он дает шанс просочиться в вашу компанию, но вы можете уменьшить последствия таких атак.
• Средства защиты — не панацея. Любую компанию спасет только грамотно выстроенные процессы реагирования на инциденты.
• Если ваша компания подпадает под ту группу, на которую могут быть направлены целенаправленные атаки, то их не избежать. Но всегда можно попробовать усложнить жизнь злоумышленнику и контролировать атаку.
  

О спикере: Ольга Карелова, руководитель отдела анализа защищенности [MIS]Team. Доцент кафедры криптологии и кибербезопасности НИЯУ МИФИ, сертифицированный OSCP-специалист, организатор и участник CTF-соревнований, автор телеграм-канала @mis_team.

В статье поговорим про:

• Общие базовые идеи – что сейчас используется в цифровой электронике и как это работает;
• Разные интерфейсы, которые используются для управления железом или которые работают внутри них, то есть между контроллерами и микросхемами;
• Софтовую часть – как программировать и как использовать;
• Как искать конструкции для автоматизации.

Аналоговые и цифровые сигналы

Начнем с самого простого: наверное, все слышали про аналоговые и цифровые сигналы. Аналоговый сигнал непрерывен, он никак не меняется. До середины прошлого века вся электрическая часть работала именно на нем. В один момент пришло понимание того, что удобнее работать с дискретными сигналами:

На картинке вы видите да/нет, включен/выключен. В самом общем смысле сигнал и состоит из таких нулей и единиц, именно так он воспринимается какими-то устройствами, датчиками и т.д. Однако полагать, что в физическом проводе тоже присутствует сигнал да/нет – неверно, это утопия. Поэтому существуют некие условности: что такое да/нет договариваются электронщики между собой, наряду с тем, какие схемы они используют – микро или макро-устройства и т.д. В качестве да/нет, например, могут выступать 0 или 5 Вольт, 0 или 3 Вольта, есть вариант -5 и 5 Вольт, в устройствах с очень маленьким энергопотреблением может быть 1, 8 Вольт или 1, 2 Вольта, в зависимости от того, что является источником тока. Устройства с 0 и -12 Вольт или с 0 и 12 Вольт тоже используются в промышленной электронике, в частности, в компьютерной.

Еще важный момент – это несуществование тех прямоугольников, которые нарисованы на схеме, в реальной жизни. У всех элементов есть емкость с индуктивным сопротивлением и прочими необходимыми параметрами, где сигнал не переключается из 0 одномоментно в 5 Вольт. Правильнее сказать, что в реальной жизни вместо прямых углов есть какие-то гладкие прямые, то есть, нарастание и ослабление сигнала происходит в какое-то измеримое время.

Осциллятор

Даже если у вас есть прибор, который всегда выдает 0 или 1, то, несмотря на всю его пользу, не очень понятно, что с ним делать. Обычно, когда говорят про цифровую электронику, то имеют в виду, что сигнал меняется во времени с каким-то дискретным шагом или периодом. Для того, чтобы задать дискретный период в схеме всегда присутствует осциллятор – штука, которая задает ритм, как маятник в часах отсчитывает секунды так, чтобы все шестеренки крутились с одним периодом.

Такой маятник-осциллятор есть и в электрической схеме, он задает скорость работы устройства. Осцилляторов может быть множество, сейчас самым популярным и простым считается кварц – кристалл в коробочке, который при подаче электрического тока начинает пульсировать, и тогда мы получаем колебания с определенной частотой. Ту же самую роль могут выполнять схемы с конденсаторами, катушками и прочими элементами – то есть, эту осцилляцию можно получить самыми разными способами.

Во многих случаях, базовый осциллятор, задающий колебательную частоту, уже присутствует внутри микросхемы и вам не надо припаивать кварц на плату. Как правило, он не очень точный, но во многих случаях его вполне достаточно.

Есть схемы, чувствительные к качеству осциллятора, то есть его периоду – тому, насколько он аккуратен. Это относится к часам, аналогово-цифровым преобразователям, и прочим устройствам, которые опираются на этот период как на устойчивую константу.

В большинстве современных контроллеров, процессоров и так далее, к частотам генератора могут быть привязаны частоты внешние. Или внутренняя частота процессора может быть больше, чем частота, которую задает внешний актовый генератор.

В те времена, когда в процессорах тактовая частота еще не была программно-управляема, частота шины, частота процессора и множитель выставлялись перемычками на материнской плате. Некоторые даже перепаивали кварц на плате так, чтобы заставить тактовый генератор бежать быстрее; вместе с ним ускорялась шина памяти и прочие элементы. Конечно, до бесконечности так делать нельзя.

Электромагнитное реле

Продолжая идею про лимитную базу: на чем вообще строится вся цифровая электроника? Её главный компонент – это ключик-переключатель, девайс-устройство, которое по команде может замыкать или размыкать цепь. Этого довольно грубого и примитивного утверждения достаточно, чтобы понимать, как работают схемы в своей концепции.  Самый примитивный вариант такого устройства – это электромагнитное реле, которое устроено по типу выключателя. Все, наверное, видели выключатель: внутри него есть две пластинки, и когда вы нажимаете кнопочку, одна пластинка прижимается к другой. Реле делает то же самое, только с помощью электромагнита.

Внутри этой синенькой коробочки на рисунке есть пара контактов и электромагнит, который намотан па проволочку на катушке. Когда в катушке появляется необходимый ток, она примагничивает пластинку и замыкает контакт. Контактов может быть разное количество – хоть 2, хоть 3, хоть 10, какие-то группы контактов при подаче тока размыкаются. Таким образом, можно с помощью слаботочного низковольтного устройства управлять мощной нагрузкой. Если вы ездили на трамвае или троллейбусе и слышали характерные щелчки, когда их разгоняют или притормаживают, то это как раз тот момент, когда в них включаются реле, которые относятся к конкретным частям бортовой электроники.

Проблема с реле часто заключается в том, что оно представляет собой механическое устройство, и контакты в нем периодически подгорают и перестают нормально замыкаться, соответственно, вся цепочка плохо работает. Были попытки на реле или реле-подобных устройствах построить какую-то вычислительную технику, и получалось так, что эта техника работает непостоянно. Ошибка в работе реле приводит к тому, что сбоит вся схема и искать, что же стало причиной сбоя очень сложно, поэтому тяжело обслуживать механизм.

Транзисторы

В середине прошлого века придумали полупроводниковые транзисторы. Не буду вдаваться в детали, как они работают с точки зрения физики, но с точки зрения электроники транзисторы можно использовать как ключ. У биполярного транзистора (смотрите на центр рисунка выше) есть база – это управляющий контакт, при подаче определенного напряжения на базу открывается переход между коллектором и эмиттером, и через него течет ток. Там, где нарисован резистор и написано load, может присутствовать нагрузка.

Аналогичным образом работает любой другой транзистор (схема справа), не в смысле физики, а в смысле общей логики: на gate, то есть затвор, подается определенное напряжение; он открывается, появляется ток, он включается. В отличие от реле, транзистор работает устойчиво, так как там нет механических штук, его можно сделать очень маленьким, в особенности если токи и мощность, которую он рассеивает – мизерная. Таких транзисторов на кристалле кремния можно сделать миллионы штук, чем и пользуется вся современная микроэлектронная промышленность.

Q: В чем разница между реле и генератором? Генератор с какой-то частотой посылает единички, а потом нолики, и в этом заключается замыкание и размыкание. И реле размыкает также.

А: Если мы возьмем кварц, то токи напряжения, с которыми он работает, очень малы – он не может размыкать какую-то мало-мальски острую нагрузку. Не получится даже сделать «моргалку» с диодом, потому что он просто сгорит. Реле – средство управляющего сигнала и потенциально мощной нагрузки. К реле можно подсоединить лампочку 220 Вольт, обогреватель или даже определенной мощности двигатель, и эта конструкция будет работать. Для реле как такового, генератор не нужен, далее я остановлюсь на этом подробнее.

Микросхемы с логическими элементами внутри

Как только микроэлектроника научилась делать транзисторы размером поменьше, начали делать микросхемы с логическими элементами внутри. Это микросхемы, которые содержат в себе элементы типа триггера или подобные примитивы. Начальные поколения ЭВМ, которые строились на полупроводниках и микросхемах не раз апеллировали элементами небольшой интеграции: из отдельных транзисторов бралась такая микросхема, которая содержит несколько элементов сразу, и из нее строились логические блоки.  Про это полезно упомянуть, потому что логические элементы до сих пор используются, например, в радиотехнике.

Процессоры

Нам, как программистам, интереснее более высокий уровень, поэтому дальше речь пойдет о процессорах, в широком смысле этого слова – я буду иметь в виду и контроллеры и процессоры класса Intel Core i9, так как они работают по общим принципам.

Обычно у стандартного процессора есть набор шин, к которым подсоединяется память и какая-то базовая периферия. Также у процессора есть несколько ножек, которыми программист может управлять. Эти ножки обычно называют GPIO. Часть ножек процессора может работать на вывод, например, вы пишете инструкцию, и состояние этой ножки меняется на 1. Это значит, что к этой ножке можно подсоединить реле или еще какое-то управляющее устройство. И, наоборот, чтением какой-то инструкции можно понять состояние какой-то ноги-пина у процессора. То есть вы, подавая 1 или 0, получаете однобитовый цифровой вход. Также на эту ногу можно повесить программу прерывания – каждый раз, когда будет происходит что-то неправильное, ваша программная функция будет прерывать операцию.

На компьютерах бывают пины, которые работают не только с 1 и 0, но и с аналоговыми значениями, о них будем говорить чуть позже. У многих процессоров есть возможность подключать к ножкам аппаратные модули, которые обслуживают конкретный протокол.

Шины и интерфейсы

Сейчас перейдем к самому простому, поговорим о шинах и интерфейсах и узнаем, как поморгать лампочкой. Нам понадобится светодиод и резистор на 220 Ом. Светодиод пропускает ток в одну сторону и светится. Резистор нужен для того, чтобы ограничить ток, протекающий в цепи. Если вы нагрузите микросхему больше прописанного в инструкции, то она сгорит.

На схеме вы сидите кнопку и резистор. Казалось бы, можно просто замыкать кнопку и заземлять какую-то ногу контроллера, и у нас появится состояние 0 или 1, кажется, что резистор не нужен. Однако если нога процессора никуда не подсоединена, то мы не можем гарантировать его состояние 0 или 1, то есть оно становится неопределенным. Для того, чтобы сделать его определенным, в свою очередь, в схему припаивают подтягивающий резистор (pull-up или pull-down). Он подтягивает ножку либо к 5Вт либо к земле. Если кнопка разомкнута, мы обеспечиваем всегда 0 или всегда +5Вт. Получается, что резистор нужен для того, чтобы избавиться от неопределенного состояния в этой схеме.

Теперь поговорим о том, как подключить реле к контроллеру, с которым мы работаем. Данная схема представляет собой зарисовку того, как устроен релейный модуль, который вы можете купить в магазине.

Здесь вы видите два элемента – реле справа и транзистор посередине. Транзистор нужен для того, чтобы не перегружать вывод контакта Raspberry PI. Максимальный ток, который отдает контроллер, недостаточен для того, чтобы сработало реле, поэтому здесь используется промежуточный транзистор, который открывает транзистор, пускающий ток внутрь реле. Обратите внимание, что управляющий сигнал у Raspberry PI равен 3.3Вт, а в большинстве реле стоит обводка либо на 5Вт либо на 12Вт.

Казалось бы, если у нас есть возможность управлять отдельными ножками на процессоре, то можно организовать любую шину и любой интерфейс. Так и есть, только с несколькими «но»: во-первых, это сильно нагружает CPU. Если мы шьем по какому-то протоколу, то каждый байт нужно разложить на биты, выбрать исключения, провести еще несколько сложных операций, и ресурсы просто заканчиваются, до математических вычислений дело даже не доходит. Поэтому в большинстве современных процессоров, кроме того, что можно программно управлять какими-то ногами этого процессора поштучно, внутри есть готовые блоки, которые реализуют конкретный протокол. Плюс ко всему, шина устроена таким образом, что нужно передавать сигналы в соответствии с расписанием, а если ваш процессор в этот момент времени что-то высчитывал, то вы уже теряете бит и ломаете протокол.

UART

Самый популярный из таких интерфейсов это UART, с точки зрения программиста он называется последовательный порт. В этой конструкции есть две физические ножки, receive (RX) и transmit (TX). По одному каналу данные отправляются, по другому каналу данные слушаются. Пакет протокола нарисован на схеме внизу: с определенной частотой подается старт-бит, какое-то количество полезных данных, бит четности и один или два стоповых бита.

Кроме этого, могут присутствовать два опциональных контакта DSR и DTR, которые сообщают, готово ли устройство отправлять и принимать данные.

С точки зрения программиста, эта конструкция лежит в основе большинства последовательных портов. Подобные шины – это реализация протокола с какими-то своими доработками или особенностями с точки зрения аппаратной реализации.

В реальной жизни UART как интерфейс встречается практически везде: через такой интерфейс работает большое количество embedded устройств, в том числе, WI-FI, все модемы, купюроприемники и т.д.

Порт как на фотографии есть внутри любого модема, роутера, здесь к UART подсоединяется консоль ядра.

Все UART интерфейсы выглядят аналогично тому, как выглядит COM Port в Linux.Работать с ними можно с помощью программ Screen и Minicom.

SPI

Следующий популярный аппаратный интерфейс, это SPI. Принципиально он очень похож на UART, но здесь есть управляемое и управляющее устройство, которые взаимодействуют друг с другом.

На больших контроллерах и процессорах SPI интерфейсов может быть много, и они могут не зависеть друг от друга.

Теперь пара слов про настоящие шины, а не про способ подсоединить периферию к процессору. I2C состоит из двух проводников, один из них – генератор тактовой частоты, по другому контакту передаются данные. Инициализация происходит со стороны master, slaves между собой общаться по протоколу не могут.

В современных PC машинах даже есть готовый софт для работы с такими шинами:

1-Wire Bus

И последняя из таких широко применяющихся шин это 1-Wire Bus. У нее три ножки – питание, данные и земля. Используется в физических устройствах типа датчиков, домофонов и т.д.

На фотографии вы также видите термодатчик. К одному процессору может быть подключено несколько устройств, но одновременно работать они не смогут.

Цифро-аналоговые преобразователи

Пара слов об аналоговом мире: когда у вас есть датчик температуры, который вам дает цифровую температуру – это здорово, но зачастую в нем к вам приходят аналоговые сигналы. Как пример – звук. Есть такие устройства, которые называются цифро-аналоговыми преобразователями, которые как раз занимаются этими преобразованиями.

Последняя схема тоже представляет собой цифро-аналоговые преобразования, только в том случае, когда вам нужно управлять силовой нагрузкой. Современная цивилизация изобрела такую вещь как широко-импульсная модуляция. Ее идея заключается в следующем: если вам нужно управлять мощной нагрузкой, а не дискретными шагами или максимально плавно, то можно сделать такое устройство, которое часть энергии пропускает, а часть рассеивает.

В дальнейшем, решили, что транзистор будут включать и выключать с определенной частотой в зависимости от желаемой мощности. Таким образом, можно получать псевдо-непрерывное управление силовой нагрузкой. Так управляется подсветка мониторов, работают блоки питания.

С развитием технологий приходит идея, что вместо построения сложных схем мы можем делать программы для управления сигналом. Соответственно, мы можем накладывать любую возможную математику, и получать возможность обрабатывать информацию программно.

Что можно сделать дома?

Если вы возьмете Raspberry PI, то увидите на нем гребенку ножек и контактов, которые торчат из платы. Это как раз то, что можно программировать. В Питоне есть модули RPI GPIO, которые представляют собой набор функций примитивов, которые позволяют что-то включать и выключать, а потом подсоединить нагрузку.

Также используя шину 1-Wire Bus и Raspberry PI, можно мерить температуру:

По материалам открытого семинара Александра Сморкалова (Xperience AI) «Digital Electronics For Programmers».

Поговорим про применение трансформеров в компьютерном зрении: что такое трансформеры и откуда они пришли, рассмотрим основной механизм внимания в основе данного типа моделей.

Все статьи, о которых мы говорим, предлагают некоторый бэкбон на основе трансформера без использования сверток. Применение трансформеров и механизмов soft attention в компьютерном зрении было и до этого в разных моделях, но скорее в качестве вспомогательного механизма. По моему мнению, за последние полгода произошел большой прогресс в использовании трансформеров для задач компьютерного зрения.

Одна из важных статей на «Papers with Code» от 2017 года — «Attention is All You Need». Она совершила революцию в области обработки естественных языков и предложила новую модель для решения задач машинного перевода. После этого было предложено ещё несколько новых моделей на базе трансформера, которые справлялись с задачей с лучшим качеством.

Можно выделить две главные ветви развития моделей:

1. GPT, которая училась решать задачу языкового моделирования и предсказания следующего токена. Токен может быть словом, символом, другой языковой единицей или кодировкой. Когда модель вышла в 2018 году, она была популярна только в узких кругах специалистов, которые занимались задачами, связанными с NLP. В прошлом году вышла уже третья версия, и она сделала много шума — даже люди, никак не связанные с Deep Learning, NLP или Control Vision слышали об этих моделях, так как она значительно улучшает качество генерации текста.
2. BERT, который предложил новый подход к обработке естественного языка. Смысл в том, чтобы выучить одну большую модель, и на основе полученных эмбеддингов мы можем напрямую решать задачи, либо ещё немного дообучить(зафайнтюнить) модель под конкретные таски, например, под текстовую классификацию или recognition.

Начиная с прошлого года, трансформеры начали плавно перетекать в Computer Vision, из-за чего произошел настоящий взрыв статей.

Архитектура трансформера

Изначально предложенная архитектура строилась по принципу энкодера-декодера, и решала задачи машинного перевода. Грубо говоря, есть часть, которая кодирует наш текст на вход — энкодер, а есть та, которая потом декодирует в другой текст на другом языке — декодер.

Нас интересует только левая часть слайда под названием энкодер, потому что он используется и в GPT, и в BERTA, в моделях, о которых мы будем говорить в дальнейшем. Декодер в некоторых задачах компьютерного зрения тоже используют, но энкодер все-таки чаще. Тем более, что они похожи — за исключением нескольких различий.

Устроена она довольно просто: есть базовый блок, из которого складывается энкодер, то есть n повторяющихся базовых блоков. Внутри базового блока есть несколько слоев, самые важные из которых — Self-Attention, Layer normalization, skip connections и dense layer.

Механизм Self-Attention

Идея следующая: у нас есть некий токен, и мы хотим оценить важность других токенов относительно него. Эту операцию мы будем проводить со всеми имеющимися токенами.

Так мы посмотрим, как каждый токен влияет на другой. Сам механизм, который мы назвали self-attention, имеет несколько модификаций — на слайде находится классическая версия. Он основан на scaled dot-product attention и устроен из некоторого перемножения матриц. У нас есть input матрица Х на входе — это матрица эмбеддингов, также у нас есть n — количество токенов и размерность d — размер эмбеддингов, либо их еще называют model size. Здесь же мы видим три матрицы весов, которые обучаем, c тремя разными значениями query key value.

Все эти матрицы одинаковы с точки зрения размерности, но имеют несколько разный смысл. Перемножив эти матрицы на матрицу на входе, мы получим три других матрицы — Q, K, V. После того, как мы нашли другие матрицы наших изначальных эмбеддингов, мы проводим следующую операцию: умножаем матрицу Q на транспонированную матрицу К, нормализуем, считаем софтмакс по строке и умножаем на последнюю матрицу V.

Таким образом, мы взвешиваем важность токенов в матрице V, при этом посчитав self-attention относительно друг друга. Если посмотреть на размерность матрицы после перемножения Q на К, она будет n-ная — получается, что мы смотрим на все токены относительно всех других.

Эта операция синтетически квадратична по сложности, это зависит от размера токенов или параметра n. Чтобы лучше проиллюстрировать, покажу пример. Он более детальный, потому что мы умножаем здесь не матрицы, а векторы.

Мы берем два токена и их эмбеддинги, три матрицы матрицы весов Query-Key-Value и перемножаем наш вектор на три матрицы. После того, как мы получили три вектора, мы можем посчитать attention. В данном случае мы получаем dot-product, то есть скалярное произведение. Мы его нормируем, считаем софт макс, умножаем на вектор Value и после этого будем суммировать по всем этим значениям относительно первого токена. Ту же операцию мы проделываем со вторым токеном, и получаем уже другое значение.

Multi-head attention

Self-attention сам по себе не применяют, для него придумана надстройка, которую называют Multi-head attention. Её концепция в том, чтобы использовать не одну матрицу весов для каждого Query-Key-Value, а целый набор разных матриц, которые будут проецировать наши эмбеддинги в некоторое пространство в размерности меньше первоначальной. Там мы будем применять self-attention и все полученные после операций значения мы сконкатенируем.

Чтобы вернуться в изначальную размерность мы ещё умножим на некоторую матрицу Wo — это линейная проекция, которая поможет вернуть нужную нам размерность. Концептуально это звучит сложно, и непонятно, почему это должно работать, но люди в процессе пытались включить интуицию.

Рассмотрим пример обработки естественных языков. Если посмотреть на отдельные токены и self-attention в разных головах, то они смотрят на разные токены. В одной голове относительно токена  «it» будет токен «the animal». То есть имя то же, но в другом виде. Во второй голове мы будем уже смотреть на глагол относительно токена. Теоретически интуиция работает не всегда: если смотреть на более свежие слои и другие головы, уже не понятно, что учится, но на практике интуиция работает.

После того, как мы вспомнили, что такое трансформер и self-attention, вопрос: зачем это применять в компьютерном зрении, если есть сверточные сетки, которые себя зарекомендовали? Вроде они и сами отлично работают последние десятилетия, достигают действительно хороших результатов в задачах.

Если подумать, в сверточных нейросетях заложены априорные знания о том, как устроены картинки. Это одна из причин, почему они так хорошо действуют. Есть так называемые inductive bias или inductive priors, которые позволяют нам уменьшать количество данных, необходимых для обучения сетей. Им немного проще решать задачу, чем полносвязным сетям либо трансформеру, который не обладает такими знаниями.

Примером такого явления служит понятие локальности. Оно заключается в том, что пиксели, которые находятся рядом, больше скоррелированы между собой. Может произойти так, что у нас происходит резкий скачок в значениях пикселей. Это говорит о том, что есть некоторая локальность объекта, и если мы нашли его признаки, нужно смотреть в окрестностях.

Вторая причина — это translation variants. Если мы меняем положение нашего объекта на картинке, свертка так или иначе до него дойдёт, что совсем не очевидно с полносвязными слоями. Если мы применяем инпут, для сетей это будет уже совсем другой инпут и другой результат.

Другие вспомогательные идеи, — то, как шарятся веса. С одной операции в рамках одного слоя мы идем с одним набором весов и их шарим. Если есть схожие локальные паттерны, мы их уже будем находить, применяя меньшее количество ресурсов. Так получается, потому что часть весов уже есть, и не нужно их хранить для каждого конкретного случая.

Последний вариант — это некоторая иерархичность системы. Мы знаем, что на ранних слоях есть более конкретные признаки объекта, они более низкоуровневые. Чем дальше, тем более абстрактными получаются признаки самого объекта.

Vision Transformers (ViT)

Всех этих особенностей в трансформере нет. Соответственно, чтобы он хорошо работал, нужно всё это выучить, а чтобы выучить, нужно много данных. Это одна из причин почему разработчики так долго к этому шли.

Вторая причина — это как подавать на вход картинку для такой модели. Модели и статьи, которые были до этого, предлагали собрать некоторое внутреннее представление с помощью сверточных нейросетей, и у нас уже уменьшится разрешение до совсем крохотных размеров. Все, что выучили, уже будем подавать на вход.

Авторы статьи предложили вообще не использовать свертки, а давать сырую картинку. Идея достаточно простая, возможно раньше не было раньше вычислительных мощностей и количества данных, чтобы довести все до ума.

Первая идея, которая приходит в голову, — выкинуть картинку в один огромный вектор, где каждый пиксель — компонент вектора. Но это не очень хорошая мысль потому что размерность вектора n, которая квадратична, будет слишком огромной. Авторы статьи предложили нарезать картинку на некоторое количество небольших кусков. Оригинал статьи называется «An Image is Worth 16x16 Words», потому что в ней было предложено использовать куски 16х16 вместо целой картинки.

Это гиперпараметр, от которого напрямую зависит количество токенов. На слайде это параметр обозначен как P (Patch size), мы делим на него, и получаем обратную пропорциональную зависимость. Изображение нарезаем последовательно на несколько патчей, и с помощью некой обучаемой матрицы эмбеддингов мы проецируем нужную нам размерность. Также есть набор токенов с заданным размером эмбеддингов, и мы можем подавать его на вход трансформерам.

Ещё одна небольшая деталь — это positional encoding. Трансформер сам по себе ничего не знает про расположение пикселей в пространстве, для него это просто множество токенов. А для того, чтобы выстроить токены в последовательность, используют positional encoding.

Авторы статей пробовали более сложные способы кодирования. В 2D коде есть два компонента для X и для Y, потому что это картинка, а не последовательность. По сути, достаточно было выстраивать последовательность из патчей. Авторы тренируют сеть такими патчами, которые мы прогоняем через некоторое количество энкодер-блоков.

Они используют в сверточных сетях тот же принцип, что и мы: берут какое-то последнее представление, переводят фичмапу (feature map) в вектор. Этот вектор прогоняем через полносвязный слой и напрямую предсказываем через софтмакс вероятность классов.

То есть они используют специальный токен, который отвечает за принадлежность к классу. Это обучаемый эмбеддинг для классификации на последнем слое, остальные признаки не используются. Не знаю, почему не попробовали делать, как принято, это скорее рудимент среди подходов, похожий на BERT, но это работает. Удивительно, что они вообще не меняли модель, и оставили BERT в оригинальном виде. В таблице в самом низу есть ViT-base. По всем гиперпараметрам видно, что это тот же BERT.

На самом деле есть подвох: для того, чтобы способ подействовал, им пришлось обучать сеть на огромном количестве данных, что является немного читом.

Обычно мы используем какой-то нишевой датасет и на нем же измеряем качество, либо обучаемся, на чем-то файнтюнимся и решаем конкретные задачи. Здесь, чтобы работать с классификацией на ImageNet, им пришлось обучаться на датасете размерностью 300 млн картинок. Это немного странное решение от Google связано с тем, что необходимо огромное количество данных — у трансформеров нет знания картинок, им нужно показать множество примеров.

Соответственно, возникает вопрос о практичности и о том, можно ли это использовать. На слайде справа мы видим некоторые зависимости от количества данных. Если брать чистый ImageNet и учить только на нем, то этот способ будет менее эффективным, чем классический resnet.

В классическом ImageNet порядка 1 млн картинок и 1 тыс классов. Можно взять ImageNet побольше: например, в ImageNet 21K около 10–12 млн картинок и 21 тыс классов; в последнем проприетарном датасете от Google уже сотни миллионов и 18 тыс классов. С ростом количества данных, ImageNet линейно растет, но если использовать свертки, то можно получить такие же результаты на некоторых моделях с большим количеством параграфов.

Другие интересные свойства ViT

Есть несколько интересных моментов, которые я выделил:

1. На первых слоях тоже выучивается представление о базовых фильтрах, которые люди применяли еще в эру классического компьютерного зрения. То же самое могут выучить и сверточные сети. Модели в состоянии выучить иерархию, при этом не имея изначально заложенной информации.
2. Существует некоторый аналог receptive field — среднее расстояние, на которое смотрит attention. По оси х — это количество слоев, по оси y — среднее расстояние внимания в пикселях. Мы видим, что чем глубже слои, тем attention более глобальный. Это тоже коррелирует с нашим знанием из сверточных нейросетей, что при увеличении количества слоев receptive field увеличивается.

Что стоит отметить: на самых ранних слоях есть отдельные головы, которые смотрят на глобальную информацию. Получается, что рост рецептив филда не линейный, как в обычных свертках, а более неочевидный.

Data efficient image Transformers

У Facebook есть решение, у которого не было столько TPU, как у Google. Это надстройка к той же модели, но они решали проблему отсутствия знаний с помощью их дистилляции. С ним используют обученную сверточную сеть, помогающую с классификацией, как дополнительный сигнал для выучивания этого bias. То, что она учит напрямую — довольно спорно, но с ней понадобится гораздо меньше данных. Она обучает только на ImageNet без проприетарного датасета с лучшим результатом.

Есть один пункт, который я не добавил: Facebook используют более разнообразную аугментацию, то есть они решают нехватку данных не только с помощью дистилляции, но и с более качественными аугментациями.

Вернемся к дистилляции. Это подходящий метод получения маленьких сетей из больших, что дает преимущество в производительности. Это не основной, а вспомогательный метод улучшения качества. Авторы предложили использовать distillation token — ещё один токен, как тот, что мы использовали для предсказания классов, — он также обучается совместно с эмбеддингами из патчей-картинок.

После прогона через все слои в энкодере у нас появился результат, который мы используем для предсказания функций потерь и подсчета градиента.

Типы дистилляции

Давайте рассмотрим следующий слайд с формулами.

• Soft distillation — классический подход, который предлагали в нескольких статьях. Есть две модели, Teacher и Student. Teacher — большая сверточная сеть, student — vision transformer. Мы применим предсказание с модели Teacher для улучшения качества предсказания Student. Есть такая формула из двух частей: слева кросс-энтропия для классификации, С — это софтмакс. С помощью логитов после выхода модели Student мы применяем софт-макс и считаем кросс-энтропию. Здесь же мы видим правую часть, где считается конвергенция, которая считается способом измерить схожесть распределений. Если распределения похожи, то значения дивергенции небольшие, если разные — то большие. Есть несколько гиперпараметров, которые они используют: первый — λ, способ взвесить два лосса, и 𝑡 — температура — вспомогательный гиперпараметр для сглаживания выходов после софтмакса. Это один подход, с которым можно посчитать лосс и обучаться с ним.
• Авторы говорят, что лучше работает второй подход, который концептуально попроще. В нем две части — одна про классификацию токена, вторая — про дистилляцию. Но вместо непрерывных значений есть конкретное значение выхода Teacher: мы просто берем argmax по логитам и значение, потом с одинаковым весом мы это учим. Лучший результат выходит, когда мы используем привычную классификацию с помощью класс токена и дистилляции. Модель способна выучить из сверточной сети априорные знания, их докидывает дистилляция. Авторы попробовали в роли Teacher не только большую сверточную сеть, но и уже обученный трансформер. Выяснили, что первый вариант работает лучше, чем второй, потому что он быстрее и требует намного меньше информации — примерно 8 TPU за пару дней.

Плюс трансформеров в том, что они очень легко скейлятся, и не нужно ничего придумывать, чтобы получить большие жирные модели, все заводится из коробки. Эта статья выглядит более прикладной. Сомневаюсь, что способ подействует лучше сверточных сетей, если вы возьмете предобученную модельку на ImageNet и пару тысяч классов, размеченных под конкретную задачу.

SWIN Transformer

В первой статье авторы используют дистилляцию, но работают с аугментациями из второй. В статье от Microsoft авторы замечают, что когда мы используем ViT, мы подаем на вход фичмапы одинакового размера. С каждым следующим слоем уменьшается разрешение и увеличивается число каналов. В классическом ViT такого нет: если мы будем увеличивать число токенов, которые мы будем последовательно уменьшать, и наращивать число каналов, то мы очень сильно проиграем по вычислительной сложности, так как она зависит квадратично. Однако выучить некие иерархические принципы тоже хочется, и авторы предложили несколько идей.

Первая идея похожа на то, к чему мы привыкли в свертках. У нас есть разрешение, которое называют стадиями, и с каждым слоем оно уменьшается с некоторой периодичностью. Здесь заложено три основных механизма: первый — patch merging. Это значит, что на первых слоях больше токенов, и мы их мерджим в токены большего размера и получаем локальные окна. На выходе будeт токены, которые связаны друг с другом, как это было в ViT.

Авторы разбивают энкодер-блок на два куска: на вход идут локальные окна, а на втором слое есть операции, которые называются switch transform, и они эти окна преобразуют.

На первом этапе у нас есть совсем локальные окошки, где attention смотрит только на них, и мы не видим все, что за пределами окон. Красные квадраты — это локальные окна, внутри которых мы находимся, и attention находится внутри каждого такого окна. Можно все оставить в таком виде, прогонять и уменьшать разрешение, постепенно увеличивая с помощью мерджинга кусков. Тогда получается, что часть окон будет никак не связана с другими.  

Чтобы self-attention был между разными окнами, предлагают такую shift-операцию, которая разбивает окна на сегменты разного размера, прямоугольники и квадраты. Информация из self-attention будет перетекать между этими окнами. Чтобы получить линейность в зависимости от количества токенов, мы сделаем, чтобы между окнами было взаимодействие, и будем уменьшать количество вот этих красных квадратов с помощью мерджинга.

Непонятно почему, но увеличение происходит именно на третьей фазе, на всех предыдущих по 2 блока. В базовом варианте используют 6, 12 и 18 таких блоков с одним и тем же разрешением.

Результаты ImageNet

На предпоследнем слайде не удержался и вставил табличку, хотя все эти цифры не хотелось обсуждать, ведь каждый автор статьи хочет показать их в красивом свете. Но в этой таблице есть все три архитектуры и некоторое соотношение с привычными сверточными сетями типа Fishnet. Есть высокие результаты, но количество параметров и FLOP’ов нечеловеческое и непонятно, как это использовать.

Но если посмотреть на результаты не такого большого размера, то они уже сопоставимы со свертками, пусть и чуть хуже. Сама архитектура остается практически неизменной в классическом виде DeiT. Если улучшать и придумывать хорошие идеи, со временем оно будет работать лучше для некоторых задач, чем свертки. Но пока об этом невозможно говорить, потому что сети переезжают на трансформеры.

Если посмотреть на статьи, которые выходят, их можно разделить на два основных типа:

• Максимально общие, по сути бэкбоуны;
• Те, которые решают конкретные задачи, например, трекинга, action recognition.

Мне кажется, если для решения задач использовать трансформеры не всырую, а настраивать, то это может дать хорошие результаты в будущем. Это подойдет для мультимодальных кейсов, когда, например, есть видео со звуком, а для звуков тоже используют трансформеры.

Видео с разными модальностями — тип данных, который хорошо ложится на эти модели. Возможно, механизм attention, который позволяет глобально смотреть между фреймами, как раз отслеживает и позволяет делать ReID.

Полезные ссылки

• TransGAN explanation от Yannic Kilcher — интересная, но максимально непрактичная статья. Результаты, которые там описаны, выглядят как привет из 2016-го года. То, что получается в других моделях вроде StyleGAN2 это, конечно, ни в какое сравнение не идет. Они используют некоторые трюки: например, берут scheduler, увеличивают с ним receptive field по времени и изначально не дают селф-этеншену смотреть на все токены одновременно. Если интересно, можно посмотреть видео Yannic Kilcher. Отличный канал, где он дает рецензии на свежие статьи.
• Vision Transformers implementation от Phil Wang. Здесь видно, что автор интересуется происходящим, так как его количество контрибьюшнов поражает. Здесь репозиторий чисто про вижн трансформеры, где он сделал несколько реализаций базового ViT и еще кучу других статей. Довольно неплохо устроено, если мы хотим сделать дистиллейшн: указываем Teacher и Student, с оберткой в виде софт дистиллейшн, указываем дополнительные гиперпараметры, потом уже можем учить.
• PyTorch Vision models от Ross Wightman.

Что такое point-based детекторы и как они устроены, о CenterNet и о том, как сделать любую сеть лучше — об этих темах пойдет речь в статье.

Что есть задача детектирования? Это обнаружение на изображении или видео объектов, точнее, прямоугольников вокруг них. В прямоугольнике есть стороны, параллельные оси координат, а также класс, к которому он принадлежит.

Вот пример того, как выглядит детектор одного класса людей на базе CenterNet. Помимо него в мире есть полно детекторов.

Распространённые виды Object detectors:

• YOLO
• SSD
• Faster R-CNN
• RetinaNet
• CenterNet
• EfficientNet
• Cascade R-CNN

Попробуем определить с помощью опроса, какой из них самый лучший. Лидерами среди ответов стали Faster R-CNN и CenterNet.

На мой взгляд, в мире существует 2-3 типа детекторов: single-stage детекторы и их развитие до anchor-based и two-stage версий. Все эти названия из списка — то, насколько инженерная мысль довела людей до конкретных реализаций. Замечу, что некоторые мои высказывания достаточно субъективны и вы можете быть с ними не согласны.

Как устроен YOLO

В 2015 году появился первый популярный детектор YOLO. Я говорю об одной из первоначальных версий статей — если зайти в архив, видно, что через несколько ревизий была изменена идея. Но мне нравится первоначальная версия YOLO.

Она работает особым образом. Есть картинка, которая проходит через backbone. Также у нас есть хитмапа 7х7, здесь на этапе тренировки мы помечаем, где находится центр. Находим центр у каждого объекта на картинке, ту самую ячейку помечаем как true positive, — это и есть центр объекта. После того, как мы натренировали детектор, у нас появляется карта, где указана ячейка-центр объекта, и к какому классу объект принадлежит.

Это делается с помощью тензора с 20-ю каналами из тета-сета Pascal. По каждому каналу есть хитмапа 7х7, она говорит нам, что в этом канале располагается объект данного класса. Также есть 4 общие координаты: x, y — уточнение центра, и w, h — ширина с высотой. Это была изначальная идея YOLO, которая скатилась в anchor-based подход.

Как устроен CenterNet

Спустя 4 года после YOLO появляется CenterNet, который работает следующим образом: есть картинка, мы её по умолчанию даунскейлим до определенного размера, сохраняя аспект ratio. Применяем аугментации, бэкбон, и в конце получаем тензор с тремя выходами:

• Хитмапа с центрами объектов. Их всего С по количеству классов.
• Два офсета, уточняющих центр объекта — Δх и Δy, они нужны потому, что уменьшается пространственная размерность. Если входная картинка имела размер w, h, то по умолчанию хитмапа имеет размеры h/4 и w/4. Мы получаем размерность в 4 раза меньше позиций, поэтому центры неточные, нам нужны Δх и Δy, чтобы их уточнить. То есть, сделать сдвиг на 4 пикселя, если требуется. Это не регламентируется в тренировке — сдвиг может быть больше, чем на 4, но это маловероятно.
• Два выхода, определяющих ширину и высоту объекта.

Между первой YOLO и первым CenterNet я не вижу отличий. Если взять Pascal, C = 20, так как классов 20. Получаем те же 24 выхода, как в оригинальной YOLO.

Если взглянуть на идеологию и архитектуру, они одинаковые. Сложилось впечатление, что авторы YOLO не просто так в первой версии сделали что-то вроде CenterNet, а потом, спустя полгода, их статья поменялась и стала содержать в себе анкоры, как это делает SSD. Это говорит о том, что ранее у них был неудачный эксперимент, но с анкорами всё получилось.

Ещё раз повторюсь — YOLO появился в середине 15-го года, в конце 15-го же появился SSD, и все двинулись в сторону анкор-based подхода, в том числе, YOLO9000. Почему идея точь-в-точь как у CenterNet перестала работать или стала работать хуже, чем анкор-бейсд?

Есть варианты:

• Бэкбон, который ориентирован на сегментацию;
• Наибольшее выходное разрешение;
• CenterNet стал полностью сверточным;
• Переход от L2 loss к Focal loss.

Никакая из этих фич не может давать кардинального выигрыша. То, что мы используем полностью сверточную сеть — это лучше: никакие fully connected и detection не нужны, но глобально это не может сильно улучшить сеть.

Modern backbone — сильная вещь. Это не причина, почему YOLO провалилась, ведь мы сравниваем версии с анкорами и без анкоров. Сегментационно-ориентированный бэкбон — вряд ли; большое выходное разрешение — возможно, но и с маленьким это бы тоже работало.

Ещё один ответ — позитивно-негативный сэмплинг. Это как раз специфика анкор-бейсд подхода — для тренировки настроен сэмплинг позитивов и негативов. Hard negative mining — это очень большая головная боль, но в CenterNet’е его нет — он там не нужен. На мой взгляд, причина, почему все не любят анкор-бейсд подход и pos/neg сэмплинг в том, что он сильно усложняет архитектуру и доставляет много проблем.

В качестве резюме можно сказать: две вещи, которые были сделаны неправильно и повели нас по ложному следу — это неиспользование полносверточной сети и неправильный loss для классификаций. Всё остальное вторично: если мы это фиксируем, то и эксперимент получится достаточно валидный.

Нахождение ключевых точек в CenterNet

Никто не мешает сделать anchor-based CenterNet. На первом шаге мы находим ключевые точки на хитмапе, находим максимальные отклики и принимаем эту позицию за центр объекта. Дальше по этим координатам х и y мы переходим в тензор, где выполняется регрессия. Берем оттуда значения x,y смещения для каждой ключевой точки. После этого у нас появляются координаты каждой из ключевой точек и по ним мы находим ближайшие keypoint’ы. Еще один дополнительный шаг рассчитывает смещение для каждой ключевой точки на тепловой карте, чтобы компенсировать падение пространственного разрешения.

Вот так работает CenterNet для ключевых точек. Аналогично он действует для предсказания трехмерных баундинг боксов и instant сегментации. CenterNet может решать огромное количество задач со своей простой и понятной архитектурой.

Особенности CenterNet

Если вы тренируете CenterNet, уже через 5-10 эпох вы должны получить хорошее качество, как на графике с примером.

На слайде изображен пример детекционной задачки на COCO. Через 5 эпох качество по COCO метрике aMP достигает 26 aMP, в то время как финальная — 42. И если вы запустите инференс через 5 эпох, вы получите адекватный результат. Многие сети anchor-based не могут этим похвастаться. Такая особенность помогает легко идентифицировать ошибку в коде. Если вы не видите такой картины, когда быстро появляется неплохое качество — скорее всего, в коде есть ошибки.

В дефолтной реализации CenterNet нет регуляризации. Сеть тренируется без этого, веса могут улетать куда угодно в бесконечность, сеть может разваливаться — это нормально в такой конфигурации.

Для тренировок используется Adam, и это достаточно странное решение авторов. Тем не менее, в реальной жизни развалить CenterNet тяжело. Это можно сделать: дойти до конфигурации, в которой произойдет взрыв градиента, и в конечном итоге сеть разойдется, — но достичь этого тяжело.

Если говорить про обобщающую способность, для которой мы используем регуляризацию, в частности в weight decay, дефолтные конфигурации достаточно комфортные — проблем с регуляризацией нет.

Eсли вас это беспокоит, рекомендую перейти с Adam на AdamW. Adam нельзя использовать, потому что у него нетипичная реализация weight decay. Это известная проблема, которую фиксит другой оптимизатор AdamW, который есть во всех фреймворках. Вы можете взять AdamW, добавить weight decay, например, 10-3 и жить спокойно с тем, что веса не улетают. Можно подобрать для AdamW такие параметры, как и при обычном адаме, но так будет гораздо спокойнее.

Как сделать CenterNet лучше

Один из ответов в опросе выше — «Надо использовать CenterNet2». Авторы CenterNet не так давно выложили код для двухстадийной версии детектора. По сути, они взяли Cascade R-CNN, прикрутив к нему CenterNet. Прекрасное решение — сейчас они на 2-ом месте на Papers with code.

Если вам нужна жирная двухстадийная архитектура — CenterNet отлично подойдет для RPN-сети, которая делает пропозалы. Есть еще небольшие нюансы организации Cascade R-CNN, но это типичная двухстадийная архитектура.

Сегодня я расскажу про стандартные техники, которые можно встретить в сегментации в детекшене, которые позволяют улучшить качество.

Мы с коллегами занимались этим для решения задачи детектирования ключевых точек. Обратите внимание на первый столбец с показателями, которые мы улучшали — это и была целевая функция. Мы смогли улучшить качество на 2,3 mAP по ключевым точкам всего лишь замедлив инференс на 2,26 миллисекунды на мобильном телефоне на одном потоке. Пост-процессинг здесь не был распараллелен.

Всего лишь на 2 миллисекунды медленнее, но мы получаем выигрыш в целых 2,3 mAP. Если бы нашей целью было оптимизировать баундинг-боксы, то похожие техники тоже можно было бы использовать. Что же это за техники?

Center rescoring

Так как мы детектировали ключевые точки, для каждого объекта у нас было несколько скоров. Первый скор — это скор от прямоугольника. По хитмапе в центре объекта у нас был скор 0,31 для одежды с короткими рукавами, 0,29 — для одежды с короткими рукавами.

У key-поинтов тоже есть скоры, потому что они тоже расположены на тепловых картах. Мы можем собрать все точки и получить среднее значение. На данной картинке видно, что сеть сделала ошибку для класса, определив её как одежду с короткими рукавами. Так получилось, потому что неудачно расположены ключевые точки. При этом, если key-point’ы расположены удачно, и класс правильный, то всё хорошо определяется.

Если сможем использовать эти два значения с помощью линейной комбинации, то получим лучший результат. Если сеть выдает несколько скоров для одного и того же объекта, давайте их использовать. При этом, параметр ⍺ — это гиперпараметр, немного позже расскажу, как его получить.

Heatmap rescoring с гауссовой функцией

Другой известный подход — использование размытия по карте. В данном случае сеть стала работать на какие-то копейки, но быстрее. С чем же это связано? Почему мы добавили еще одну операцию, но процесс стал быстрее? Если что, в total time  учитывается время постпроцессинга.

Ответ такой: уменьшилось количество вариантов после threshold’а, и у top-k получается меньшее значение.

За счет размытия мы убираем выбросы, в топ-к уменьшается количество кандидатов и построцессинг становится быстрее. Эта простая операция интегрируется и прекрасно работает в любом CenterNet и на любой хитмапе. У нас были разные сигмы, но они зависят от задач: одна подходит для центров, другая — для хитмап по ключевым точкам.

Уточнение локации

Здесь также используется идея Ensemble. Сеть предсказывает CenterNet две локации для ключевых точек: исходную — грубую, полученную с помощью регрессии, и финальную, полученную после уточнения. Нам никто не мешает с помощью линейной комбинации найти оптимальное решение. Это добавляет целый 1 mAP с минимальными затратами.

Объяснение этому следующее: грубая оценка и смещение могут оказаться лучше, чем уточненное по хитмапе. Мы такое наблюдали, и линейная комбинация исправляет ситуацию, когда грубая оценка была лучше.

Рескоринг ключевых точек

Последняя техника связана с особенностью этапа декодирования в CenterNet. Возьмем хитмапу для ключевой точки, сделаем проекцию на какую-нибудь ось, поставим значение, где было срегрессировано примерное положение ключевой точки и отметим все остальные отклики на хитмапе.

Достаточно типичная ситуация, когда есть вот такие выбросы, которые больше дефолтного порога (в CenterNet это 0,1).

Алгоритм декодирования следующий: мы находим ближайшую в некотором радиусе ключевую точку на хитмапе, и она была бы выбрана как правильная, хотя очевидно, что нужно брать другую. Можно добавить перевзвешивание с помощью гауссова ядра, тогда при правильном выборе 𝛔 ключевые точки имеют большой скор, и мы будем выбирать их вместо тех, что были выбросами.

Также нейронная сеть может быть проинтегрирована как отдельный слой. В этом случае мы не будет писать код на осях, это будет ещё один слой в нейронной сети.

Выбор гиперпараметров

Эти техники работают с фиксированными нейросетями, которые не надо перетренировывать. Вам нужно выбрать каждый из параметров каким-то образом, например, сделать перебор. Есть известное решение в виде рэндом-сёрча. В данном примере я покажу, что будет, если мы запустим грид-серч, поиск в нейронетной сетке.

Здесь показаны 4 параметра: сверху параметры из первой техники от 0,7, 0,75 и так далее. По оси Y показаны параметры по технике 3 таким же образом. Каждый квадрат внутри соответствует 𝛔 для техники 2. Напомню, 𝛔 — это значение размытия для центров и хитмапа ключевых точек. Ось х — центр ключевой точки или центр объекта, а по оси y — ключевые точки.

Если мы хотим найти глобальный максимум, он помечен белым крестиком. Остальные крестики были получены на разных дата-сетах. Если вы запустите грид-серч, независимый для каждого параметра, нам не нужно делать декартово произведение. Если вы выберете неплохой дата-сет, то все точки будут близки к глобальному оптимуму.

Это понятно, потому что на каждом квадратике, на каждой из хитмап видно, что качество представляет собой унимодальную функцию с одним максимумом, и этот максимум находится всегда в одной и той же точке. Если для каждого из параметров вы найдете оптимальную точку Z, то получите некоторые значения, близкие к глобальному оптимуму, полный перебор делать не надо.

Есть ещё 3-я особенность — все эти параметры могут быть встроены прямо в нейросеть, и в ней же обучаться. Не нужно их выбирать, нейросеть сделает это сама. Никаких ограничений нет, вы можете сделать это самостоятельно безподборов и параметров — сеть сделает всё сама и всё будет замечательно.

Резюме

Вот вещи, которые я в итоге бы хотел донести:

• CenterNet я вижу как переосмысление того, что было предложено в YOLO. Идеологически они похожи, но интерпретация в CN другая. За счет этого мы можем решать большее количество задач в простом режиме без танцев с бубном с анкорами. Анкоры — это тяжело.
• У CN есть свои особенности: отсутствие weight decay по дефолту. Это не проблема, но стоит иметь в виду. Проще всего сразу перейти на AdamW.
• Есть куча известных техник, позволяющих улучшить нейросеть с минимальными временными затратами и скорости инференса, но с существенным выигрышем. Для продуктовой разработки мы использовали эти решения, и они действительно добавляют качество.

Q&A

Q: Мнение, что CN базировались на YOLO — не авторское?

А: Нет, авторы так не считают. Та интерпретация, которую я назвал, субъективна. Это моё личное мнение на основании того, что я давно изучаю детекционные сети. Авторы CenterNet ни в коем случае не считают свою работу развитием YOLO или чего-либо, они считают его уникальным решением, и я с ними согласен.

СN подарил миру новую интерпретацию того, как могут работать детекционные сети. Проблема YOLO в том, что люди не добили эту идею. Спустя полгода они ушли от изначальной идеи центрнет к anchor-based подходу, как это было в SSD. Это можно отследить по ревизиям статьи. На долгие годы, до 19-20-го, люди жили на anchor-based подходе. Point-based тоже существовали, но были не так популярны.

Q: Какие какие истоки у CenterNet? Неужели они придумали регрессировать шифты?

A: Шифты регрессировать придумали не они. Если открыть оригинальную YOLO, мы увидим, куда попал центр объекта. Из этого центра мы регрессируем смещение x, y и прямую предсказываем w, h — это первая версия YOLO. Говорить, что это изобрел CenterNet у меня не поворачивается язык, потому что YOLO выглядела абсолютно так.

Проблемы YOLO, те места, где споткнулись, возможно даже ошибки в коде они довели до конца. Но сама идея регрессировать смещения и w, h абсолютно не нова. У них получилось написать рабочий код, который сейчас очень популярен и все им пользуются.

Q: Какие библиотеки используете для обучения CenterNet?

A: Сейчас я использую PyTorch 1.7 и оригинальный CN со своими модификациями. В оригинальной версии CenterNet некоторые вещи мне не нравятся. То, чем мы занимаемся в Camerton, мы делаем в CenterNet, и мы его переписали так, как нам удобно.

Q: Какое ПО используете для разметки данных по ключевым точкам?

A: На самом деле, я не занимаюсь этим сейчас. Раньше мы пользовались CVAT для решения этих задач. Для ключевых точек мы не занимались разметкой данных даже когда делали продуктовую часть. Разметкой занималась другая команда, поэтому мне трудно прокомментировать, какой тул для разметки они использовали. Внутри команды мы всегда использовали CVAT. Я считаю, это один из лучших инструментов.

Q: В конце доклада было сказано, что можно занести параметры сглаживания прямо в сеть, попробовать это обучить, и должно стать лучше. При этом в самом начале было сказано, что существует рассинхрон между лоссом и финальной метрикой. Нет ли ощущения, что если добавить параметры и попробовать их обучить, то станет хуже? Кажется, что таким тюнингом вы выправляете рассинхрон лосса и целевой функции.

A: Хороший вопрос. Утверждение, что мы выправляем лосс мне кажется неверной, потому что с самим лоссом проблем нет. Мы можем получить одно и то же мАP с разными значениями loss. Условно говоря, нет большой разницы с фолс-позитивами, есть у них скор 0,85 или 0,88. Есть определенная разница, но можно привести пример, когда этой разницы не будет.

По материалам открытого семинара Алексея Сиднева «Point-based object/keypoint detector CenterNet: Tips and Tricks»‎, который прошел в Xperience.AI.

Почему нам важна пространственная структура белка, какие существуют повторяющиеся паттерны и как нейронные сети могут помочь решить вопросы биоинформатики — эти темы рассмотрим в нашей статье.

На картинке мы видим белок, который тащит за собой что-то, похожее на коронавирус, но это, конечно, не он. Белок шагает по другой структуре при помощи «ног». Нужно понимать, что это не фотография и не реальное видео, а просто визуализация – сфотографировать белок мы пока не можем. Белки – самые маленькие структуры, которые нам известны, однако при этом они занимаются очень многим: они умеют ходить, цепляться за другие структуры, находить какие-то специальные объекты, например, вирусы в нашем организме.

Вообще белки выполняют самые разные функции – они являются очень важной частью иммунной системы, и, по сути, представляют собой антитела. Большое количество белков содержатся в слюне, они помогают нам с пищеварением и делят глюкозу и другие длинные органические молекулы на кусочки, чтобы их было проще переваривать. Белки составляют молекулы гемоглобина – у нас есть гемоглобиновые клетки, которые переносят кислород в крови, и внутри этих клеток как раз содержится очень много белка гемоглобина. Таким образом, гемоглобин устроен специально так, чтобы он мог переносить на себе большое количество кислорода, поэтому обеспечение клеток кислородом осуществляется именно при помощи белков.

Нам известно около 200 миллионов белков, на нашей планете они составляют основу жизни. Вся жизнь на Земле имеет белковую структуру, даже вирусы, и пусть вирусы не называют жизнью, они все равно в некотором смысле живые.

Пространственная структура белка

То, как этот белок шагает, вызвано исключительно его химической и физической структурой. Его вращения вызываются химической реакцией, но также на его передвижение воздействуют силы на уровне атомов.

Почему же нам так важна пространственная структура? Потому что именно она в большой степени определяет функциональность белка. Если мы хотим понять, как именно гемоглобин переносит на себе кислород, то, по сути, нам нужно узнать, каким образом он сворачивается в трехмерном пространстве так, что в него хорошо упаковывается кислород. Здесь вы видите, что у белка есть специальные клешни, которые взаимодействуют с круглой структурой сверху, а у нее, в свою очередь, есть белки на поверхности, которые «цепляются» за держатель.

О пространственной структуре белков узнать что-либо очень сложно, так как мы еще не можем смотреть на такие маленькие размерности. Например, чтобы придумать лекарство, мы должны рассматривать химические структуры на размерности 0,3 ангстрема, ангстрем – 10 -10 метра.

Casp и нейронные сети

Сегодня будем фокусироваться на последних достижениях компании Alphabet от Google и её лондонского подразделения DeepMind. В 2018 и 2020 году на соревнованиях Casp они побили рекорды других алгоритмов, основанных на нейронных сетях.

На рисунке вы видите результаты этого соревнования – вертикаль показывает качество алгоритма. Видно, что Alphafold 2020 обладает качеством выше 80, хотя все предыдущие алгоритмы не получали значения выше 40. То есть, достижение 2020 года для науки просто огромно. Об этом говорилось во множестве научных журналов, таких как Nature, Science, об этом писали и в популярных журналах, типа Forbes или Fortune – настолько все были потрясены новостью.

Структура белков

На рисунке вы видите два белка, их названия и функциональность нам не так важны, как пространственная структура. Есть несколько способов ее отображения. Здесь представлен «ленточный» способ – так мы лучше видим, какие поверхности образуются в белках во время сворачивания. На рисунках использованы два цвета, синим обозначено то, что предсказывает алгоритм. Стоит отметить, что это не абсолютная биологическая истина, а всего лишь попытка к ней приблизиться.

Синие поверхности очень хорошо отражают зеленые – при этом, между ними все-таки есть расстояние, на рисунке это заметно. Также можно заметить, что у структур есть некие повторяющиеся паттерны:

1. Спиралька, или alpha helix.
2. Параллельные друг другу ленты, или beta sheet.
   

Как образуются белки

В нашем организме протеины образуются из аминокислот – прикрепление аминокислот к друг другу происходит путем отбрасывания наконечника аминокислоты. Протеины же выглядят как цепочка – они не обладают разветвлениями.

Как только цепочки образуются, то сразу начинают сворачиваться, так как в них действует большое количество химических сил. Они сворачиваются в alpha helix или beta sheet, так как не могут противостоять внутриатомным и внутримолекулярным воздействиям. После этого они начинают сворачиваться в более сложные структуры, которые называются структурами третьего порядка. Не все белки третьего порядка имеют какую-то одинаковую структуру: они могут быть плотными и растянутыми, но от плотности зависит их функциональность. Плотные структуры могут что-то держать или проникать в другие виды структур.

ДНК и РНК

Все начинается с ДНК, которая хранится в ядре клетки. Люди – эукариотические существа, это значит, что наша ДНК хранится внутри плотной оболочки, то есть ядра. Это важно, так как ДНК выступает в роли банка, где хранится то, что должно оставаться защищенным от любых воздействий, в особенности, от вирусов. Все, что присутствует в нашем организме образуется путем чтения ДНК и генерации белков по тому, что было прочитано.

Но так было не всегда: считается, что жизнь началась не с ДНК, а с РНК, и первый миллиард лет существования жизни на земле был этап применения РНК, то есть все одноклеточные существа строились на рибонуклеиновой кислоте.

РНК отличается от ДНК тем, что в ней вместо двух последовательностей записана только одна. РНК строится почти на тех же компонентах, что и ДНК, за одним исключением – ДНК состоит из четырех букв или четырех базовых элементов: тимин, цитозин, аденин и гуанин. Они связаны друг с другом и кроме того, связаны попарно – тимин, например, может соединяться только с аденином, а цитозин с гуанином. В РНК они не могут соединяться попарно, да и вообще прикрепляться друг к другу, кроме того, вместо тимина в РНК присутствует урацил.

В мире до ДНК существовала одна проблема – как только внутри РНК происходили какие-то изменения, например, в цепочку включался вирус и заменял последовательность или в результате мутации в структуре что-то ломалось, то первоначальный вариант становился уже недоступен, так как существовала только одна копия. Абсолютное большинство мутаций – вредные, так что защищать информационную безопасность организма - это важная задача, именно поэтому самые прогрессивные организмы после первого миллиарда существования перешли на использование ДНК.

ДНК и РНК очень тесно связаны.

На картинке вы видите транскрипцию ДНК в РНК. ДНК хранится только в ядре – это самое защищенное место в клетке, так как в ядро может попасть только определенное количество допущенных туда элементов типа РНК-полимеразы. РНК-полимеразы разделяют две части ДНК, берут одну часть и транслируют ее в РНК, пользуясь тем фактом, что цепочки ДНК попарны. Тимин объединяется с аденином, а аденин с урацилом, цитозин с гуанином, а гуанин с цитозином, то есть ДНК напрямую транслируется в РНК. Трансляций в день происходит большое количество, и они могут происходить неправильно. Но каждая «неправильность» будет непохожа на другую – таким образом, получится случайная мутация, что в целом, безопасно для нашего организма, так как наша иммунная система отлично борется с такими проблемами.

РНК делится на комеры или тримеры. Каждые три последовательные буквы в РНК соответствуют определенной аминокислоте.

Как же из РНК получаются белки?

Есть другой тип полимеразы, который крепится снаружи ядра к РНК и по три буквы транслирует один алфавит, состоящий из четырех букв в другой алфавит, состоящий из двадцати букв. На рисунке представлены аминокислоты, на которых построена вся жизнь, которую мы знаем, и их химические формулы. Это достаточно простые конструкции, и кроме того, очень похожие – у всех присутствует ОН окончание, а в середине есть перемычка, которую мы потом будем использовать как точку отсчета для того, чтобы высчитывать трехмерную структуру белков. Все аминокислоты могут объединяться друг с другом.

Q: Что означает звездочка внизу?

А: Это стоп-кодон, который означает начало или конец последовательности. Например, у бактерии кишечной палочки, как и у всех бактерий, геномная последовательность записана кольцевым способом, поэтому важно понимать, где начало, где конец.

Итого: у нас есть два четырехбуквенных алфавита – ДНКовый и РНКовый – и один двадцатибуквенный, из которого состоят белки. Белки бывают разной длины. На рисунке ниже вы видите гистограммы распределения белков в нашем организме:

Как видите, большая часть белков содержит в себе около 200-300 аминокислот. Каждая аминокислота – это химическая молекула, сложная химическая конструкция и наших вычислительных способностей, чтобы её рассчитать, пока не хватает. Эта трехмерная структура обладает несколькими свойствами – она начинает появляться тогда, когда мы начинаем транслировать РНК в белковую последовательность.

Есть два основных момента, о которых нужно помнить – это притяжение и отталкивание, которые объясняют то, какая в итоге получается структура. Процесс сворачивания белка обычно занимает миллисекунды, но бывают и исключения – микросекунды или даже дни.

Структура на картинке ниже обладает минимумом с точки зрения энтропии. Молекула сворачивается из-за того, что на неё действуют силы притяжения и отталкивания, и потому что ей нужно минимизировать ту энергию, которую она в себе несёт. Пространство, которое вы видите на рисунке справа, описывает энтропию этой конкретной молекулы белка. Казалось бы, можно просто посчитать минимальную энтропию и дело с концом. Но есть так называемый парадокс Левенталя, который посчитал возможное количество возможных сворачиваний каждой белковой молекулы. У него получилось цифра 10143 , что очень сильно превосходит количество атомов во вселенной, и, соответственно, у нас просто не хватит времени жизни, чтобы произвести такие расчеты.

Здесь вы видите практически то же самое: не свернутая молекула обладает огромной энтропией и не может долго оставаться в таком виде, поэтому внутри себя она переходит в нативный state, где остается очень долгое время.

Существует один или пять процентов белков, которые не могут так просто переходить в нативный state. Известно, что на нативный state влияет внешняя среда, а именно температура, раствор, соседи и другие факторы.

Рентгеновская кристаллография

Задачу по структуре белка решают уже 60 лет с помощью самых разных способов, один из которых называется рентгеновская кристаллография.

Метод заключается в том, что вокруг какой-либо наживки наращивается кристаллическая структура того белка, про который мы хотим что-то узнать. После того, как кристалл вырастает до определенных размеров, мы светим на него в разных проекциях, рассматриваем получившийся паттерн и пытаемся подобрать такую пространственную структуру, которая объяснила бы паттерны в тех нескольких проекциях, которые мы видим. У нас получается некая модель, которую мы снова накладываем на паттерн – таким образом мы выводим какие-то данные. Точность метода относят к 95 процентам.

За 60 лет рентгеновской кристаллографией и другими методами экспериментального характера была посчитана пространственная структура 170.000 белков из 200.000.000 известных на земле. Эксперименты долгие, сложные и дорогие, поэтому в качестве объектов выбирались самые важные в биологическом смысле белки – те, которые находятся в теле человека, и белки из модельных организмов типа кишечной палочки.

Вычислительные методы

Как только появилась биоинформатика, люди стали пытаться решить эти задачи вычислительным путем, применяя различные алгоритмы.

Есть организация под названием Folding Net Home, которая представляет собой распределенные вычисления. Можно зайти к ним на сайт, скачать определенное программное обеспечение, которое будет рассчитывать на вашем компьютере трехмерную структуру белков. Сеть действует вот уже 20 лет, с начала нашего века. В апреле 2020 года к сети было подключено огромное число новых машин, чтобы понять принцип работы белка нового коронавируса, а именно того спайка, который протыкает мембрану наших клеток.

Именно тогда распределенная сеть совершила большой скачок мощности и обошла все имевшиеся на тот момент суперкомпьютеры.

Алгоритмы, которыми Folding Net Home считает структуру белков, построен на марковских сетях, и его основная задача – предсказать трехмерную структуру молекул. Точность этого алгоритма по сравнению с современными методами не очень высока, поэтому скорее всего, сеть поменяет зону своей применимости на другие вычислительные задачи.

Q: Получается, Folding Net Home – это опен-сорсное решение, и к ней  может получить доступ каждый?

А: Я не смотрела точно специфику, но знаю, что это точно не коммерческое решение. И Alphafold тоже сейчас открытый.

Q: Зачем нам вообще знать трехмерную структуру белка?

А: Она дает нам понимание того, как, собственно, работает белок. То есть, к чему он умеет прикрепляться, что он умеет на себе носить или что расщепляет. Это необходимо для изобретения новых лекарств. То есть вместо того, чтобы случайным образом найти то, что сработает в качестве лекарства, мы можем все рассчитать заранее. Берем коронавирус, он состоит из нескольких белков на его поверхности, находим что-то, что хорошо умеет к нему прикрепляться и легко выводится из организма, и таким образом получаем идеальное лекарство. Сейчас, кроме лекарств, с помощью Alphafold находят белки, которые хорошо умеют расщеплять пластик. И можно, зная пластик, сконструировать несуществующий пока белок, который обладал бы такой пространственной структурой, чтобы его можно было бы разложить. Этими исследованиями занимаются уже давно, но активное развитие они получили в 2021 году.

Q: Вы говорили, что сворачивание зависит от окружающей среды. Сейчас человечество активно осваивает космос, где нас ждут совершенно другие условия. Как это будет влиять на изучение белков в дальнейшем?

А: Скорее всего, повлияет очень сильно, но пока трудно проводить такие масштабные исследования. Мы даже не знаем, какой процент молекул может менять свой нативный state, исходя из окружающей среды. Кроме того, все alpha helix, которые есть на нашей планете закручены в правую сторону, и совершенно нет тех, что были бы закручены влево. Возможно, что на какой-то планете будет наоборот.

Alphafold и Casp

Casp поделен на простые, средние и сложные кейсы, большая часть из которых получена с помощью рентгеновской кристаллографии, небольшая часть – поляризованным светом или раствором. Соревнование Casp проводится каждые два года.

Вспомним, что у каждой аминокислоты есть условный центр, который называется бета-углерод или альфа-углерод.

Также есть несколько вариантов кодирования – первый, самый очевидный, это координация в трехмерном пространстве. У него есть минусы, так как мы можем переворачивать свернутый белок бесконечное число раз и при этом получать разные результаты. Можно пользоваться парными комбинациями между буквами и последовательностью углов между ними. Здесь тоже есть проблема, так как последовательность углов сама по себе неустойчива – небольшое изменение угла влечет за собой и изменение трехмерного белка.

Q: Мы предсказываем расстояние для каждой точки?

А: Для каждого центрального атома углерода в аминокислоте.

Данные на вход

Очевидно, что на вход нужно положить буквенную последовательность аминокислот. Если длина последовательности аминокислот – 200, то размер таблички будет 200 на 20, и в каждой из 200 колонок будут нули кроме 1. Последовательность передается сразу целиком.

Несмотря на то, что в нашем мире существует огромное количество живых организмов, все они устроены очень похоже, и их белки практически одинаковы. Поэтому если мы посчитали структуру для какого-то млекопитающего, то эти данные тоже можно положить на вход. Также на вход цепляют так называемые шаблоны – белки, похожие на входной, с уже известной структурой.

Белки постоянно мутируют. Чаще всего выживают организмы, где мутации не слишком повлияли на жизнеспособность. Есть кусочки белка, которые всегда остаются неизменными, поэтому эти эволюционные моменты также могут подсказать нам структуру белка.

Также стоит задуматься о коэволюции: если в важных местах что-то все-таки мутирует, то обычно оно мутирует попарно.

Вся таблица, представленная выше, называется MSA и тоже подается на вход.

У нас есть входной протеин, в нем 21 буква и наша таблица, а также шаблоны похожих белков. Каждая штука специально клипается, в этом заключается её обработка. Здесь получаем квадрат 256 на 256.

Итого у нас получилось 6 массивов. Мы подаем их на вход в AlphaFold.

Первое, что пытаемся сделать – подсчитать имбединги для MSA и записать попарные взаимодействия внутри белка.

Следующее подается на вход в Eva Former, это трансформер.

Получившееся мы подаем в структурный модуль: еще один модуль нейронной сети, который позволяет ему на нескольких стадиях читать лоссы. Сперва мы получаем какое-то грубое представление про гистограмму и про углы, затем мы рефайним их и считаем лоссы, в итоге получаем трехмерные координаты всех атомов.

Q&A

Q: Какая метрика у самих лоссов?

А: Лосс регрессионный, но построено все так, чтобы он был инвариантен по отношению к системе координат.

Стоит сказать, что AlphaFold применяется итеративно.

Для всех протеинов длиной 1400 применяется инференс на одной GPU.

Команда AlphaFold уделила большое внимание спайку коронавируса, что помогло появлению новых лекарств.

Q: Какого порядка должны быть условия изучения, чтобы исследование лекарств считалось безопасным?

А: Для того, чтобы делать лекарства нужно знать структуру белка с точностью до 0.3 ангстрема. Alphafold предсказывает больше половины предложенных белков.

Q: То есть мы просто должны выучить еще большую модель, которая будет предсказывать данные независимо от домена?

А: Скорее всего, зависимость от домена все же будет, но цель именно в том, чтобы можно было заинферить какой-нибудь белок, даже придуманный тобой, и посмотреть, как он будет выглядеть в пространстве.

Q: Не получается ли, что вопрос качества еще открыт, так как методы все же не точны?

А: Я так понимаю, что самый классный способ избавиться от bias – это прогнать один и тот же белок через несколько разных экспериментальных способов получения пространственной структуры и сравнить с тем, что делает Alpha Fold. Это как раз и делали для белка ковида и получилось весьма неплохо, однако есть куда расти.

Q: А имбединг как-то пытались проанализировать? Обычно же сравнивают со словами-синонимами и по семантике?

А: Думаю, что если кто-то это и делал, то сейчас к полученным результатам у нас нет доступа, но мне кажется, что статьи появятся достаточно скоро.

По материалам открытого семинара Анны Петровичевой «Нейронные сети для распознавания пространственной структуры белков»‎, который прошел в Xperience.AI.

Важная практическая задача — реконструировать форму и текстуру трехмерного объекта по изображениям. Такая задача используется:

• в производстве — роботам, которые работают с трехмерными объектами, надо знать, где находятся части их корпуса в пространстве;
• в киноиндустрии;
• в обеспечении безопасности (например, блокировка телефона);
• в очках виртуальной реальности, где очкам нужно учитывать ваше положение;
• в автомобилях.

Классические методы реконструкции 3D раскрываются в книге «Multiple View Geometry in Computer Vision». Она сложная для понимания, но целиком охватывает тему:

Для того, чтобы понимать, как по изображениям восстановить трехмерный мир, сперва нужно определиться с тем, как трехмерный мир проектируется на изображение.

Принцип работы Pinhole camera

Стандартная модель, которая используется для таких целей, называется Pinhole camera или Camera obscura. Она работает по следующему принципу: каждому пикселю на изображении соответствует ровно один луч в трехмерном пространстве, соединяющий пиксель с маленькой дырочкой, которая называется апертура. Выбранная трехмерная точка может лежать только на этом луче и нигде больше. Этот принцип очень удобен, так как если у нас есть две камеры, и мы знаем взаимное расположение этих камер, то мы можем искать по ним трехмерные точки.

Очевидно, что принцип работает только для маленьких апертур, но не для больших: если наш объект находится не в фокусе, то трехмерная точка линзой с конечной апертурой соберется не в точку, а в некое пятно. Изображение получится размытым, что соответствует такой категории, как глубина резкости.

Большинство камер, с которыми мы работаем, хорошо удовлетворяют приближение к Pinhole camera, но в кино и при спортивных соревнованиях, где используются камеры с большими апертурами, принцип работы немного другой.

Система преобразований в Pinhole camera

Дальше мы будем говорить именно о Pinhole camera. В ней систему преобразований от трехмерной точки к пикселю можно описать следующим образом – для начала возьмем точку в трехмерном пространстве с координатами X0, Y0, Z0 (в мировой системе отсчета). Камера и мировая система координат связаны между собой через поворот и трансляцию, и любую трехмерную точку перевести в систему координат можно умножением на ортогональную матрицу, которая описывает оборот, и прибавлением вектора трансляций. Получаются координаты X, Y, Z, после получения которых подобными треугольниками легко можно вычислить координаты x’ , y’ уже в плоскости изображения. Для того, чтобы перевести их в координаты пикселей надо умножить координаты на fx, fy и прибавить x, y. fx, fy подразумевают под собой фокусное расстояние; отношение между ними задается сторонами одного пикселя, а cx и cy – это координаты пикселя, через которые проходит оптическая ось. Эти четыре числа называются внутренними параметрами камеры.

Свойства проекции в Pinhole camera:

• прямые линии в трехмерном пространстве проецируются в прямые линии на изображении;
• параллельные линии в трехмерном пространстве проектируются в пересекающие линии, словно рельсы, которые пересекаются на границах.

Проективная геометрия

До возникновения компьютерного зрения задачи, которыми сейчас занимается Pinhole camera, решались областью проективной геометрии. Изучая эту научную сферу, мы получили множество важных наблюдений и открытий, причем довольно давно:

1. Если у нас есть изображение одного и того же плоского объекта с двух разных точек зрения, то эти изображения связаны друг с другом через преобразования демографии, у которого всего восемь параметров.
2. Задача калибрации камеры – была решена в 2000 годах с помощью принципа шахматной доски.
3. Задача PnP. Предположим, у нас есть известный объект, который должен взять робот на фабрике. Мы заранее отсканировали трехмерную форму и текстуру объекта, поэтому мы легко можем найти изображение пикселей текстуры и сопоставить трехмерные координаты. Задача состоит в том, чтобы понять, как найти положение этого объекта в системе координат, связанной с камерой. То есть, из мировой системы координат, где нам известны трехмерные положения точек (обычная система координат, связанная с объектом или со сканером, который снимал объект), мы хотим перейти в систему координат, связанную с камерой, чтобы точно знать, где находится сетка этого объекта в нашей камере. Эта задача также считается решенной; интересно то, что её решали больше 170 лет. Первые решения были опубликованы ещё в 1841 году, когда было доказано, что если между тремя точками на плоскости и в пространстве есть соответствие, то множество решений конечно, но не равно единице. Последний статьи на эту тему 2006-2011 года – это методы, которые находят PnP в явном виде, без оптимизации и без итеративных алгоритмов.

1. Если у нас есть две камеры, которые смотрят на одну и ту же трехмерную точку, и мы знаем проекцию этой точки на одном из двух изображений, но не знаем трехмерные координаты этой точки, то тогда на второй камере эта трехмерная точка может находиться на прямой линии, которая получается проектированием этого луча на вторую камеру. Соотношение между координатами двух пикселей, которым соответствует одна и та же трехмерная точка, задается следующим образом: u, v и u’, v’ – это координаты пикселей на левом и правом изображении, соответственно, F – это матрица 3×3, также известная как фундаментальная матрица. Если мы зафиксировали u’, v’, то получаем уравнение прямой линии относительно u, v. Фундаментальная матрица не зависит от трехмерной сцены, а зависит исключительно от расположения камер и их внутренних параметров.

1. Фундаментальную матрицу можно выразить через матрицу проекции двух камер или, если нам известно их взаимное расположение, поворот и трансляция, то фундаментальная матрица зависит от них и от матриц внутренних параметров К и К”. Квадратные скобки и крест – это оператор, означающий векторное умножение на вектор Т. Если нам известна фундаментальная матрица, которую мы можем найти по изображениям, используя соотношение между пикселями, то по ней мы можем восстанавливать взаимное расположение камер.

Если мы знаем взаимное расположение камер и соответствие между пикселями, то мы можем сделать триангуляцию и, таким образом, получить стереозрение.

Стереозрение

Стереозрение – это широкая область, которая позволяет довольно точно восстанавливать положение трехмерных и текстурных объектов. Кроме быстрых алгоритмов в этой области есть и медленные, которые дают большую гладкость и корректность по границам – например, алгоритм Hirschmüller’а 2005 года. Также есть множество алгоритмов, которые основаны на глубоком обучении.

Проблемы, связанные со стереозрением, обычно состоят в том, что однородные области плохо подвергаются обработке, потому что, во-первых, внутри них не так просто найти соответствие, а во-вторых, если мы работаем с дешевыми камерами, то их сигнал снимается в разные моменты времени – в результате чего мы получаем некорректную сцену, если снимаем быстрое движение. То есть на двух камерах мы получим разные картинки.  Поэтому для машинного зрения на фабриках используют global shutter – более дорогие камеры, которые снимают картинку в один и тот же момент по внешнему сигналу.

Точно по такому же принципу работает Face ID, только у него вместо одной из двух стереокамер используется инфракрасный прожектор. Таким образом, решается задача с однородными областями: мы как бы делаем их принудительно неоднородными.

Теорема о проективной реконструкции

Даже если взаимное расположение между камерами неизвестно, то мы по-прежнему можем найти соответствие между пикселями и фундаментальную матрицу. Есть теорема о проективной реконструкции, которая утверждает, что если нам неизвестны внутренние параметры камер, то реконструкция становится возможной только в точности до гомографии в P3. Гомография в P3 – это преобразование в R3, которое превращает куб в произвольный шестигранник. Плоскости остаются плоскостями, но параллельные плоскости уже могут быть непараллельными и так далее. Два решения, которые равны друг другу в точности до преобразования в P3, будут давать абсолютно одинаковые фундаментальные матрицы. Если мы знаем что-то про сцену, например, три системы параллельных линий в трехмерном пространстве, как на картинке выше, то мы можем убрать некоторое количество параметров и свести к реконструкции, когда параллельные линии в трехмерном пространстве будут параллельными. Поэтому, например, восстановить видео с Ютуба будет сложной задачей, но если по расположениям двух камер мы сможем восстановить систему с точностью до масштаба, то дальше мы можем попытаться восстановить все сцену.

SLAM

Один из примеров такого восстановления – SLAM, когда берут множество туристических изображений и по ним восстанавливают большую трехмерную сцену.

Давайте посмотрим поближе, как они это делают.

Идея любого SLAM довольно проста – мы берем два изображения, находим пиксельные соответствия внутри них и фундаментальную матрицу. Так как внутренние параметры камеры нам известны, то мы можем восстановить позу одной камеры относительно другой; после этого мы применяем триангуляцию и получаем трехмерные точки – те, для которых мы нашли соответствия.

Затем мы берем еще одно изображение, которое пересекается с первыми двумя, и ищем для него позу по соответствиям первых двух: поскольку у нас уже есть трехмерные точки, мы можем запустить PnP и найти позу. Как только мы находим её, то для тех точек, которые присутствуют на третьей и второй камере, но не присутствуют на первой (поэтому мы не знаем их трехмерные координаты), мы можем сделать триангуляцию, то есть, найти трехмерные координаты для новых точек.

Последний шаг в этой последовательности оптимизирует положение камер и точек – если у вас есть большое количество точек на сцене и небольшое количество положений камер, то вы можете использовать так называемый Schur complement trick, когда весь этот шаг сводиться к задаче с матрицами и решение этой задачи просто делится на камеры и трехмерные точки.

Вышеперечисленные ресурсы решают задачу восстановления трехмерной структуры по набору изображений. Решение требует определенных навыков в запуске, но, тем не менее, считается одним из лучших.

Аналогичные методы используются для фотогаллометрии, когда мы снимаем какой-то объект многими камерами и дальше помещаем этот объект в кино. Если у нас есть какие-то поляризационные фильтры, то также мы можем получить нужные нам поверхности.

Новые методы

Теперь давайте поговорим о новых методах, которые используют априорную информацию, например, класс объекта. Фактически, для того чтобы использовать какие-то методы машинного обучения для задач восстановления 3D, нам надо каким-то образом представлять трехмерную модель, потому что стандартные co-evolution networks работают с изображением и с абстрактными векторами. Есть несколько способов представления трехмерных изображений и помещения их в нейронные сети:

• Параметрические модели.
• Point-cloud.
• Поверхности с одной и той же топологией.
• Методы, основанные на вокселях, включая иерархические.
• Непрерывные представления.
• Neural Radiance Fields.

Параметрические модели

Начнем с параметрических моделей – выше представлена одна из работ, которая была сделана до того, как нейронные сети завоевали себе место в технологии компьютерного зрения. Исследователи брали сканы множества лиц, приводили их к единой системе координат и делали одну и ту же топологию. Далее они описывали текстуру и форму следующими формулами:

В этом случае можно делать отдельные коэффициенты, которые отвечают за личность человека и за выражение его лица. То есть модель позволяет коэффициентам добавлять веса и менять идентичность: например, если мы увеличиваем коэффициент таким образом, что модель отдаляется от средней модели, то получаем карикатуру – все черты лица подчеркивают отличие от средней модели.

Дальше было написано достаточно много работ, связанных с Morphable model для лиц, когда появились автоматические лэндмарки на лице, и соответственно, появилась возможность лучше строить соотношения между сканами и возможность предсказывать эти параметры.

Здесь использовали ту же самую модель, единственное её отличие в том, что её тренировали на очень большом количестве лиц. Для каждой фотографии в этом исследовании получали трехмерную модель лица и на этом соотношении тренировали новую сеть. Они заметили, что при предсказании всех коэффициентов система часто тяготеет к среднему: это объясняется тем, что около начала координат больше точек; из-за этого теряется идентичность человека. Чтобы бороться с этим, они использовали следующую ассиметричную функцию:

В результате получался некий упрощенный набор параметров плюс положение лица, и для каждого параметра меняли коэффициенты, чтобы вычислить ошибку. В результате лица (а) описывали норму, а (с) получались асимметричными.

Непараметрические методы

Переходя к непараметрическим методам, мы начнем с баз данных, которые используются для их тренировки. Самые известные – это набор объектов Икеа (Ikea dataset), Pix3D и ShapeNet. В Pix3D использовали набор предметов Икеа и их изображения, получилось следующее:

Затем они размечали полученные объекты и запускали PnP, затем находили позы, регистрировали объекты и выбирали лучшие.

ShapeNet

ShapeNet – это набор 3D моделей, создан на основе двух источников: Trimble3DWarehouse и Yobi3D. Есть несколько статей, которые восстанавливают изображения по ShapeNet, первая из них – это MarrNet. Идея состоит в том, что в изображениях есть освещение, силуэт, глубина и прочие свойства 3D, которые можно использовать для тренировки:

После того, как сеть натренировали на объекты, предсказывают функцию потерь: например, если у нас был предсказан воксель, то перед ним, на передней линии камеры, не должно быть ничего, то есть, все остальные воксели должны быть пустыми. И дальше вторую часть дотренировывают исключительно с помощью функции потерь.

Есть класс работ, которые используют для описания объекта трехмерные точки – нейронная сеть предсказывает вектор координат этих точек. В этом случае функция потерь – это любая дистанция, которая определена между двумя множествами неупорядоченных точек.

Также в работах подобного типа используется представление о поверхности через индикаторную функцию – оно называется неявным представлением, когда мы определяем функцию от трехмерной точки p:

Не стоит забывать и о методе дифференцируемого рендеринга – когда мы заявляем, что параметры сцены – это сетка, текстура и всё, что связано с освещением – и пытаемся построить такую модель рендеринга, которая была бы связана с изображением. Дальше мы считаем производные, чтобы понять, как считывать изображение.

В последнее время фурор в сфере производит набор методов Neural Radiance Fields. Суть состоит в том, что мы представляем трехмерную поверхность с помощью описания формы и radiance. То есть мы задаем не просто текстуру, а свет, который отражается от этой точки в определенном направлении, таким образом, учитывая тип поверхности. Используя такую модель, мы пытаемся тренировать ее по изображениям. Для представления формы поверхности используется модель, которая называется «объемная плотность», которая предсказывает вероятность того, что луч оборвется именно в этой точке: если 1 – значит, есть объект, если 0 – значит, пустое пространство. Таким образом, мы можем считать цвет конкретного пикселя, зная внутренние параметры камеры, выпуская луч и считая интеграл, который зависит от объемной плотности вдоль этого луча и от цвета в radiance модели в каждой из этих точек:

Этому можно обучать по изображениям без использования трехмерных структур.

Для того, чтобы получать более качественную модель, вместо того чтобы брать три координаты, применяется Positional encoding, когда к каждой координате применяется следующее преобразование:

Этот метода аналогичен тому, который используется в трансформерах.

Q&A:

Q: Недавно появился Object capture от Apple. В нем используется COLMAP, то есть какой-то классический способ?

А: Мы тестировали его и пришли к выводу, что это классическая фотогаллометрия. Результаты очень похожие.

Q: Как можно использовать NERF?

А: Сейчас такие стартапы пытаются сделать аналог 360 view, например, где на веб-сайте вы получаете объект, который можно покрутить. У меня есть вопросы к самой модели, потому что эта задача решается разными способами, например, через 360 фото. Я знаю, что один из стартапов решал задачу более классическим способом – по набору изображений синтезировал промежуточные модели. Лично мне NERF интересен тем, что это первая модель, которая позволяет строить модели без 3D. То есть вы можете сделать объект по набору изображений. В итоге получается более детализированная и информативная модель, которая учитывает спекулярные поверхности, в то время как COLMAP думает, что все поверхности диффузные и имеют цвет.

Q: Что полезного можно делать с помощью пользовательских камер, например, камеры телефона?

А: Внешняя камера телефона работает как фотогаллометрия – она недостаточно мощная, чтобы с её помощью сканировать объекты. Face ID, которая смотрит на пользователя вполне способна сканировать лицо, и её используют именно для этого.

Q: А не лучше ли качество LIDAR сенсоров, например?

А: Те, что предназначены для телефонов, конечно, несравнимы – в наших тестах у них было больше пропущенных точек, чем найденных, особенно на темных материалах. Также возникали проблемы с их сканированием. Мощные намного лучше, чем structured light, например, LIDAR на автомобилях могут работать и на десятки и на сотни метров, а на самолетах еще лучше.

По материалам открытого семинара Виктора Ерухимова «От COLMAP к NERF: обзор методов трехмерной реконструкции объектов по изображениям»‎, который прошел в Xperience.AI.

PyTorch Lightning – это обертка PyTorch, которая призвана сделать нашу жизнь проще, а также у нее есть несколько интересных фич, о которых еще пойдет речь.

Установить его несложно: сперва нужно установить Torch, потом мы ставим под него Lightning. У нас PyTorch Lightning совместим с версией Torch 1.1 - 1.5.

Что такое PyTorch Lightning?

Это такой фреймворк, который существует над PyTorch, и помогает структурировать обычный код Torch, отделив так называемый scientific код от инженерного. Что имеется в виду: инженерный код – это все, что относится, предположим, к train loop, считыванию данных, логированию и так далее. А scientific относится непосредственно к оптимизации, сеткам и все в таком духе. Сами авторы Lightning утверждают, что это не совсем фреймворк, а больше обертка со стайлгайдом. Легче всего посмотреть на примере: он взят со странички Lightning. Пробежимся по обычному PyTorch. У нас есть обычная сетка, в ней есть init и forward; потом мы детализируем дата-сет и data loader, делаем optimizer и scheduler, затем у нас начинается кусочек с train loop. Там высчитывается loss, batch, epoch и прочее. В конце еще и логирование есть.

В чем прелесть Lightning? Теперь у нас есть один-единственный класс, который наследуется от Lightning-модуля, и если раньше это был просто модуль сетки, то теперь он будет находиться в одном классе. Также без изменений переходит сеточка, init, forward и кусочек с data loader. У нас есть train data loader, значит Lightning рассчитывает на то, что мы ему в качестве return будем выдавать сам data loader. Есть кусочек про optimizer и также scheduler. В return предполагается, что мы через запятую эти кусочки перечислим, на первом месте optimizer, на втором scheduler. Также у нас есть training step – это аналог одной итерации их тренировки, где показано, как это вообще нужно делать, то есть, пропускать через key loss. И на базе Lightning нам передается изначально batch и индекс. В нем мы учитываем наши данные, делаем forward сетки и рассчитываем loss. В training step обязательно нужно делать return такого dictionary, в котором под ключиком loss у нас лежит значение нашего loss.

Это все касалось scientific части кода, теперь перейдем к инженерной части, в частности, к train loop. Lightning полностью избавляет нас от использования train loop, с помощью того, что у нас объявляется trainer. fit. Это и есть аналог train loop; в нем можно задавать различные параметры, по типу количества epoch, которые нужно тренировать и так далее.

Дальше я буду основываться уже не на этом маленьком проекте, а на своей курсовой работе, куда Lightning лег просто идеально, потому что у меня получилось написать полностью рабочий пайплайн и хватило двух часов, чтобы первая тренировка полностью запустилась.

Начнем с дата-сета (все функции, о которых я сейчас буду говорить, относятся к сlass от Lightning-модуля). У нас есть какие-то аугументации, которые мы хотим использовать для training, для validation, и мы хотим это сохранить, а Lightning предполагает, что дата-сет мы будем хранить в train, то есть в его местном поле trainset и valset.

Теперь, чтобы сделать из этого data loader, мы объявляем train data loader и обычный data loader Torch – и его возвращаем. То же самое делаем для валидации, единственное отличие в том, что здесь мы подаем тренировочный сет, а в другом – валидационный.

В конфиге optimizer идея одна и та же: у нас есть optimizer, мы объявляем его; потом объявляем scheduler и возвращаем. Если вы хотите использовать два optimizer и несколько scheduler, то вы пишете optimizer 1, optimizer 2 в первом листе, а потом задаете наличие scheduler. Помните, что порядок должен сохраняться: в одном листе идут все optimizer, в другом – все scheduler.

В training step (как я говорил, это то же самое, что итерация) у нас есть batch, есть его индекс, в моем случае, этот кусочек отвечает за форвард; рассчитываем loss, высчитываем высшую метрику. Также у нас есть внутренний логгер в Lightning. Если мы хотим каким-то образом модифицировать эту штуку, то можно объявить какую-то переменную, – в моем случае это progressbar, – и говорим, что мы хотим ее записать. Я хочу, чтобы в моем логгере высвечивалась accuracy. И мы говорим, чтобы в конце, под ключиком progress bar, у нас выдавалось все, что мы в нем хранили. Теперь, после того как мы передали в progressbar еще дополнительную переменную, у нас в нем будет высвечиваться accuracy – двоеточие и число от нуля до единицы. В progressbar можно запихнуть что угодно, дефолт же пишет значение только training lost и валидацию. Тут на картинке есть training step, а validation я не стал указывать, потому что они абсолютно идентичны. И там и там я считаю метрику, loss, единственное отличие – обязательно нужно в качестве параметра в return в dictionary возвращать loss как значение, потому что ему еще по этому loss делать backwards.

Это был один step – одна итерация. Что делать дальше: например, я бы хотел, чтобы в моем пайплайн в конце каждой epoch у меня считался average loss и average accuracy. Сделать это достаточно легко: у нас эти значения, которые мы возвращаем в конце каждой итерации, сохраняются. То есть, у нас хранится loss для каждой итерации в течение одной epoch, так что значение мы возьмем среднее. Потом то же самое с accuracy, опять же возьмем средние значения из tensorboard. Теперь мы плавно переходим к другим логгерам, здесь есть такая же штука с progressbar, о которой я говорил до этого. В этом случае я просто добавляю сюда average loss и average accuracy, то есть, в конце каждой epoch у меня в терминале будет высвечиваться, что там было на каждой epoch.

Но если мы хотим использовать не только такой текстовый логгер, но и визуализировать результаты, что нужно для этого сделать? Вот у нас есть тренировка, где закончилась одна epoch, и мы хотим, чтобы ее значение, эти average loss и average accuracy, писались в tensorboard. Делаем какой-нибудь вериболл и храним в нем поля, ключики, которые хотим записать в тот или иной логгер, в моем случае, tensorboard. Результат прописываем под ключом log. Здесь мы полностью пропускаем шаг, где нужно писать что-то вроде writer and scholar, просто указываем свое название и то или иное значение. И в логгинг мы добавляем dictionary – по сути, это уже даст нам визуализацию данных.

Сейчас расскажу поподробнее о инициализации и как её сделать. Какие существуют логгеры для инициализации? Есть MLFlow, Neptune, TensorBoard, Weights&Biases. Я сам использую TensorBoard и Weights&Biases. Логгеры достаточно легко инициализируются; то есть, у нас есть Weights&Biases логгер, мы из Lightning импортим его, а также какие-то внутренние поля, характерные для конкретного проекта, типа название папки, название проекта и так далее. А затем просто этот Weights&Biases логгер объявляем в trainer и говорим, что это наш логгер.

И теперь все, что мы подали в лого, будет автоматически синхронизироваться с этим логгером. Ровно такой же пример для tensorboard: объявляем tensorboard, у нас здесь есть логгер (про вторую строчку я расскажу на следующем слайде) и опять же в trainer просто говорим, что наш логгер — это логгер с tensorboard и будет ровно то же самое. То есть, в этом случае ничего менять не нужно, все логи работают одинаково именно в training epoch end или validation epoch end. Они все работают одинаково, по крайней мере для логов, что я использовал, но у меня есть четкое предположение, что точно так же будет и с другими. Что касается логгеров, то там все раскладывается на такие вот красивые картиночки. Все по разделам, все работает.

Возвращаюсь к строчке, о которой я хотел упомянуть ранее. У нас есть логгер, и пока что кодировка запускается с какими-то определенными параметрами: batch size, размер картинки, путь к дата-сет, использовать/не использовать, какой loss считать и так далее. У меня в проекте был такой parser небольшой и тут перечислена информация о loss, putsize и прочем. Что происходит? Мы эти аргументы записали, они во время выполнения командной строки появляются, и мы говорим, что у нас и по TorchLightning и trainer нужно добавить эти аргументы к нам. Аргументы мы пропарсили, объявили наш логгер, как было в предыдущем примере, и мы args записываем в наш логгер. Log hyper params не обязателен для tensorboard.

Что из этого получается? Это tensorboard, там лежат scalars, и у нас есть гипер-параметры, с которыми мы запускали конкретный эксперимент. То есть, все параметры, с которыми запускался Lightning, сохраняются. У нас есть разные возможности выбора, что можно показывать в tensorboard, это все происходит автоматически, ручной работы не требуется.

В предыдущих слайдах вы, возможно, видели такую штуку, как callback, сейчас я о ней вам расскажу. Мы хотим сохранять наши модельки, у нас сейчас не работает train loop, но есть готовые callback, которые позволяют нам выполнять определенный тип задачи во время тренировки. Допустим, мы хотим сохранить модельку.  У нас есть ModelCheckpoint, он уже прописан в Lightning class, и мы объявляем там поля типа filename. Savetop помогает нам хранить лучшие веса, что спасает от переполнения диска. Также можно указать слово monitor – это значение, по которому все будет сравниваться, допустим, лучшие чекпойнты сравниваются по валидационному loss. Period — как часто делать чекпойнт, каждые пять epoch, например.

Кроме того, есть early stopping. Зачем он нужен? Допустим, вы не знаете, сколько идет тренировка, даже предположительно, и тогда вы говорите, что хотите наблюдать за валидационным loss; если каждая следующая epoch отличается менее, чем на заданную дельту, то мы делаем стоп этой тренировки. Patience – сколько эпох должно пройти, чтобы делать earlystopping.

Что нужно сделать, чтобы написать свои callback? Для того, чтобы запустить тренировку хранение чекпоинтов и early stopping, нужно прямо указать trainer, что в качестве чекпойнт callback мы хотим использовать наш callback и в качестве callback с early stopping использовать early stopping callback, который вы видели на предыдущем слайде.

Теперь перейдем к custom callback; нам нужно наследоваться от callback, который есть в Lightning, и задать условия. Допустим, в конце мы хотим сделать что-то, когда заканчивается тренировка, например, выгрузить картинки с референсами. Все наши кастомные callback передаются в trainer с ключиком callbacks. Справа указаны некоторые моменты тренировки, в которых можно использовать callback. Если вдруг случился keyboardinterrupt во время тренировки, то можно сохранить модельку. То есть, использоваться могут совершенно разные временные промежутки тренировки. Очень похоже на tensor flow, если кто с ним работал.

По поводу дополнительных фич. Lightning достаточно хорошо структурирует код: все хранится в одном месте, с красивыми названиями, у нас нет train loop, что может быть плюсом; а также логгинг в удобный терминал и в большое количество логгеров. Также из новых фич – перед тренировкой пройдет один трейновый batch и один валидационный. Это проверка того, чтобы у нас в будущем ничего не упало, например, если epoch идет несколько часов. Если тренировка упала, ее легко восстановить; просто указываем путь к чекпоинту, у нас восстанавливаются optimizer, scheduler, все логгеры, все возвращается к предыдущему состоянию.

И наконец, multi gpu trainer. На примере можно увидеть, что я использовал одну gpu, и она передается как лист с винтовыми числами. Если хотите использовать несколько gpu и не хотите их перечислять, вы говорите gpu = -1,  и он будет использовать их все. Если вы говорите, gpus = [3], тогда он подключит все gpu до третьей.

Q&A:

Q: Максим, а по ощущениям, насколько строчек сократился код? Я посчитал, но у меня как-то немного получилось, optimizer убрался, форс?
А: Не критично: логгеры стали меньше занимать. Не стоит в tensorboard scolars писать. Здесь решает структура именно, не количество строчек кода, а то, что удобно знать, куда нужно смотреть, если что-нибудь сломалось.

Q: Для multi gpu распараллеливается ли data?
A: Я просто использовал одну gpu, не уверен, что знаю, что происходит с data parallel. Что-то мне подсказывает, что да, но стоит перепроверить.

Q: Максим, а ты свои callbacks писал какие-то? С принтами более-менее понятно, но что-то более сложное пробовал писать?
A: К сожалению, свои не писал. Но у меня была идея inference, предположим, сделать в конце тренировочной epoch: просто прогоняем тестовую выборку, предположим, и делаем inference в определенную папку по картинкам. В принципе, там можно что угодно придумать и с логгерами и с inference.

На прошлой неделе CTO Xperience AI Григорий Серебряков побывал в гостях у Антона Мальцева - создателя блога cv-blog и своего авторского канала на youtube о компьютерном зрении. В рамках беседы Григорий и Антон поговорили об оптимизации устройств под задачи компьютерного зрения, обучении нейронных сетей, работе с разными фреймворками и многом другом.

Публикуем большую подборку полезных материалов для начинающих ML-специалистов. Здесь вы найдете ссылки на проверенные курсы, блоги, книги и другие хорошие источники, которые помогут лучше разобраться в области deep learning и компьютерного зрения.

Читайте, добавляйте в закладки и делитесь с единомышленниками!

Бонусный совет: присоединяйтесь к slack-каналу ODS.ai — это крупнейшее русскоязычное сообщество data science специалистов, насчитывающее более 50 тысяч участников со всего мира. Внутри — обсуждение различных интересных задач, обзоры статей, ссылки на образовательные курсы, поиск работы и сотрудников, базы дата-сетов и, конечно, общение с другими энтузиастами сферы.

Курсы

• Нейронные сети и компьютерное зрение: полный курс на Stepik (на русском);
• Deep Learning на пальцах: курс, видео лекции от Семена Козлова;
• CS231n: Convolutional Neural Networks for Visual Recognition от Stanford University: тексты курсов, видео лекций;
• ODS.ai курс: https://mlcourse.ai;
• Statistical Learning: enroll, video lectures. Основы ML (regression, svm, feature selection, bias-variance tradeoff) от Тревора Хасти, изобретателя LASSO регрессии;
• Algorithms 1, 2: enroll. Один из авторов — Роберта Седжвика, автора известнейшей книги по алгоритмам;
• Stanford CS224n: Natural Language Processing with Deep Learning: materials;
• Нейронные сети и обработка текста: курс по DL в NLP на Stepik;
• DMIA: Data Mining in Action: сайт, видео лекции;
• Основы статистики: часть 1, 2, 3;
• Введение в Data Science и машинное обучение: курс;
• Программирование на языке C++: часть 1, 2;
• Академия Яндекс: Школа Анализа Данных, видео лекции, Машинное обучение (курс лекций от Константина Воронцова).

Больше курсов на русском:

• Stepik, CS Center, Lektorium.

Больше курсов:

• Coursera, Stanford Online, Udacity.

Блоги

• Блог Christopher Olah: https://colah.github.io/. Содержит известнейший пост про рекуррентные сети “Understanding LSTM Networks”;
• Блог Andrej Karpathy: http://karpathy.github.io/. Источник той самой оценки уровня  точности человека в соревновании по классификации ImageNet: “How AI beats humans on ImageNet”. Так же есть пост с интересными экспериментами с рекуррентными сетями: “The Unreasonable Effectiveness of Recurrent Neural Networks”;
• LearnOpenCV. Там можно найти, например, основы PyTorch, как собрать OpenCV 4 на Raspberry Pi или про калибрацию камере в OpenCV;
• Distill.pub. Содержит, например, пост про checkerboard паттерн, который может появиться при использовании deconvolution операции в сети;
• Блог Pete Warden про Low-power CV. Рекомендуемая статья: Why gemm is at the heart of deep learning?;
• Агрегатор ссылок. В категории deep_learning можно найти списки статей для разных задач компьютерного зрения. Пример: список OCR papers;
• https://vas3k.ru/ - блог про IT в целом, можно найти релевантные лонгриды про технологии в камерах современных телефонов, а также про AR.

А также отдельные блог посты:

• An overview of gradient descent optimization algorithms;
• A guide to convolution arithmetic for deep learning.

Книги

• Computer Vision: Algorithms and Applications by Richard Szelinski;
• Fluent Python: Clear, Concise, and Effective Programming;
• Deep Learning от таких экспертов, как Ян Гудфеллоу, Иошуа Бенджио и Аарон Курвилль;
• С. Николенко - Глубокое обучение. Погружение в мир нейронных сетей;
• Machine Learning Yearning от Andrew Ng. Рассказаны хорошие практики организации экспериментов. Можно также скачать на GitHub.

Соревнования

• https://www.kaggle.com;
• https://www.drivendata.org;
• Больше ссылок и анонсов в ODS.ai.

Papers, code feeds

• Все новые статьи собираются здесь;
• Здесь можно найти открытый state-of-the-art код;
• Список лучших CV/DL конференций.

И еще немного подборок на русском языке:

• Подборка от "Библиотеки программиста";
• 15 книг по машинному обучению для начинающих;
• Большая подборка ресурсов по машинному обучению от Екатерины Демидовой;
• Телеграм-каналы об анализе данных, data science и machine learning;
• Хорошие тематические youtube-каналы.

Если вы знаете другие ресурсы или материалы, которых нет в списке — делитесь в комментариях!

Расшифровка семинара Александра Ляшука (Xperience AI), который состоялся в июне 2020 года. Видеоверсия этого выступления, а также другие доклады доступны для просмотра на нашем youtube-канале.

В рамках сегодняшней встречи мы поговорим про трекинг-эксперименты в машинном обучении.

Прежде всего, при управлении трекинг-экспериментами мы хотим версионировать код. Для этого у нас есть git. Когда мы версионируем код, мы фиксируем нашу архитектуру, фиксы, предобработку данных и так далее. Дальше мы хотим версионировать данные, которые поступают на вход нашей сети и хранить все изменения этих данных. Для этого существует другой тул, DVC, Data Version Control. Мы можем хранить тренировочные конфиги в гите, можем хранить их при помощи DVC, можем использовать Google Spreadsheets и что-то другое. Об этом «другом» и пойдет речь.

Также мы хотим хранить метаданные, чтобы ориентироваться в наших экспериментах. Обычно это все реализовано с помощью Google Таблиц, в которые мы что-то записываем по результатам экспериментов, но это требует большой самодисциплины.

Можно ли это как-то обойти? Для этого существуют тулы для трекинга экспериментов. Их можно разделить на три категории – клауд-версии, версии 50/50 и версии in-house. Клауд-тулы – это когда у нас и код, и все данные, и результаты хранятся в облачном сервисе. Об этом мы говорить сегодня не будем. Второй тип – это 50/50, когда у нас и код, и данные могут храниться где угодно, но весь логинг осуществляется в клауде. In-house – это когда наш код и данные хранятся где угодно, но сам логинг, визуализация, тулы настраиваются нами самостоятельно.

Tensorboard

Какими качествами должен обладать идеальный тул? Во-первых, он легко устанавливается и имеет фронт-энд визуализацию. Во-вторых, логи должны быть легко передаваемы с машины на машину. Также нам бы хотелось, чтобы тул был бесплатным и поддерживался сообществом.

Очевидно, под это описание подходит Tensorboard. В частности, есть Tensorboard X, чтобы не тащить за собой Tensorflow. Легко устанавливаем ее одной командой pip3 install tensorboardX. Инициализируем summary writer, которому мы говорим имя эксперимента и папку, в которой мы хотим хранить эксперименты. Все, казалось бы, очень просто и не требует вообще никаких усилий. Необязательно быть большим специалистом в нейронных сетях, чтобы настроить Tensorboard. Фронт-энд запускается через tensorboard --log_dir experiements. Указываем директорию и видим, что там еще ничего нет, потому что мы еще ничего не успели туда записать.

Как можно использовать Tensorboard: как минимум, добавить скаляры (scalar). Помимо этого, можно добавить еще много вещей — так как мы занимаемся компьютерным зрением, мы рассмотрим добавление изображений, гистограммм, аудио, эмбедингов и так далее.

Что можно делать со скалярами? Часто в PyTorch есть функция get_loss, которая возвращает словарь со всеми посчитанными лоссами. Мы можем просто вызвать add_scalars и получить картину, когда все лоссы объединены на одной картинке.

Это не очень удобно, поэтому мы можем пробежаться по циклу и добавить каждый лосс отдельно. Получается такая картина, что тоже часто неудобно. Возникает вопрос – как же объединить все на одной странице? Для этого мы берем стандартный summary writer у Tensorboard и просто добавляем в него функцию add_scalar_dict, добавляем тэг (tag=none), добавляем префикс loss/ и таким образом мы можем взять и объединить наши функции потерь. После этого берем логгер, используем кастомную функцию add_scalar_dict, добавляем туда наш dict с тэгом loss и добавляем ему итерацию. Получаем вот такую картинку, когда у нас просто под префиксом loss показаны все loss. Это намного удобнее, чем открывать каждую вкладку отдельно.

Все привыкли хранить результаты экспериментов в Google таблицах, но мы хотим автоматизировать процесс добавления метрик. Это можно сделать при помощи функции add_hparams. Можно передать туда необходимые метрики, таким образом, мы будем иметь следующую картину: у нас появится новая вкладка, помимо скаляров – это вкладка hparams. С ее помощью мы можем смотреть, как с каждой эпохой изменяется значение наших метрик. Также туда записываются вещи, которые мы передали в args, это могут быть batch_size: девайс, на котором запускается модель, и все остальное. Также он позволяет строить диаграммы, которые показывают, как метрика меняется от использования разных моделей, параметров и так далее. Когда мы работаем с задачами, связанными с компьютерным зрением, – в частности, с детекшном, – мы хотим посмотреть, как у нас от эпохи к эпохе меняются предсказания. Это тоже можно делать с использованием TensorboardX summary writer: нам нужно вызвать функцию add_image_with_boxes, добавляем "pred_images/PD- {}" для того, чтобы объединить это все в одну вкладку. Потом добавляем изображения, лейблы и боксы. Можем смотреть по каждому эксперименту, как и что меняется. Это может быть удобно для визуализации и делается это достаточно просто, вызовом одной функции.

Weight & Biases

Допустим, мы научились пользоваться Tensorboard. С помощью стороннего сервиса можно упростить работу и смотреть удаленно на метрики и потребление системных ресурсов. Weight & Biases позволяет хранить все нужные нам данные где-то отдельно. А самое главное – для этого не нужно ничего делать. Нужно просто зарегистрироваться на Weight & Biases – это бесплатно для личного пользования, вам дается безлимитное количество приватных репозиториев. Сайт выглядит как GitLab, GitHub и так далее.

Где начинается магия. Допустим, мы хотим использовать Weight & Biases, но не хотим смотреть документацию и переписывать код, а хотим перейти в браузер и смотреть с любого девайса, как у нас дела с тренировкой. Для этого нам нужно инициализировать wandb.init и передать ему конфиг (config=vars(args), и соответствующее имя эксперимента. Если мы не назовем никакое имя, оно будет генерироваться практически так же, как у Docker контейнеров. Строчка, в которой происходит вся магия – wandb.init (sync_tensorboard=True). Она дает нам возможность синхронизировать все в Weight & Biases. Надо сказать, что выглядит он намного приятнее, чем Tensorboard – и позволяет делать даже больше: например, можно увидеть запущенный эксперимент, и убивать мы его можем прямо в браузере. Помимо этого у нас хранится state нашего кода. Когда мы запускаем любой эксперимент, у нас делается коммит и он хранится.

Из минусов – это невозможно сделать, если мы запускаем эксперименты в клауд-сервисах, потому что, например, в Collab у нас убьется контейнер и ничего не сохранится. Можно смотреть логи, можно осуществлять мониторинг ресурсов системы во время запуска тренировки, что тоже может быть удобно. Помимо того, что можно синхронизироваться с Tensorboard, мы можем использовать функции и методы, которые есть в самом Weight & Biases: добавить изображения с боксами, лейблы, предсказания.

Приватное решение

Теперь по поводу решений, которые могут быть приватными. Допустим, у нас есть отличная тула Weight & Biases, но очевидно, что передает все данные по сети и где-то их хранит. Предположим, что мы хотим что-то похожее. Для этого мы можем использовать Sacred + Omniboard. Штука бесплатная, опенсорсная, но немного сложная: нужно как минимум установить Docker для того, чтобы поднять Mongo, протащить ее локально, прокинуть порт и также установить через Docker Sacred. При этом синхронизация с summary writer у меня не работала – может быть, хорошо работает с Tensorflow. Мне кажется, это неудобно, потому что придется переписывать код. Здесь похуже UI, потому что опенсорс. Из плюсов – там хранится все то же самое, что и может хранить Wight & Biases, кроме системных ресурсов. Но он так же может хранить state кода, зависимости, смотрит, какие библиотеки были импортированы, и всякую такую информацию он тоже хранит. Но если мы хотим взять и визуализировать графики, придется самому писать функции для Sacred.

Q & A

Q: Имеет ли смысл устанавливать TensorboardX, когда в PyTorch есть свой?
A: Он там есть, но наличие TensorboardX позволяет быть независимым, даже от PyTorch.

Q: Я могу шарить свои эксперименты в Weight & Biases? Опубликовать?
A: Можно, в этом и плюс. Важный момент – это коммерческая компания. Если ты используешь их сервис для трекинга личных своих экспериментов, это все бесплатно. Если ты хочешь пошарить свои эксперименты с заказчиком или с какой-то командой, то нужно будет заплатить денег. Там может быть твой репозиторий. Когда ты публикуешь свои эксперименты, у тебя создается свой репозиторий, он может быть публичным, может быть приватным.

Q: Насколько такие решения готовы работать с большими объемами данных? Если, например, количество отсчетов исчисляется не сотнями, а сотнями тысяч или у нас таких треков много?
A: Tensorboard крайне медленно работает на больших объемах данных. Он съедает место на диске и так далее. Если у тебя совершенно обычная тренировка на пару миллионов итераций, то после нескольких таких тренировок у тебя место, занятое логами, начинает исчисляться гигабайтами. Зато можно передать этот еvent файл куда угодно.

Расшифровка семинара Григория Серебрякова (Xperience AI), который состоялся в мае 2020 года. Видеоверсия доступна для просмотра на нашем youtube-канале. Первую часть можно прочитать здесь.

tmux

Давайте начнем с проблемы: допустим, вы зашли на удаленную машину или на сервер к товарищу и хотите запустить тренировку. Дальше что-то произошло – мы выдернули Ethernet провод, отправили ноутбук в спячку, просто нажали Ctrl+C и эта запущенная тренировка внезапно умерла. Особенно обидно, когда это случается за несколько секунд до того, как должен был сделаться очередной snapshot. Почему команда не может жить после того, как мы ее запустили, зачем ей нужно соединение с нашей машиной? Все дело в том, что когда мы запускаем интерактивный софт, он себе лоцирует псевдотерминал, который ему нужен для ввода-вывода. С точки зрения программы он выглядит как файл. Когда мы разрываем связь с удаленной машиной, этот файл пропадает. ОС видит, что у нее отвалилось устройство и посылает приложению, которое его использует, сигнал hangup. Если наша программа его не обрабатывает специальным образом, то это приводит к ее завершению.

Самый простой вариант, который обычно советуют для решения проблемы – это использовать команду nohup. Она перехватывает сигнал hangup и не пропускает его к той команде, которую вы запустили. Вы таким образом сможете что-то запустить, закрыть соединение и пойти по своим делам. Тем не менее, пользоваться этим не удобно, потому что тогда надо помнить про команду tale -f, с которой можно посмотреть, что там этот лог файл пишет. Плюс нужно помнить, что у вас там запущено. Неудобно.

Поэтому давным-давно были придуманы терминальные менеджеры окон, терминальные мультиплексоры. Достаточно долго это был screen, который позволял делать то, что сейчас вам позволяет делать практически любая программа, в которой вы открываете консоль: делать вкладки, что-то запускать в них и управляет сессией за вас. Когда вы отключаетесь от сессии и закрываете соединение с удаленной машиной, все, что было запущено внутри терминального мультиплексора, продолжает работать. Время шло, screen устаревал, потому что он был написан когда-то давно и не очень хорошо дружил с современными фичами. Терминалы становились умнее, там появлялось много цветов, Unicode. В какой-то момент кому-то пользоваться надоело screen, и люди разработали другой терминальный мультиплексор, tmux. Он позволяет многое: иметь несколько вкладок, иметь внутри одной вкладки несколько сплитов – вертикальных, горизонтальных, ровно как в вашем любимом текстовом редакторе; отключиться от удаленной сессии, запустить несколько сессий tmux, работающих на одной машине, внутри каждой из которой будет множество окон, каждая из которых разбита на сплиты. И одна из полезных особенностей – можно позвать товарища в свою запущенную сессию на удаленной машине и вместе с ним дебажить. Несколько человек могут видеть, как двигается курсор внутри одного окошечка, набирать команды, мешать или помогать друг другу.

Важно, что у tmux есть плагины и менеджер плагинов. Плагины, очевидно, может писать кто угодно, и вместе с tmux в его репозиторий поставляется некоторое количество годных. Например, мы взяли наш tmux, насоздавали в нем вкладок, распределили их по проектам. Вкладки можно называть именами, которые имеют для вас смысл. И после этого, например, вы перезагрузили компьютер. Стандартная история – вкладки, естественно, пропали, а хочется, чтобы было, как в браузере, когда вы его открыли и вкладки все опять восстановилось. Для этого есть плагин tmux-resurrect, который делает именно это. Он запоминает вашу конфигурацию вкладок и позволяет их восстановить при перезапуске компьютера или при перезапуске сессии tmux. Но это нужно делать руками. В какой-то момент людям стало лень, и появился плагин tmux-continuum, который просто работает в бэкграунде и время от времени автоматически сохраняет вашу конфигурацию. Потом вы восстанавливаетесь с самой последней версии. Кроме этого, есть всякие улучшения для того, чтобы было удобнее выделять текст, копировать его в системный буфер обмена, потому что работа со скроллом и буфером обмена в tmux несколько непривычна.

Как это все применяется. Вот мой tmux конфиг (изображение выше). Мы объявили, что у нас есть плагин менеджер, объявили плагины, которые будем использовать, чтобы он их сам стащил с GitHub. Дальше команда для resurrect сохранять bash history. Опция, с одной стороны, полезная, с другой – бесящая. Полезная, потому что сохраняется история шелла отдельно для каждой вкладки. Вы убили сессию, перезагрузили машину, восстановили сессию – и у вас история, как будто вы только что набирали эту команду. Это очень удобно. Но побочный эффект этого состоит в том, что шелл не дает возможности сохранить историю, не влезая в процесс взаимодействия с ним. В результате случается так, что вы набираете команду, в этот момент по таймеру срабатывает сохранение истории, ваша команда пропадает, вместо этого появляется сообщение о том, что resurrect сохранил вашу историю и вам приходится заново набирать команду, что не очень приятно.

ssh

Теперь давайте разбираться, как нам сходить на удаленную машину. Стандартный способ – это ssh, то есть secure shell. Это вещь, которая стала стандартом, поскольку большинство серверов сделаны на Unix: ssh там везде есть, все им пользуются. Это просочилось во всякие утилиты для разработчиков. Способ аутентификации через ssh-ключи можно встретить на GitHub, GitLab и везде, где есть git. PyPi умеет ходить по ssh за пакетами. В самом простом случае вам даже не нужен ssh-ключ, вам достаточно знать имя пользователя, пароль и имя хоста. Вы говорите ssh user @hostname, вводите пароль. Если это не запрещено настройками, вас пустят и у вас будет сессия. Но как всегда все самое интересное – под капотом.

Крайне полезной особенностью ssh являются всякие программы, которые написаны вокруг него. Есть, например, программа, которая называется sshfs. Это имплементация файловой системы в юзерспейсе. Это значит, что нам не нужны рутовые права для того, чтобы подмонтировать эту файловую систему. Обмен файлами идет через ssh. Вместе с ssh к вам прилетает полезная утилита под названием scp, которая позволяет через ssh копировать один файл. Если вам нужно скопировать много файлов, то это удобно сделать через RSYNC , который тоже умеет делать авторизацию через ssh. А один файл можно скопировать с помощью scp. Если нужно посмотреть все дерево файловой системы, как-то его открыть в файловом браузере, то sshfs отлично для этого подходит. Да, будет подтормаживать, зато удобно.

Следующее, чего нам хочется – это запустить какое-нибудь графическое приложение на удаленной машине и увидеть его окошечко локально, рядом с нами. Это все можно сделать при помощи того же ssh, у него для этого есть ключ -X. Вы сказали ssh -X на другую машину, запустили там какое-то приложение, оно у вас показалось. Иногда этого недостаточно. Что на самом деле происходит, когда вы делаете ssh -X: ssh вам выставляет переменное окружение DISPLAY, которое вам указывает на порт на локальной машине, который будет проброшен на порт на удаленной машине, а иксовые приложения на эту переменную DISPLAY ориентируются и знают, куда показывать. Таким образом, все будет показано с удаленной машины на вашу локальную. Проблема начинается, например, с tmux. У вас есть запущенная tmux сессия на удаленной машине. Тут вы решаете, что вы хотите там показать что-то графическое, говорите ssh -X на удаленную машину, прикрепляетесь к tmux сессии, запускаете и вам говорят, что переменная DISPLAY не выставлена или выставлена неправильно и с DISPLAY соединиться не удалось. Это происходит потому, что ssh выставил переменную DISPLAY, но он выставил ее в том шелле, в котором он стартовал. А внутри tmux шелл свой. Переменное окружение никуда не прокидывалось, вам нужно будет это сделать руками: пойти и посмотреть, как она выставилась – обычно это localhost:10.0. Если у вас  несколько shell -X, тогда может быть и 11, и 12. Берем ее, копируем, заходим в tmux, там говорим export, и у вас все работает.

Что еще может пойти не так. Может быть такое, что в вашем конфиге для ssh daemon почему-то запрещена пересылка иксов. Это строчка #X11Forwarding yes, она по умолчанию yes. Вот можно увидеть, откуда берется 10 – #X11DisplayOffset 10. Отсюда у нас будет первый порт 10, следующий 11 и так далее. Если вам вдруг какой-то злодей написал #X11Forwarding no, то ничего работать не будет. В мажорных дистрибутивах Linux обычно все нормально в этом смысле и все разрешено. Но если вдруг не работает, можно пойти посмотреть.

В какой-то момент вам надоест писать -X руками и думать о том, написали вы ее вообще или нет. Вам захочется это дело упростить – для этого есть такая штука, как конфиг ssh. В него можно внести всяческую полезную информацию о том, как же соединяться с выбранным хостом. А именно – можно завести имя для хоста. Например: у меня есть Host work-desktop, моя машина. Я работаю с ноутбука, машина стоит где-то. Я не хочу думать о том, какой у нее ip адрес, не хочу помнить – хочу к ней обращаться по имени work-desktop. Заводим Host work-desktop, говорим, что у него HostName – это наш ip. Если у вас работает DNS и вы в нем уверены, можно написать DNS имя. Обозначаем пользователя, который будет ходить на эту машину – и вот я здесь сразу сказал себе ForwardX11 yes, чтобы у меня ключ -X автоматически выставлялся. Теперь для ssh, sshfs, rsync, vscode и прочих друзей, которые умеют авторизовываться через ssh, мне больше не нужно параметры вводить руками. Я им говорю, что нужно ходить на машину work-desktop, и они все остальное прочитают из конфига.

Следующая типичная ситуация, которая возникает с ssh – это проблема с сетью. Для того, чтобы у вас нормально работала интерактивность в терминале, чтобы вы могли там курсором шевелить, ходить по словам и хотя бы нормально печатать, нужна какая-то минимальная отзывчивость сети, короткие пинги. Если ваша сеть плохая, то вы будете наблюдать лаги. Если у вас сеть периодически отваливается, ssh может подвиснуть. Самый простой пример – у вас есть ноутбук, вы отправили его в спячку с открытой ssh сессией, открыли, а она у вас зависла. ssh можно научить бороться с зависшими сессиями, чтобы вам не приходилось закрывать их руками, закрывать вкладки в терминале и так далее. Можно в конфиге сказать, чтобы ssh периодически посылал пакеты, проверял, живо соединение или нет, и если оно не живо, то обрывал сессию. Можно сказать, что это для специфического хоста, а можно для всех хостов подряд, как в данном случае. Хост любой, проверяем раз в 300 секунд, что он жив. Если два раза недоступен, то рвем сессию.

Это неплохо, но все равно неудобно. Если сессия порвалась, ее все равно надо переустанавливать – не круто. Ребята из MIT тоже посчитали, что это не круто, и написали MOSH. Расшифровывается как mobile shell. Это замена ssh для плохих ситуаций. Что делает эта штука. Она сначала пользуется ssh для того, чтобы авторизоваться на удаленной машине. Далее она стартует daemon и забывает про ssh. У нее есть клиент, у нее есть сервер, они на вашем ноутбуке и удаленной машине обмениваются данными по UDP. Это приводит к тому, что вы можете спокойно переключаться между разными видами связи – Wi-Fi, Ethernet, телефон, модем. Ваша сессия будет жить. Вы можете отправить ноутбук в спячку, открыть его и продолжить работать – сессия будет жить. Мне эта штука очень нравится, клиенты есть под различные ОС и даже под телефоны. И она просто работает. Очень удобно.

NGROK

Как вместе дебажить, если вы сидите дома и у вас нет публичного ip-адреса? Куда будет подключаться товарищ с ssh? Для этого есть штука под названием NGROK. Она позволяет делать туннели – разные между разными вещами. Она в принципе платная, но можно сделать ограниченное количество туннелей бесплатно. Чтоб позвать товарища, нам нужен всего один. Как это работает: у вас есть локальный компьютер, где-то есть сервер ngrok. ngrok устанавливает соединение между вашим локальным компьютером и своим сервером и просто передает пакеты на порт, который вы ему скажете. Запускаем, ngrok tcp --region=eu 22, регион Европа, чтобы пинги поменьше были, и нужен 22 локальный порт, который по умолчанию ожидает ssh. Он вам говорит forwarding и дает адрес. Вы даете его товарищу, товарищ подсоединяется на указанный адрес на указанный порт, попадает на вашу машину. Денег никому платить не надо, но и супер секретные данные таким образом тоже передавать не надо, потому что они проходят через недоверенный сервер. Скорее всего, никто ничего не сворует, но разумную паранойю никто не отменял.

То же самое можно сделать средствами самого ssh, называется ssh reverse proxy. Вы устанавливаете соединение с удаленным хостом и по сути оно нужно только для того, чтобы сделать такой туннель, по которому будут передаваться данные. Проблема в том, что вам в этой схеме с ssh нужна третья машина. Это немножко усложняет вопрос.

Ключи ssh

Давайте разбираться, как делать аутентификацию средствами ssh. Замечательно, если мы знаем имя пользователя и пароль. Не очень удобно каждый раз вводить пароль – имя пользователя можно написать в конфиг. Иногда доступ с паролем запрещен. В этом случае и вообще хорошим решением является использование ssh ключей. Стандартная криптографическая схема работает с двумя ключами – приватным и публичным. Вы подписываете сообщение приватным ключом. При помощи публичного ключа можно проверить, что сообщение действительно подписано вами. Вы распространяете свой публичный ключ во все места, где нужно проверять, что это действительно вы пришли. Ровно та же схема с ssh ключами работает для подписывания коммитов в Git, для доступа к GitLab и так далее. Первое, что нам нужно сделать для этого – это сгенерировать пару из публичного и приватного ключа. Я думаю, что все эту процедуру проходили, потому что все регистрировались в GitHub, GitLab и работали с Git.

Бывают разные алгоритмы шифрования, бывает разная длина ключа. Одной из популярных рекомендаций является rsa с длиной 4096 бит, потому что 2048 уже взламывается. Можно иметь много пар ssh ключей, различать их по именам: для этого у ssh key gen  есть ключ -f, который говорит, куда же его записать. Если вы ничего не скажете, он спросит, переписать ли вам дефолтный ключ. Но можно в интерактивной сессии выбрать, куда записать, а можно сказать через -f. Приватный ключ должен быть только у вас на машине, потому что каждый, у кого есть ваш приватный ключ, если вы его не зашифровали паролем (можно пароль ввести для ключа) сможет им воспользоваться и выдать себя за вас. Далее вам нужно каким-то образом передать свой публичный ключ на ту машину, где вы планируете авторизовываться. В случае, если это GitLab или GitHub, вы его в интерфейсе просто копируете, но представим, что нужно сходить на сервер. Есть замечательная команда ssh-copy-id, которой мы даем свой публичный ключ при помощи ключа -i и этот ключ использует ssh когда ему нужно выбрать между несколькими ключами. Представляем, что мы знаем имя пользователя и пароль на какой-то удаленной машине. Мы говорим ssh-copy-id <identity_file> <user>@<hostname> и после этого мы можем забыть про пароль и ходить туда по identity файлу.

ssh agent

У нас теперь есть identity файл - наш файл с ключом. Теперь не нужно каждый раз набирать пароль. Мы немножко запараноили и защитили наш ключ паролем. И теперь нам нужно вводить проходить защиту от ключа. Ничего, казалось бы, не поменялось. Вместе с ssh идет замечательная программа ssh-agent, которая решает за вас эту ситуацию. Ssh-agent позволяет импортировать в себя ключ на время, пока он работает. Вы вводите секретный код один раз, а дальше agent выступает авторизационным агентом для ssh.

Есть у вас Ubunta, – предположим, что большинство присутствующих с ней работает, – у вас скорее всего ssh-agent стартовал вместе с текущей графической сессией. Можно пойти посмотреть на список процессов, с помощью grep найти его по слову ssh-agent, у вас что-нибудь будет запущено. Я его не сам стартовал, у меня его Xfce стартанул. Если так случилось, что у вас нет запущенного агента, можно посмотреть, как его запускать, вот ниже пример для баша. Нужно сказать eval «$(ssh-agent –s)». $ и () нам говорят, что нужно при помощи баша выполнить какую-то команду. Команда выполняется, результат ее вставляется внутрь кавычек и eval говорит, что нужно содержимое строчки выполнить, как будто это код. Ssh-agent –s запускает агента и пишет две строчки: export SSH_AGENT_PID и export SSH_AUTH_SOCK. Первое – это id процесса ssh-agent, он вам нужен для мониторинга. А вот второе – это сокет, через который идет обмен данными для авторизации. Вы можете eval не писать, можете просто запустить ssh-agent –s и выполнить вот эти две команды с экспортом. После того, как у вас есть запущенный ssh-agent, вы говорите ssh-add <private_key>, вводите один раз пароль и до тех пор, пока эта сессия ssh-agent не умрет, у вас все будет работать. Зачем я рассказывал про сокеты, eval и так далее. Представим, что у вас есть несколько шеллов, несколько терминалов. Неважно, вы вкладками в терминале пользуетесь, вы tmux пользуетесь. Так получилось, что у вас не стартовал ваш агент вместе с вашей иксовой сессией. Вы его стартовали в какой-то из вкладок вручную и как мы уже обсуждали, эти переменные окружения, которые были экспортированы, не распространились в остальные вкладки. Нужно их передать. Но как я уже сказал, можно без eval просто запустить ssh-agent, посмотреть на эти переменные, скопировать эти две строчки, ну или только вторую, и повставлять их во всех терминалах, которые у вас запущены. После этого у вас все должно заработать. Частный случай этой ситуации – когда у вас по каким-то причинам не выставился вот этот SSH_AUTH_SOCK, но при этом агент уже запущен, например, вы его запустили с eval и забыли. Забыли посмотреть назначение. Можно заметить, что сокет, на самом деле, создается в папочке tnp и имя у него будет ssh что-нибудь, там лежит файлик. Можно просто найти его руками. У него в конце /agent.четырецифры. Цифры близки к id этого процесса. Если у вас несколько файлов, то можно найти того, который относится к живому агенту и просто пробросить, экспортировать переменное окружение. При помощи lsof можно посмотреть, кому он принадлежит, чтобы не заниматься сравнением циферок. Чем еще хорош агент, так это тем, что если вы его аккуратно настроите, можно переслать ключи на удаленную машину. Представьте цепочку – у вас есть одна машина, на которую вы можете ходить, в дата-центре. И с нее вы можете ходить на какие-то другие машины в дата-центре. Вам для авторизации нужен ssh ключ, который у вас лежит на локальном ноутбуке. Вы можете настроить в вашем конфиге параметр ForwardAgent yes и после этого магическим образом ключи, которые у вас же импортированы в агент, будут доступны вам в удаленной сессии. Также есть ссылка на GitHub, если что-то пошло не так. Самый распространенный случай – вам нужно склонировать Git репозиторий на удаленной машине. Вот тут он вам и пригодится.

Можно использовать разные ключи для разных машин. Для этого нужно явно в конфиге указать, какой ключ от какого хоста. После этого ssh будет самостоятельно разбираться, чем же пользоваться. Более того, можно на один и тот же хост завести разные alias и в зависимости от alias будет использоваться разный ssh ключ. Иногда это полезно. Например, я хочу разделять личный и рабочий аккаунты на GitLab. Я их разделяю ключами и могу, заходя на рабочий или личный GitLab, разделять, с какими id я буду коммитить код.

Пароли, пароли, пароли

Итак, мы разобрались, как авторизоваться при помощи ssh ключей везде, где только можно. Штука вроде полезная, но встречаются ситуации, когда никаких ключей нам никто не даст и нас просят ввести пароль. Как нас учит современная история, иметь один пароль везде – это плохо. Рано или поздно он утечет, все ваши доступы будут уязвимы, и вас неминуемо взломают. Поэтому хочется иметь разные варианты. Но их тяжело помнить, особенно если они хорошие, длинные, надежные. Как выглядит типичный сложный пароль: он состоит из комбинации прописных и строчных букв, циферок, спецсимволов ну и можно воспользоваться какой-то мнемоникой для его запоминания. Дальше идет подсчет, сколько здесь бит энтропии, сколько нам нужно времени для того, чтобы подобрать такой пароль, пользуясь современными вычислительными мощностями. Кажущийся нам сложным пароль подбирается за три дня. В то же время есть подход, который говорит о том, что мы можем составить пароль из нескольких просто английских слов без всяких спецсимволов. Нужно сделать эти слова с одной стороны случайными, но с другой стороны дающими в сумме достаточно длинную фразу. В-третьих, если фраза будет достаточно абсурдной, мы ее достаточно легко запомним. У нас теперь пароль длиннее, а с точки зрения энтропии нет никакой разницы между цифрами и буквами. 44 бита энтропии – на расшифровку понадобится 550 лет с такой же скоростью перебора. Мы хотим пользоваться этим подходом, но хотим его немного автоматизировать, потому что если мы будем придумывать случайные слова, то они будут уже не очень случайными.

Есть утилита, которую я по этому поводу очень люблю, называется xkcdpass. Она имплементирует подход, описанный в комиксе, и пользуется тем, что у нас в Linux есть словари английского языка. Она берет четыре слова или сколько вы ей скажете при помощи ключа -n слов, хоть 10; при помощи ключа -d можно сказать, какой разделитель использовать. У меня -. И при помощи команды tr я привожу весь аутпут к нижнему регистру. Все, вы получили команду, которая нам позволяет генерировать четырехсловные пароли в произвольных количествах. Есть одна проблема. Как обычно, вот это все длинное нужно каждый раз писать руками. Мы ленивые программисты, поэтому давайте сделаем bash alias для этого.

Я вам привожу выдержку из своего файла bash alias, куда нам предлагают складывать все такие команды. Называется он generate_password. Рядышком команда, как его записать туда. После того, как я сделал новый шелл или подгрузил содержимое bashrc в текущий, я пишу команду generate_password, у меня пароль генерируется. Это хорошо, это замечательно, но я все еще не хочу их запоминать. Потому что они длинные и их много. Человечество по этому поводу придумало менеджеры паролей. Из хороших обычно советуют 1password, который стоит денег. Проблема с ним в том, что на Linux им пользоваться неудобно, потому что у него нет десктопной версии под Linux. В очередной раз пришел на помощь open source. Есть стандартный менеджер паролей на Linux под названием pass. Ссылочку на сайт привожу и на гайд, как его установить. Что он делает. Помнит за вас все пароли, держит их в виде Git репозитория. У вас есть возможность синхронизироваться между разными машинами при помощи клонирования этого репозитория, можно что-то из истории доставать, автоматически делается коммит на каждый новый добавленный пароль. Есть интеграция с разным софтом, есть клиенты под Android, Windows.

В качестве примера полезной интеграции давайте вспомним про docker и авторизацию, которую нужно сделать, чтобы засунуть какой-нибудь docker image в GitLab registry. Хочется иметь какую-то такую же штуку, как ssh-agent, который бы нам помогал не вводить пароль каждый раз. В случае с GitLab это крайне важно, потому что GitLab в свое registry вас не пускает просто с пользовательским паролем. Он заставляет вас генерировать токен для доступа к API и ходить при помощи него. Этот токен нужно где-то хранить. У docker есть официальная имплементация, которая интегрируется с pass и делает его менеджером паролей для docker. pass начинает работать так же, как ssh-agent. Вы вводите один раз мастер-пароль для менеджера паролей, он открывает доступ к хранилищу и после этого у вас случается авторизация для docker. Очень удобно, пользуюсь постоянно.

Бонусные тулы

Подходим к концу. Можно посмотреть справку про очень многие команды при помощи команды man. Про нее многие знают, но кто не знает, в общем, man от слова manual. Она очень подробная и там можно закопаться. Люди, которые не любят закапываться, сделали пакет под названием tldr. Вот на примере команды rsync можно посмотреть, что в man про rsync больше двух тысяч строк, а в tldr укладывается в 39. Там, конечно, очень коротко, но основные сценарии использования покрыты.

Про powerline. Это такая штука, которая позволяет сделать функциональную строку приглашения. Он интегрируется с вашим консольным текстовым редактором, он интегрируется с вашим терминалом, он интегрируется с вашим tmux. Вот для примера у меня здесь что показывается. Показывается код возврата последней команды – это 127. Показывается, в каком каталоге я сейчас нахожусь. Показывается ветка Git, которая сейчас активна. Все эти вещи можно сделать со стандартным приглашением командной строки, но нужно будет посидеть какое-то время. Про history. Из полезного – по history можно искать при помощи стандартного сочетания клавиш Ctrl+R, можно набирать команды и вы их найдете в истории. Можно сделать так, чтобы ваша текущая команда в консоли в историю не попала – если команда начинается с пробела, то в историю она не попадает. Ну и когда речь заходит про шэллы, обычно в современных условиях рекомендуют посмотреть на zsh, стандартный шэлл для OSX. Много всяких современных полезных плюшек. Есть очень большой коммьюнити проект по притаскиванию всяких плюшек в zsh, называется ohmyz.sh. Он действительно интересный и люди стараются всячески упростить жизнь, перемещение по каталогам, отображение и так далее.

Скажу всего два слова про текстовые редакторы. Изучите какой-нибудь консольный редактор. Это правда вам пригодится. Вы сможете редактировать конфиги из консоли, редактировать что-то на удаленных серверах. nano умеет на самом деле сильно больше, чем показывает по умолчанию. Там есть и подсветка синтаксиса, и номера строчек, и всякое разное. Оно просто в конфиге выключено по умолчанию. Но я вам порекомендую потратить время на vim или emacs. Здесь есть ссылочки полезные про то и другое. Изучите хотя бы базовые вещи – оно окупается.

В начале сентября 2021 года CEO Xperience AI Анна Петровичева побывала в гостях у подкаста «Крит Мышь». Публикуем текстовую версию разговора (послушать сам подкаст можно по ссылкам ниже).

Александр Головин: Привет, это КритМышь – подкаст для тех, кто мыслит критически. Меня зовут Александр Головин. Сегодня со мной по видеосвязи находится специалист по нейросетям, CEO компании Xperience.AI Анна Петровичева. Привет!

Анна Петровичева: Всем привет!

А.Г: Мы с Анной сегодня поговорим про компьютерное зрение. Обсудим, что это за технология, какие прекрасные, – а может пугающие – перспективы она для нас готовит. Анна, давай начинать. Хочется для начала тебя спросить – на каком этапе развития этой технологии мы находимся? Что компьютерное зрение уже может, а что до сих пор находится в области научной фантастики?

А.П: Компьютерное зрение занимается задачами, которые легко решаются человеком – например, посмотреть на картинку и посчитать количество людей на ней. Если на задачу требуется какое-то большее время, например, понять, как в 3D будет выглядеть чертеж здания, которое я вижу, – такого оно пока не умеет.

Зачем нужна капча и может ли нейросеть быть расистской?

А.Г: Я все еще натыкаюсь на разного рода защиту: например, капчу на разных сайтах, когда нужно отметить мотоцикл или пожарный гидрант на фотографии. Это некоторая защита от проникновения ботов. Обойти это – все еще сложная задача для компьютерного зрения?

А.П: Уже есть нейросети, которые делают это хорошо. Большой секрет (или уже не секрет) заключается в том, что таким образом Google размечает себе датасеты. Раньше эта капча часто была двухстадийной. Первую стадию было просто пройти, а вторая была странной. Там были такие же задачи, типа «найдите пожарный гидрант», но его видно хуже. Эта вторая часть – она использовалась не для верификации, а для того, чтобы разметить датасет, на котором еще лучше можно натренировать нейронную сеть для распознавания пожарных гидрантов – у Google такая сеть есть. У других ребят, наверное, нет, но мы находимся близко к тому, чтобы распознавать такие штуки было просто.

А.Г: Помимо того, чтобы находить на картинках пожарные гидранты, зачем вообще эта технология нужна? Каковы основные направления ее применения? Области, в которых это наиболее бурно развивается?

А.П: Этих областей достаточно много, но при этом алгоритмы одни и те же. Мне очень нравится говорить про медицину, поэтому я для начала расскажу про нее. Сейчас глубокое обучение и компьютерное зрение активно приходит в диагностику болезней. Оно помогает радиологам, которые смотрят на результаты МРТ, найти подозрительные области, опухоли. Есть исследования, которые говорят, что сейчас нейронные сети с этим справляются примерно так же хорошо, как радиологи, но хуже, чем коллегия докторов. Коллегия докторов пока что справляется лучше. Кажется, скоро мы и до такого уровня качества дотянемся. Один из основоположников области нейронных сетей, Джоффри Хинтон несколько лет назад сказал: «Если вы сейчас учитесь на радиолога, лучше учитесь на кого-то другого, потому что скоро ваша профессия будет заменена». Это, наверное, сильное утверждение – пока что радиологи все еще существуют. По многим причинам, включая законодательные. Но глубокое обучение там уже хорошо используется.

Еще одна индустрия, в которой очень важно глубокое обучение – это безопасность. Видеокамеры, которые стоят по периметру серьезных объектов – сейчас в них часто есть технология распознавания того, что происходит вокруг. Не нужно сажать человека, который будет 24 часа в сутки в эту камеру смотреть и распознавать глазами эти объекты. Кроме этого, глубокое обучение приходит и во всякие развлекательные сферы, например, в спорт. Может быть, помните, в прошлом году была такая новость, что умная камера вместо того, чтобы следить за мячом на футбольном матче, следила за лысой головой рефери. Но в целом технология такая – умная камера сама вращается и следит за мячом. Такие же технологии работают для других видов спорта – для тенниса, для плавания. Они помогают с двух сторон: с одной стороны, это автоматические трансляции, с другой – это помощь в тренировках.

А.Г: При этом ты сказала, что алгоритмы одни и те же. Можешь описать их понятными терминами? Что это за алгоритм такой, что он один и тот же, а области такие разные?

А.П: Я расскажу, как они строятся. Критически важная штука для того, чтобы построить хороший алгоритм – это данные. Нейронные сети и компьютерное зрения – это очень «жадная» область для данных. Нужны тысячи, даже десятки и сотни тысяч изображений. Некоторые датасеты насчитывают миллион картинок. Например, если мы хотим натренировать алгоритм, который будет следить за мячом в футбольном матче. Нам нужно собрать максимально разнообразные изображения с футбольными матчами, снятыми на вот эти камеры с трансляций. С разными футболистами, в разное время суток, в разную погоду – солнце, дождь, снег, все возможные ситуации. Далее мы просим человеческого аннотатора, – разметчика, – разметить мяч на каждой из этих фотографий. То есть, он обводит его квадратиком на каждой фотографии и результатом этого является размеченный датасет. Это ключевая штука для того, чтобы сделать алгоритм. В зависимости от области этот датасет будет разным, то есть он может быть про МРТ или про футбол, или про безопасность, но в любом случае – это набор картинок или видео, в которых человек что-то отметил. А дальше мы берем нейронную сеть и начинаем ее тренировать.

Мы берем, например, изображение футбольного поля без разметки, показываем его нейронной сети и просим найти мяч. Она нам выдает этот мяч в некоей форме, – ну давайте представим, что это координаты прямоугольника. Мы ей говорим – ты не права, на самом деле координаты были вот такие. Потом мы вычисляем разницу между тем, что она нам предсказала, и тем, что должно было быть, подстраиваем ее параметры так, чтобы в следующий раз она не ошиблась. Мы делаем много тысяч, десятков тысяч, миллионов проходов по изображениям. Мы случайным образом берем изображение или набор изображений из датасета, просим предсказать, говорим «нет, не так» и подстраиваем. Такой процесс обучения обычно занимает часы или дни. Сейчас все больше становится рекордов, чтобы это делалось за минуты. Но пока что стандарт – это все еще часы или дни. В результате получается алгоритм, который умеет предсказывать на тех изображениях, которые он еще не видел.

А.Г: Мне здесь очень любопытна роль человеческого аннотатора. Мне она кажется ключевой. Часто, когда люди со стороны разговаривают про компьютерное зрение, может возникнуть ощущение, что нейросети супер объективны, лишены нашей человеческой субъективности. Можешь как-то прокомментировать? Насколько компьютерные системы отражают действительность такой, какая она есть? Или они biased?

А.П: Они точно biased, 100%. Обычно мы берем разметку, которая была сделана человеческими аннотаторами. С ними можно поговорить и указать, что мы не делаем такую дискриминацию или мы стараемся не применять расизм в подборе датасета. Но часто датасеты собираются немного по-другому. Вместо того чтобы размечать датасет с какой-то командой, бывает возможность собрать датасет автоматически из того, что уже есть в интернете. В этом случае в датасете представлены все те самые biases, которые есть в людях в интернете. Хороший пример на эту тему – приложение FaceApp, которое умеет менять возраст, пол по лицу. Я загружаю свою фотографию и могу посмотреть, как я буду выглядеть через 50 лет или как я выглядела ребенком, очень прикольно. Что важно – там есть такой фильтр, который говорит «сейчас я сделаю тебя очень красивым». Этот фильтр отбеливал людей, у которых темная кожа. Там скорее всего «красивые люди» были в основном белыми людьми. И сеть научилась тому что красивый человек = белый человек. Они это дело потом починили через сбор датасета более репрезентативным способом, но тем не менее.

А.Г: Важно подчеркнуть – в интернете воспроизводятся наши социальные установки, в том числе предубеждения и стереотипы. И люди, которые мало репрезентированы в сети, могут оказаться невидимыми для алгоритмов, просто потому, что нет данных, на которые можно опереться.

А.П: Да, сто процентов.

А.Г: И это, конечно, проблема, потому что мы берем технологии и несем в реальный мир, где эти люди все-таки существуют. Возникают разного рода казусы, далеко не все безобидные, как тот пример, который ты привела, где лицо отбеливается.

А.П: Да, есть, на самом деле, более жесткие. Есть алгоритмы распознавания лиц, которые значительно хуже работают на людей с темной кожей.

Технология распознавания лиц: как это делают в Китае и на Западе

А.Г: Здорово, что ты упомянула это, потому что я хочу поговорить о технологии распознавания лиц. За этим чрезвычайно интересно наблюдать из-за некоторых очень странных и очень пугающих применений этой технологии. Говоря про невидимость некоторых людей – насколько я успел понять, у технологии распознавания лиц большая проблема с темнокожими женщинами. По крайней мере, в материалах, которые мне попадались, частенько указывалось, что они хорошо умеют определять белых мужчин, мужчин темнокожих, а вот с темнокожими женщинами какая-то беда.

А.П: Слушай, нельзя сказать, что есть какой-то один алгоритм и у него вот такая проблема, потому что, на самом деле, этих алгоритмов много и они построены на разных датасетах. Например, в 19-м году, еще до пандемии, я успела слетать в Китай и поговорить там с товарищами, которые делают алгоритмы распознавания лиц. Я к этому отношусь двояко. С одной стороны, это действительно классная наука и они продвигают технологию. С другой стороны, основной пользователь этих алгоритмов распознавания лиц – китайское государство, то есть, они делают это на государственном датасете. Меня поразило, что есть государственный датасет китайцев и они на нем тренируют нейронную сеть. При этом есть некая государственная штука, которая может померить качество натренированной сети на своем приватном датасете и посчитать. Числа, за которые они борются – это второй знак после запятой. То есть, там качество сейчас 99,96%, а хочется 99,97%. Компании сильно борются за 97 сотых, потому что это означает много миллионов долларов, ведь тогда именно у них китайское государство закупит эту систему, чтобы распознавать китайцев на камерах, которые установлены на перекрестках.

А.Г: Ты имеешь в виду точность распознавания?

А.П: Да.

А.Г: Чтобы закрепить в сознании слушателей. Есть алгоритмы распознавания лиц, которые делают это с 99% точностью, с сотыми долями после запятой точностью.

А.П: Да. Причем они, на самом деле, очень недовольны текущим качеством, потому что в масштабах Китая одна сотая процента – это десятки тысяч человек, которых перепутали между собой. А в Китае, чтобы понимать, большая часть оплат сейчас происходит по лицу. Например, ты приходишь в будку с мороженым. Штука, в которой работает нейросеть, фотографирует меня, понимает, что меня зовут Аня и надо списать именно с моего счета деньги за мороженое. Поэтому это реальная проблема: деньги могут списать не с того человека, и они из-за этого сильно переживают.

А.Г: Вот эта точность – она для каких фотографий: для снимков в профиль, смотря в камеру, чтобы лицо ничего не закрывало? Или это для ситуаций, когда я закутан в три платка, у меня видно только глаза и переносицу и даже в таком случае она меня может опознать?

А.П: Слушай, ни то и ни другое. Это для ситуаций, когда ты спокойно идешь по улице или подошел к будке с мороженым. Не нужно специальным образом хмуриться и смотреть в камеру, она все поймет без тебя. Но должно быть видно лицо. Как эта штука работает сейчас с масками – я, честно говоря, не знаю.

А.Г: То, что эта технология так популярна у китайского государства, вполне объяснимо. Я пока готовился к разговору, посмотрел видео, как журналистки и журналисты ходят по Китаю и удивляются тому, как эта технология применяется. Я видел в сюжете, как журналистка показывает, как устроена выдача туалетной бумаги в общественном туалете.

А.П: О да.

А.Г: Да, это правда? То есть, ты подходишь к туалету и она тебе «вот тебе кусочек бумаги, дорогое лицо»?

А.П: Все так.

А.Г: И если тебе надо больше по каким-то причинам, она говорит «подождите 10 минут, вы уже получали».

А.П: Все правильно. Культура пользования туалетом у китайцев вообще сильно отличается от того, что я видела в любой другой стране.

А.Г: Любопытное применение технологии. Неужели такой дефицит с туалетной бумагой, если нужен такой диспенсер?

А.П: Если честно, я не знаю, стоит ли нам погружаться в туалетную тему, но вообще туалеты в Китае делятся на две категории – те, в которых вот так, и те, в которых ты должен платить за бумагу. Поэтому эти лучше.

А.Г: Отсюда из России смотрится довольно диковато. Другой сюжет, который мне запомнился – это технология распознавания лиц в роли консьержа на входе в любое помещение, любой дом. Камера по лицу регистрирует входящего, открывает перед ним дверь, если он здесь живет или как-то зарегистрирован. В систему также попадает, кто приходит к нему в гости, в каком количестве и потом это все можно отследить.

А.П: Все так, да. Это не то, чтобы в каждом доме или офисе, но почти везде. Я так понимаю, что они еще достаточно быстро прикрутили к этому систему измерения температуры, поэтому можно еще и посмотреть, не болеет ли этот человек прямо сейчас.

А.Г: Это любопытно. Настолько, что журналистка спрашивает такого консьержа, который управляет этой системой в одном из домов – скажите, вы собираете данные, про которые не можете мне сказать, правда? И он говорит «ну да, вы же понимаете, что я не могу все сообщить». Получается, там есть какая-то еще потайная сторона сбора, про которую не всем известно.

А.П: Сто процентов. Сейчас в сообществе исследователей нейронных сетей растет все большее недовольство на тему распознавания лиц, пола, возраста, этнической принадлежности людей по фотографиям или видео. Поэтому многие библиотеки, в которых раньше были стандартные алгоритмы для этого, поудаляли их в последние несколько месяцев из этических соображений. Нехорошо просто так собирать данные о том, как люди живут, общаются и вообще.

А.Г: Но это не про Китай.

А.П: Нет.

А.Г: Давай попробуем обсудить, как с этим во всем остальном цивилизованном мире, в западных странах, например. Насколько я успел понять, в Штатах нет федерального законодательства на тему алгоритмов, но есть разные региональные решения, в том числе о том, что в некоторых городах запрещены такие сборы данных. Как в других странах к этому относятся?

А.П: Все больше запрещают. Обычно запрещают, не вообще детектировать лица у людей и распознавать их, а, например, запрещают полицейским этим пользоваться. Я слабо себе представляю, как можно действительно реализовать этот закон, проверить, что каждая умная камера делает внутри себя и не распознает ли она случайно лицо. Это может привести к тому, что не будет какой-то единой базы, которая идентифицирует мое лицо и мое имя, потому что это нужно делать на масштабе страны, а не на масштабе региона или города. Но в масштабах магазина, например, распознать меня, как постоянного покупателя, я не думаю, что что-то может запретить провайдеру такой технологии.

А.Г: Запреты не на ровном месте появляются. У людей есть точно обеспокоенность по поводу такой технологии и не напрасно. Хочется поговорить про то, что вызывает такое беспокойство. На примере Китая довольно хорошо видно – я бы не хотел, чтобы мне туалетную бумагу выдавали по лицу. И только определенное количество. Получается, что когда ты выходишь на улицу и попадаешь в поле зрения любой камеры, ты мгновенно становишься объектом взаимодействия с этой системой, хочешь ты того или нет. При том та точность, с которой эти алгоритмы способны лица распознавать, подсказывает, что спрятаться невозможно, учитывая проникновение практически на каждый угол каждого дома камер наружного наблюдения. Такое чувство, что присказка про большого брата совсем рядом. Как ты сама к этому относишься? Не пугает?

А.П: Я чувствую обеспокоенность тем, что есть классная, крутая технология, которая, возможно, попадет не в те руки и будет использована не так. Мы в команде приняли решение, что мы не будем разрабатывать ничего, что связано с любыми военными или государственными применениями этой технологии. Не хочется сделать что-то такое, о чем я буду жалеть через условные пять лет. Но государство и военные, на самом деле, очень интересуются этой технологией, и игнорировать это нельзя. Если честно, я не думаю, что можно целиком и полностью на текущем этапе это отменить или запретить. Но точно нужен открытый диалог между людьми, которые понимают, как это работает изнутри, и людьми, которые хотят ее применять для разных целей.

Мы в команде приняли решение, что мы не будем разрабатывать ничего, что связано с любыми военными или государственными применениями этой технологии. Не хочется сделать что-то такое, о чем я буду жалеть через условные пять лет. ч

А.Г: Мы, в том числе, для этого собрались. Хочется поговорить про последствия. Кто-то может подумать – ну а что плохого? Ну будет у полицейских возможность распознать преступника по лицу. Разве это плохо? Чем это может быть плохо? Идет человек в толпе, а система его распознает и помечает как человека, совершившего преступление какое-то время назад. Тут же приехали полицейские, упаковали его и все. Что в этом плохого?

А.П: Здесь может быть применена ровно та логика, которая работает для cookies. Человека явно предупреждают, что с него собирают cookies, и он может отказаться. Только здесь ты не можешь отказаться, вот висит эта камера и ты от нее не можешь скрыться. Я думаю, что здесь проблема в отсутствии выбора. Готов ли человек, чтобы его снимала камера или не готов. Для cookies такой выбор уже есть, он не целиком защищает человека от рекламных трекеров, но уже достаточно сильно. Если посмотреть в эту индустрию, трекинг пользователей интернета для того, чтобы им таргетированную рекламу показывать. Люди достаточно обеспокоены этой проблемой, компании пытаются найти способы, которые бы защищали человека от слежки. В последнем релизе компании Apple они сильно запретили трекинг за своими пользователями в Safari, например. В индустрии, связанной с искусственным интеллектом, такого пока не происходит, возможно потому, что она сильно моложе.

А.Г: Что меня лично беспокоит в применении такой технологии. Дело же не в том, что тебя распознает камера на входе в магазин и говорит «привет, Александр» или «привет, Анна, добро пожаловать обратно в наш магазин, вот вам скидка 20% на ваши любимые товары». Это довольно безобидно, было бы здорово, если бы мой магазин, в который я постоянно захожу, меня узнавал, почему бы и нет. Другое дело – это же всепроникающая система, камеры есть абсолютно везде. Если все это объединяется в единую систему наблюдения, то возникает очень нехороший соблазн восстанавливать весь его путь. Не просто за сегодня, а за все время наблюдений, можно же посмотреть, хчем человек занимался месяц назад, куда он ходил, что он делал, с кем общался. И тут возникает странный эффект – все перестает быть приватным.

А.П: Я согласна. Быть все время под наблюдением чего-то такого, что непонятно, в чьих руках находится – это неприятная мысль.

А.Г: Хуже того – тебя нужно как-то опознать, а значит нужно собрать данные и обучить. Значит, все фотки, которые я выкладывал в интернет, Facebook или ВК, кто-то их собрал, проанализировал, загрузил в датасет и теперь использует, чтобы меня идентифицировать. То есть там, в этой базе, могут быть фотографии меня, которых я вообще никогда не видел. Они сделаны другими людьми, а я просто попал в кадр. Например, я хожу по Питеру, кто-то фоткается, я попал случайно на камеру, кто-то это выложил в интернет и алгоритм считал мое лицо и все, я в базе.

А.П: Уже была такая история, Facebook показывал твоим друзьям какие-то другие фотографии, на которых есть ты, и говорит «Это правда, что это ты?». Ты даже можешь не знать, что такие фотографии были сделаны. Зачем их показывать твоим друзьям, это вообще какая-то странная история.

Будущее с технологией компьютерного зрения: пессимизм против оптимизма

А.Г: Такое чувство, что пройдет еще пара лет, ну с десяток в лучшем случае, и мы окажемся в мире, где эти алгоритмы будут настолько всепроникающими, что они будут везде. Даже если их запретят в отдельной стране, хотя вряд ли это произойдет в России. Мы так или иначе будем объектами взаимодействия с этой системой. Но вот ты сказала – а вдруг технология попадет не в те руки? Я когда слышу «те руки», я хочу спросить – что это за руки такие и как можно понять, те они или не те? По-моему, когда технология становится настолько мощной и настолько всепроникающей, уже не может быть тех или не тех рук. Все руки такие себе. Сила технологии и соблазн настолько велики, что это неизбежно. Просто хочется понять – что это за мир будет?

Например, я иду по улице и биллборды вместо того, чтобы показывать общую рекламу, будут показывать рекламу лично мне. Они знают, куда я иду, где я был только что, с кем я только что разговаривал. Можно сюда нафантазировать реалистичную интеграцию с социальными сетями, другими системами, которые у нас есть. Что это объединится в такую всепроникающую, всесуществующую, всевидящую систему наблюдений и взаимодействий. Любое приватное действие становится заведомо невозможно и хуже того, как ты и сказала, отказаться от этого нельзя. Если сейчас я могу удалить страницу в социальных сетях или не заводить ее изначально, то скрыть лицо невозможно. Даже если ты скрываешь лицо, ты автоматически виден как человек, скрывающий лицо, это не становится менее подозрительно.

А.П: Я более позитивно смотрю на будущее. Я сказала, что полностью такие алгоритмы не запретишь, внутри какого-то одного бизнеса их все еще можно будет применять. Но какую-то систему, которая будет работать одновременно, нельзя будет сделать. Потому что тот же самый Google, Apple или Facebook сейчас активно пытаются засудить за монополизацию рынка. А объединение какой-то мощной системы во что-то одно и очень общее – это и есть монополизация, только на следующем уровне знания о пользователях. Сейчас же проходят массовые суды на тему того, чтобы поделить Google на части, запретить Google Chrome пользоваться информацией о поиске людей в интернете. Разделить эти бизнесы так, чтобы они не могли пользоваться общей информацией внутри Google. Я думаю, что здесь какая-то такая же штука нам грозит, только в большем масштабе. То есть какие-то судебные истории, законодательные регуляции. Системы будут существовать, но в таком виде тебе показывать рекламу будет нельзя.

А.Г: Остается надеяться на то, что корпорации не смогут договориться. Слабое утешение, честно признаться, на пороге вхождения в замечательный новый мир. Мне все эти разговоры про исчезновение приватности напоминают то, что было при появлении и распространении технологии рентгена, в начале прошлого века. Когда только появились первые рентген-аппараты и люди как-то начали про них узнавать, появилось множество тревожных мнений, буквально созвучных с теми, что мы озвучиваем сегодня. Якобы у полицейских будут портативные рентген-аппараты и они будут ходить просвечивать насквозь дома и видеть, что там происходит. Даже у Замятина в «Мы» были стеклянные дома с прозрачными стенами. Может, мы зря переживаем и мы просто на новом витке все исчезающей, но никак не исчезнувшей приватности? Может, мы что-то придумаем? Появятся какие-нибудь шляпы, которые тебя скрывают.

А.П: Они уже есть. Есть специальные очки или способы нанести макияж так, чтобы тебя не распознавали системы видеонаблюдения. Я думаю, что все будет нормально и это просто новый виток, с которым мы справимся. Эта регуляция придет со стороны государств. Они обеспокоены тем, что большие корпорации монополизируют рынок и по сути становятся настолько же сильными, как и государства. Государства пытаются с этим делом побороться. На самом деле, я думаю, что совсем недалек тот виток, когда эти переживания нам будут казаться чем-то прошлым, когда мы начнем внедрять себе какие-нибудь чипы в мозг, вот тогда такие же разговоры на новый уровень выйдут.

А.Г: Мы уже будем говорить про приватность мыслей и внутреннего мира.

А.П: Да, да. Тут Оруэлл будет еще больше вспоминаться.

О системе социального мониторинга

А.Г: Давай вернемся к Китаю и поговорим про связанную со всеобщим наблюдением систему социального мониторинга, социальных очков. Все ваши поступки становятся видимыми и можно назначить каждому действию значение с плюсом или минусом в зависимости от того, считаем ли мы это действие хорошим или плохим, вычислить ваш социальный рейтинг и на основании этого рейтинга давать вам скидки в магазинах или наоборот. Как тебе эта идея? Потому что в Китае она, судя по всему, надолго.

А.П: Я не думаю, что она будет внедрена в странах с западной культурой. Меня поразило то, что понятие личных границ, которое есть у меня, оно у китайцев совершенно другое. Насколько близко друг к другу можно подходить или как громко можно говорить, когда кто-то рядом стоит. Как можно себя вести. Эти вещи просто совершенно по-другому работают в их культуре. Понятие личных границ там в значительно меньшей степени существует. Я не думаю, что такую систему можно будет внедрить в странах, где есть понятие личного пространства, в которое нельзя проникать. По крайней мере, я ожидаю сильный отпор со стороны общества.

А.Г: То есть ты видишь в этом такое противостояние индивидуализма и коллективизма?

А.П: Да, сто процентов. Западное общество не настолько коллективное, чтобы можно было внедрить что-то такое. Вот в Китае меня поразило – у них другая культура в плане взаимодействия друг с другом, взаимодействия внутри компаний, университетов, компаний и государства. Это работает по-другому. Поэтому я думаю, что это воспринимается по-другому жителями.

А.Г: У меня другая проблема с социальными рейтингами. Мне кажется, она невозможна в западном обществе не потому, что мы все такие индивидуалисты. Я, кстати, в это не верю. Мне кажется, что у нас, в России, по крайней мере формируется некоторое коллективное самосознание и ощущение, что мы в обществе живем, а не каждый сам по себе. В западных странах, мне кажется, оно еще более развито. Есть некоторое ощущение, что мы в одной лодке находимся, а не плывем порознь. Основная претензия для меня заключается в том, что то, что хорошо и что плохо, кем-то решено и как-то запрограммировано и в этой системе заложено изначально. А если оно заложено изначально, оно становится ригидным. Кто те люди, которые программируют систему, они ведь как-то сразу хозяевами мира становятся, ведь они решают, что хорошо, а что плохо. И получается, что мы, как общество, будем лишены возможности саморефлексии. А может быть, то, что мы считали плохо вчера, уже хорошо, или наоборот? Далеко за примером ходить не надо. Столетие с небольшим назад, даже меньше, люди считали, что рабство – это нормально. А сейчас нам кажется, что это ну, несколько устаревшее мнение. А как быть, если это все закреплено на уровне IT системы, которая назначает социальный рейтинг на основании тех представлений о хорошем и плохом, которые были когда-то в прошлом и не факт, что уже актуальны сейчас. Сложно представить, как это может работать. Мне вспоминается сразу сериал The Good Place, «Хорошее место», не знаю, как его на русский перевели. Ты его смотрела?

А.П: Слышала, но не смотрела.

А.Г: Очень хороший сериал, он как раз про этику в современном обществе. Ничего спойлерить не буду, но там есть система, которая определяет, кто попадает в рай, а кто в ад. Есть балловая система, по сути, то же самое, что в Китае сейчас. Определенные действия засчитываются с положительным знаком, другие – с отрицательным. Не зная системы, жить и принимать рациональные решения и жить хорошую жизнь с точки зрения системы просто невозможно. Это очень хорошая критика наших представлений об этике. Если мы лишены возможности принять осознанный выбор, то как вообще мы можем жить праведную жизнь? Все это настолько странно, произвольно, не известно, на каких правилах основано. Да еще и подвержено изменениям или ошибкам. Никто же не застрахован от того, что программист перепутает одну переменную с другой и вот, пожалуйста.

А.П: Да-да, система ошибется и ты попадешь в те самые 0,04% процента людей, которых не различают друг с другом. Я согласна. Плюс непрозрачность этих правил – это огромная проблема. Их, с одной стороны, нельзя сделать прозрачными, потому что тогда всем людям будут доступны данные о всех остальных. А с другой стороны, если это непрозрачная система, то как и кем принимаются решения – тоже совершенно непонятно. В общем, я не вижу здесь плюсов, но вижу много-много минусов.

А.Г: Ты, кстати, классную штуку сказала. А что, если эта система будет доступна абсолютно всем? Всепроникающее наблюдение и всепроникающее знание о другом. Вот просто представь себе мир, в котором у каждого есть супер навороченные Google очки или линзы, или чип в мозгу с системой распознавания лиц. Мы идем в толпе и про всех знаем абсолютно все. Что делал человек вчера, что позавчера, с кем он дружит, где он был, вот его фотография, вот, где живет его мама. Насколько странный это мир! Мне сложно представить человеческое взаимодействие в нем. Например, ты встречаешься с кассиром в пятерочке и понимаешь, как он здесь оказался, вся его жизнь у тебя перед глазами. И у него твоя тоже.

А.П: Прошлая стрижка была лучше! Да, очень странный мир.

А.Г: Представить в нем нормальное человеческое взаимодействие совершенно невозможно. Так что не хочется в нем оказаться.

А.П: Это муравейник скорее. Это должно быть общество, в котором вообще нет эгоизма. Вообще нет никакого желания эксплуатировать эту информацию, а только желание, например, всем вместе лететь на Марс. Но люди не так устроены, поэтому я думаю, что это невозможно.

А.Г: Есть ощущение, что найдутся эксплуататоры. Нет уверенности, что все будут такими сознательными и не будут пользоваться себе во благо и другим во вред. Хотел бы тогда пожелать твоей компании и всем компаниям, которые занимаются разработкой таких систем, больших успехов. Но важно, чтобы был диалог с обществом, чтобы мы все были готовы к тому, что происходит, а не внезапно проснулись в 1984-м.