Physical AI: От нейросетей к гуманоидным роботам

Распечатайте четыре колонки сенсоры/модели/контроль/актуаторы, добавьте middleware и safety поперёк. В каждой ячейке: компонент, частота, владелец, главный отказ, метрика здоровья. Пустые ячейки — ваш backlog, не «мелочь потом».

Если вендор приходит с одной колонкой «наша foundation model», попросите заполнить остальные при нём. Пауза бывает красноречивее слайдов.

Пример сквозного сигнала ошибки

Оператор видит: «робот стукнул лоток». Разбор по стеку:

Актуатор: ток в пределах, удара драйвер не резал — порог высокий.

Контроль: траектория прошла близко к краю, коллизионная модель лотка устарела после замены на более широкий.

Политика: цель place поставлена в координатах старого лотка из кэша памяти сцены.

Восприятие: трек лотка потерян на 0.4 с из-за блика; память не инвалидировала pose.

Сенсор: автоэкспозиция уехала; health «overexposed» не был подключён к монитору.

Safety: зона скорости не требовала останова на этом ударе (низкая масса), поэтому всё «по нормам», но продукту плохо.

Один удар — шесть рычагов. Без стека обсуждение закончилось бы «надо дообучить». С ним — чинят экспозицию и TTL памяти раньше, чем датасет.

Edge hardware: куда посадить слои

Типичная компоновка манипулятора:

микроконтроллеры/драйверы у суставов;

realtime PC или вендорский контроллер для серво;

бортовой GPU/accelerator для политики и части perception;

опционально цеховой сервер для тяжёлого обучения и архива;

облако — для обучения оффлайн, магазина моделей, мониторинга парка, не для импеданса.

Тепло, пыль, вибрация, питание — часть ТЗ на компьютер, не «возьмём игровой ПК». Watchdog на завихание GPU обязателен: при soft lock инференса контроллер обязан уйти в safe.

Гуманоид добавляет раздачу вычислителя по корпусу, кабель-менеджмент как failure mode, и жёсткий энергобюджет: каждый ватт на инференс конкурирует с шагом. Здесь стек режут безжалостно: дистилляция, меньший FPS политики при ходьбе vs манипуляции, выключение тяжёлого VLM на марше.

Сетевые границы

Разведите сети: safety bus, realtime motion, vision/data, office/cloud. Смешение «всё в одном коммутаторе» заканчивается тем, что бэкап на NAS роняет частоту камеры. QoS в ROS 2 не спасает от физического шторма трафика — спасает топология.

Для телеопа добавьте оценку задержки канала и автоматический freeze при превышении. Стек без этого правила на WAN-телеопе опасен.

Версионирование всего стека

Версии: механический инструмент, калибровки, прошивки драйверов, контейнер runtime, веса политик, конфиг зон, промпт планировщика. Эпизод пишет набор версий. Иначе «у нас success упал» нереконструируем.

Это ближе к aerospace configuration management, чем к «pip freeze иногда». Начните хотя бы с sbom+hash весов+id калибровки.

Тесты по слоям

Сенсоры: битые кадры, обрыв, засвет, сдвиг калибровки.

Perception: регресс на золотом наборе полок.

Политики: симовые сценарии + железный протокол из N циклов.

Контроль: слежение, ограничение усилия, поведение при опоздании команды.

Safety: обязательные проверки по чеклисту нормы (не путать с ML-тестами).

Сквозные: инструкция→цикл, отмена, потеря камеры на шаге 2.

Пирамида тестов без слоя контроля — пирамида самоуспокоения.

Стек данных (параллельный)

Рядом с runtime-стеком живёт data stack: сбор, QC эпизодов, хранение, разметка, обучение, оценка, выкат. Его владельцы часто другие. Соединение — через registry артефактов и правила, какая версия модели на каком роботе.

Без data stack Physical AI снова схлопывается в классику плюс разовые веса с ноутбука инженера.

Когда упрощать схему

Если продукт — AMR без манипуляции, колонка «политики хвата» пустеет, остаётся навигация и флот. Если продукт — vision-inspect без движения, вы вообще не в этой книге. Если продукт — телеоп-манипулятор с лёгкими ассистами, слой политик тонкий, слой UI и связи толстый. Стек должен худеть под задачу, а не толстеть под хайп.

Признак лишнего блока: нет метрики здоровья и нет владельца. Удаляйте или осознанно помечайте «R&D only, не в пилоте».

Чеклист закупки «по стеку»

Перед подписанием контракта на платформу пройдитесь:

Какие слои входят в коробку, какие — интеграция за отдельные деньги?

Где крутится инференс навыков при отвале WAN?

Есть ли доступ к joint torque/velocity limits программно?

Можно ли подписать свой safety PLC?

Как выгружаются эпизоды и веса?

Какой цикл поддержки драйверов камеры X, которую вы уже купили?

Кто чинит TF после замены инструмента — их field engineer или ваш?

Пустые ответы переводите в стоимость риска, не в «потом разберёмся».

Связь со следующими частями книги

Части про восприятие, мозг, тело, симы, runtime и safety развернут соответствующие слои. Эта глава — оглавление ответственности. Если позже текст про SLAM или RL будет спорить со стеком, побеждает стек: сначала куда встаёт кусок, потом его внутренности.

Рынок (следующая глава) часто продаёт один слой под видом всего стека. Читатель с таблицей владельцев и частот замечает подмену быстрее.

Сквозной сценарий: что происходит за 2 секунды хвата

Чтобы стек не остался абстракцией, разложим один grasp по времени (порядок величин, не спецификация изделия).

t=0.00 с — оператор подтвердил план; SkillManager стартует grasp(track=17).

t=0.00–0.05 — проверка preconditions: трек свежий (<100 мс), cov позы в норме, зона свободна, заряд ок.

t=0.05 — политика получает кадр+проприо, выдаёт target; контроллер строит подход.

t=0.05–0.40 — подход; perception обновляет трек; если cov взрывается — abort.

t=0.40–0.70 — сход на захват; импеданс; ток/сила в мониторе.

t=0.70–0.90 — закрытие гриппера по условию силы/ширины; успех/неуспех.

t=0.90–1.20 — подъём на безопасную высоту; проверка «объект не выпал» по силе/зрению.

Дальше — place или hold.

Где чей CPU: политика и часть perception на бортовом GPU; контроль на realtime; safety на своём контроллере параллельно. Где нельзя ждать LLM: весь интервал после t=0.05. Где логировать обязательно: precondition fail, abort причины, пик силы, version policy.

Если ваша команда не может заполнить такую шкалу для своего навыка — стек ещё не собран, даже если все коробки куплены.

Качество питания и EMC

Игнорируемый кусок стека. Серво и GPU на одной грязной линии без фильтра дают редкие глюки, которые ML спишет на distribution shift. Заземление камер, экраны кабелей энкодеров, раздельные преобразователи — скучная электрика, без которой датасет шумит.

Проверьте: что происходит при старте компрессора по соседству; при сварке в соседнем пролёте; при разряде батареи до порога. Health питания — отдельный топик, не «сайт упал сам».

Инструментальная смена как событие стека

Смена пальцев/присосок — событие для всех слоёв: механика (TCP), сенсоры (возможна смена камеры на инструменте), perception (другой вид), политика (другой action effect), контроль (другая инерция), safety (другие усилия). Проведите через workflow: нельзя просто «прикрутили ночью». Флаг tool_id в каждом эпизоде. Политики либо tooling-conditioned, либо раздельные артефакты.

Гуманоиды с сменными кистями упираются сюда же, только больнее.

Складской мобильный стек vs ячейка

На мобильном манипуляторе добавляются: локализация, навигация, планирование базы+руки, управление энергобюджетом поездок, пересечение с людьми в проходах. Частоты навигации и манипуляции разные; приоритет safety проходов часто выше красоты хвата. Стек рисуйте с двумя «позвоночниками» — mobility и manipulation — и общим safety/observability.

Ошибка — запустить обучение хвата до того, как навигация стабильно приезжает к столу с нужной точностью. Стыковка базы к целевой позе — часть стека, не «потом».

Человеко-машинный слой в схеме

UI супервизии, пульты, индикаторы режима, звук fault — официальный слой. Его нет на многих архитектурных картинках, зато он есть в каждом инциденте («никто не заметил мигание»). Владелец — продукт + robotics UI. Требования: читаемость в перчатках, одна рука, шум, плохой Wi-Fi до планшета.

Связь с телеопом: консоль — актуатор человеческого навыка. Задержка, эргономика и запись эпизодов входят в стек данных.

Обновления по воздуху и по цеху

OTA политик соблазнительна. Делайте canary (один робот, одна смена), health gate (нет роста safety-stop), быстрый rollback, запрет OTA при активном контакте, окно обновления согласованное с OT. Прошивки драйверов — ещё осторожнее, чем веса.

Стек без политики обновлений — бомба замедленного действия на парке из двадцати машин.

Соответствие нормам без самодеятельности

Не перечисляем здесь конкретные номера стандартов как юридическую консультацию — они зависят от юрисдикции и типа машины. Принцип стека: назначьте слой и владельца, который работает с нормами и с notified body / внутренним safety engineer. ML-лид не подписывает safety case «потому что читал блог». Архитектура должна позволять вынуть обучаемые куски из доказательной базы защитных функций.

Метрики здоровья по слоям (дашборд)

Сенсоры: % времени healthy, сдвиги калибровки, температура камер.

Perception: track loss rate, mean cov, latency.

Политики: success, abort reasons, inference latency p95, OOM count.

Контроль: tracking error, limit hits, watchdog trips.

Актуаторы: перегревы, моточасы до сервиса, пики тока.

Safety: stops by cause, override events.

Data: эпизоды/сутки, % брака разметки, очередь телеопа.

Один экран на стену. Если смотрите только GPU utilization — вы следите не за тем.

Сборка стека в организационном смысле

Первые две недели пилота часто уходят на кабель и TF, не на loss. Заложите это. Параллельно поднимите логирование — без него обучение потом не из чего. Политики подключайте, когда observation стабилен хотя бы день-два без ручных «починок на лету».

Красный флаг: data scientists ждут «готовую платформу», robotics ждут «готовую модель». Стек требует совместного стенда с первого дня. Иначе получите два полустека.

Короткие ответы на частые споры

«Нужен ли ROS 2?» — не священная корова, но готовая экосистема драйверов и инструментов экономит месяцы. Можно без него, если готовы писать эквивалент.

«Нужен ли симулятор в стеке?» — да как инструмент data/test, нет как замена железу.

«Можно ли без силового датчика?» — можно, с токовым прокси и честным ростом вмешательств на хрупком.

«Обязателен ли лидар?» — для многих настольных ячеек нет; для mixed traffic в проходе часто да или эквивалент.

«Куда деть цифровой двойник?» — рядом с data/test, не вместо runtime.

Итог

Стек Physical AI — это договорённость о частотах, контрактах, владельцах и поперечном safety. Сенсоры дают времяактуальные измерения, восприятие — объекты и неопределённость, модели — навыки и цели, контроль — движение в конверте, актуаторы — силу, middleware — доставку, данные — память изменений. Кто продаёт один этаж как здание, продаёт фасад.

Дальше — рынок и игроки: какие этажи они реально закрывают, а какие оставляют вам под видом «платформы под ключ».

Карта отказов: что ломается чаще на первых месяцах

По опыту смешанных команд (оценка, не статистика по отрасли) первые месяцы пилота редко убивает «слабая архитектура сети». Убивают:

разъёмы и кабели камер после уборок;

рассинхрон времени после перезагрузки без NTP/PTP;

невидимый сдвиг крепления;

переполнение диска логов в пятницу вечером;

обновление драйвера GPU «между делом»;

смена освещения цеха без уведомления;

оператор, который отодвинул стол на 5 см ради удобства.

Стек обязан делать эти события видимыми. Health крепления не измерить напрямую — измеряйте прокси: рост калибровочной ошибки, внезапный drift success, алерты по температуре/питанию. Заведите runbook: «если success упал на 15 пунктов за сутки — сначала камеры и TF, потом обучение». Иначе data science начнёт дообучать шум.

Контейнеризация vs realtime

Контейнеры удобны для perception и политик. Realtime контроль часто живёт вне контейнерной утопии — отдельный образ ОС, isolated cores, аккуратные IRQ. Смешивать «весь стек в одном docker compose на Ubuntu desktop» можно на лабораторном столе. На ячейке у линии — риск джиттера.

Практичный компромисс: realtime контроллер на вендорском или RT-патченном контуре; выше — контейнеры с QoS и cpuset; между ними — чёткий протокол (shared memory / строгое RPC) с дедлайнами. Не тащите Python-сборщик мусора в петлю 1 кГц.

Секреты, ключи, модели

Стек безопасности ИТ тоже входит: ключи от облака вендора на роботе, подписанные модели, запрет на неподписанные веса, аудит кто выкатил. Скомпрометированный ноутбук инженера с доступом OTA — сценарий не фантастики. Разделяйте роли CI, подписания и выката. Physical AI не отменяет basic security hygiene; он добавляет физический blast radius.

Пример разметки владения на 6 человек

Маленькая команда:

А — механика, грипперы, запасные, энерго.

Б — сенсоры, калибровки, TF.

В — perception + UI оператора.

Г — данные, телеоп, обучение политик.

Д — control, runtime, сети.

Е — safety/OT + продукт метрики (иногда два человека).

На стенде в понедельник каждый говорит статус слоя за три минуты. Нет статуса — слой без владельца. Масштаб до 20 человек размножает те же роли, не добавляет «мистического архитектора ИИ», который знает всё.

Стек и симулятор: где он сидит

Симулятор — зеркало слоёв 1–5 с дырами. Полезное зеркало: можно гонять контроль и политики. Кривое зеркало: идеальные сенсоры без задержки. Встраивайте в CI сим-тесты контроля и skill abort. Не встраивайте сим-success как единственный gate на прод.

Доменная рандомизация — часть data stack, конфиги рандома версионируйте рядом с весами. Иначе «тот же сим» через месяц уже другой.

Когда добавлять второй робот

Второй робот в парке проверяет стек сильнее статей. Вылезают: дрейф калибровок между корпусами, разница прошивок, предположение «путь к модели один», нехватка tool_id, хрупкость OTA. Правило: не масштабировать парк, пока конфигурация и логирование не воспроизводят эпизод с робота #1 на #2 без ручных правок.

Стек готов к двум машинам, когда install — скрипт, а не устная традиция.

Словарь слоя для онбординга новичка

Дайте новому инженеру одностраничник: где репозитории каждого слоя, какой дашборд смотреть, кого будить ночью по какому алерту, где запрещено менять конфиг без ревью. Стек без онбординга живёт в головах двух людей и умирает в отпуске.

Финальный акцент главы

Если вы можете указать путь сигнала от фотона на матрице до тока в моторе и путь обратного сигнала от срабатывания силы до abort в SkillManager — стек у вас есть. Если на любом участке путь «через магию» — там и взорвётся пилот. Рисуйте пути, назначайте имена, меряйте частоты. Модели подождут лишний день; кабель без метки не подождёт.

Приложение к главе: однодневный аудит стека

Утро: снять схему as-is с портов и топиков, не as-designed.

Полдень: прогнать один навык с полным логированием и заполнить временнýю шкалу grasp.

День: выключить по очереди камеру, сеть в облако, инференс-сервис — зафиксировать фактическое поведение vs ожидаемое.

Вечер: список дыр с владельцами и датами, без новых фич.

Такой аудит дешевле недели споров о выборе foundation model. Часто после него выбор модели сам сужается: видно, что узкое место — крепление и TTL трека, не размер трансформера. Повторяйте аудит после каждой смены инструмента и после каждого крупного OTA. Стек — живой договор; бумага двухмесячной давности уже врёт.

Что перенести в backlog сразу после чтения

Три задачи без романтики:

1. Нарисовать as-is стек с частотами и фамилиями — один артефакт в wiki.

2. Включить health-флаги камер в монитор abort — один PR.

3. Запретить выкат весов без записи version+calib_id в эпизод — одно правило CI.

Если через две недели ни одного пункта нет, глава прочитана как развлечение. Стек не требует идеальной архитектуры с первого дня; он требует видимости. Видимость дешевле новой модели и быстрее окупается на первом же сбое ночной смены. Дальше можно спорить о рынке: хотя бы будет ясно, какой слой вы покупаете у игрока с логотипом, а какой всё равно останется вашим.

Ещё раз коротко: сенсоры, восприятие, модели задач, контроль, актуаторы, middleware, данные и поперечный safety. Пустой слой без метрики — риск. Слой без владельца — тот же риск под другой фамилией. С этой картой переходим к игрокам и ставкам рынка, уже умея отделять фасад платформы от несущих стен.

Последняя практическая заметка

Не ждите «идеального стека» из учебника автопроизводителя. Ждите стека, в котором на каждый сигнал от камеры до мотора есть имя процесса и алерт. Добавьте к алерту runbook из пяти строк — и вы уже обогнали половину пилотов, где ночью звонят «тому, кто однажды поднимал ROS». Когда рынок будет обещать вам общий интеллект в железной коробке, возвращайтесь к этой схеме и считайте пустые клетки. Пустые клетки — ваш объём работ, не их пресс-релиз. Так проще сохранить деньги и нервы до момента, когда навыки реально пойдут в серию.

И да: если аудит as-is занимает больше дня, у вас не сложный стек — у вас недокументированный. Документирование в этом случае и есть работа первой очереди, раньше любой новой политики хвата.

На этом стек как карта ответственности закрыт; детали слоёв — впереди по частям книги.

Пустые клетки на схеме после встречи с вендором — нормальный результат; главное не дать им исчезнуть из протокола.

Короткий добор: после аудита as-is назначьте дату повторной проверки стека через месяц — конфигурация плывёт сама, если её не ловить.

4. Рынок и игроки

Рынок Physical AI и гуманоидов шумный: раунды, ролики, обещания смен без людей, сравнения с парком автомобилей. Для инженера и продакта шум опасен тем, что подменяет работу по ячейке спором о «победителе гонки». Эта глава — про структуру ставок, типы игроков и вопросы закупки. Точные цифры глобального TAM здесь почти бесполезны: открытые оценки расходятся на порядки и быстро устаревают. Где без порядков величин не обойтись, будет пометка «оценка». Где цифры нет — обойдёмся без неё.

Что именно покупают

Под одним словом «рынок» смешивают разные сделки.

Платформы манипуляторов и AMR с частично обучаемым стеком.

Гуманоидные корпуса и их аренда/пилот.

Симы, датасеты, foundation weights, облачный флот обучения.

Интеграторы, которые собирают ячейку под ключ.

Компоненты: редукторы, сенсоры, грипперы, контроллеры, accelerator modules.

Софт: middleware, safety, MES-коннекторы, телеоп.

Ваш бюджет почти наверняка попадёт в несколько корзин сразу. Ошибка — сравнивать стартап с человекоподобным торсом и поставщика вилочных AMR как одну категорию «роботы с ИИ».

Гуманоиды: ставка на форму

Ставка гуманоидного сегмента понятна: мир заточен под человека — двери, складирование на двух уровнях, инструмент, лестницы. Если машина проходит в те же габариты и пользуется тем же инструментом, не надо перестраивать завод. Цена ставки: энергоэффективность ног хуже колёс на ровном полу, сложность баланса, стоимость актуаторов, ожидания публики и регуляторов, сервис двух десятков DoF.

Кто играет (типы, без табеля рангов):

крупные технологические компании с вертикальной интеграцией симов, моделей и пилотов;

автопроизводители и их венчурные ветки — смотрят на заводские линии и на поставщиков;

стартапы корпусов, которые продают железо + базовый стек и ищут данные через ранних клиентов;

стартапы «мозга», которые хотят жить на чужих корпусах;

контрактные производители и поставщики актуаторов, без которых корпуса не взлетят в серии.

Публичные демо гуманоидов часто показывают ходьбу и простой хват. Серийная экономика часа работы на конкретной операции раскрывается хуже. Для закупки важнее протокол пилота, чем высота прыжка в ролике.

Оценка (не прогноз): на горизонте ближайших лет массовая замена труда гуманоидами в неструктурированном доме выглядит менее зрелой, чем узкие пилоты на заводах и логистических площадках с ограниченной зоной. Если вам продают обратное без зоны и метрик — торгуетесь с повестью, не с поставкой.

Не гуманоиды: тихий объём

Складские AMR, сортировка, паллетизация, стационарные манипуляторы с 3D-зрением, инспекция, агро, медицина (осторожно с регуляторикой) — здесь крутятся реальные часы эксплуатации. Physical AI входит кусками: обучаемый хват в навале, адаптация к новым SKU, shared autonomy.

Игроки — классические robotics-вендоры, складские интеграторы, vision-компании, облачные платформы, местные системные дома. Конкуренция жёстче, маржа интегратора привычнее, требования safety понятнее. Часто именно здесь лежит первый положительный unit economics, пока гуманоидный сегмент жжёт R&D.

Игнорировать этот сегмент ради «будущего гуманоидов» — способ опоздать к своему P&L.

Платформы «мозга» и данных

Отдельный рынок: симуляторы, синтетика, телеоп-сервисы, маркетплейсы навыков, foundation models for robotics, облачные GPU-кластеры под флот.

Ставка: ваш дефицит — данные и перенос, не отсутствие ещё одного манипулятора. Риск: lock-in, видео с цеха уходит наружу, offline-режим слабый, обновления политик без veto, обещание generalist без протокола на вашей номенклатуре.

Вопросы: где инференс; кто владеет эпизодами; можно ли выгрузить веса; как измеряли sim-to-real; сколько телеопа всё ещё нужно после «предобучения» (просите диапазон и методику, не один процент успеха на демо).

Интеграторы и системные дома

Они останутся, даже если модели станут лучше. Причина: зона, ограждение, согласование с OT, кабель, смена, обучение персонала, локальные нормы, стык с MES. Physical AI меняет содержимое их работы (датасеты, политики), но не отменяет роли.

Смотрите, есть ли у интегратора практика именно обучаемых контуров или только классические траектории с «нейросетью в презентации». Это разные компетенции.

Карта интересов: кто чего хочет

Венчур: рост, история про платформу, крупные логотипы пилотов.

Автозавод: предсказуемость такта, safety, поставщик на годы, TCO.

Склад: throughput, сезонность, быстрый перенос между площадками.

Стартап корпуса: данные с поля, не только PR.

Поставщик моделей: adoption API, объём инференса.

OT/safety: минимум сюрпризов, понятный residual risk.

Оператор смены: чтобы не мешало и не позорило перед мастером.

Ваш пилот — пересечение. Если удовлетворили только венчурную историю, OT устроит вам другой пилот — по расследованию инцидента.

Как читать новости и раунды

Фильтр:

Есть ли зона и операция в описании пилота?

Есть ли цифры вмешательств, или только «успешно протестирован»?

Это аренда двух роботов или контракт на парк?

Совпадает ли железо в ролике с тем, что поставляют вам по КП?

Не путают ли симовый ролик с полевым?

Оценка: доля анонсов, где недостаточно данных для инженерного вывода, высока. Это норма медиарынка. Ваш процесс закупки не обязан быть нормальным медиарынком.

Ценообразование без фантазий

Встречаются модели: capex покупки; робот-as-a-service; оплата за час/цикл; оплата за успех (редко и с оговорками); смесь железа и подписки на «мозг».

Считайте TCO: простой, сервис, расходники, телеоп, связь, обучение, интеграция, страховка, демонтаж. RaaS красиво выглядит в слайде и жёстко бьёт, если uptime ниже обещанного без штрафов в договоре.

Отказывайтесь сравнивать «цену гуманоида» одной цифрой без состава поставки. Без гриппера, без safety, без пульта, без ввода в эксплуатацию — это цена коробки, не решения.

География и поставки

Актуаторы, редукторы, сенсоры, вычислители зависят от цепочек поставок и экспортных ограничений. Dual-use риски реальны для некоторых конфигураций. Заложите в план alternate vendors на критичные компоненты. Стек из главы 3 здесь помогает: видно, какой слой уязвим.