Роборука знаходить речі серед купи мотлоху

Роборука з камерою і радіоантеною знайшла ключі серед речей. Інженери з MIT спробували навчити робота знаходити потрібні речі серед купи інших. Для цього їм знадобилися RFID-мітки, які підказували роботу, що саме йому потрібно знайти, глядальний алгоритм, а також камера, що допомагає упевнитися в успіху глядань. Так робот може виконувати завдання з різноманітними предметами у будь-якому середовищі із 96-ти відсотковим успіхом, де безлад не стане йому на заваді. Свою розробку вчені представили на зборі ACM SenSys'21.

Навіщо роботу розгрібати мотлох?

Помітний поступ в устроях технічного зору дозволив роботам сприймати, знаходити і захоплювати предмети в невистроєних середовищах, які навмисно для роботів не готували.

Великі компанії, такі як Amazon, Uniqlo і FedEx вже залучають роботів-складачів на свої склади. Роботизована завдача у такому випадку полягає у тому, що роботам необхідно розібратися зі своїми предметами, відрізнити їх від інших, а потім вже їх складати. Однак, якщо визначений предмет повністю закритий, робот не може його виявити, а тому у висліді застрягає вже на щаблі глядання. Заохочені бажанням не ставити роботів у глухий кут, інженери глядають простих способів спростити їм завдання. Так, наприклад, розглядаються підходи з використанням радіочастотного місцезнаходження.

Оскільки радіочастотні сигнали можуть проходити через більшість поверхонь, позначений так предмет глядання точно буде визначений, наприклад, за RFID-міткою, і накаже роботу рухатися одразу до нього, що зробить перебіг глядання більш плідним.

Однак наявні устрої, які використовують радіочастотне місцезнаходження, можуть робити тільки з простими предметами і вимагають попереднього знання його форми або положення. Крім того, цим устороям потрібне окреме обладнання для місцезнаходження та налагодження радіочастотного випромінювання. Через це вони можуть робити тільки в обмежених середовищах, які вже оснащені необхідною інфраструктурою. У своїй новій роботі інженери з MIT зі схожим бажанням використовувати переваги радіочастотної місцезнаходження для роботів-орудників, вирішили знайти спосіб пристосувати цей підхід для устрою захоплення без підоснови, узору і положення. Так вони представили повністю сполученого робота RFusion, який забезпечує захоплення в умовах як прямої, так і непрямої видимості.

Як йому увидіти предмети?

Як і попередні роботи, у яких використовуються радіосигнали, RFusion передвиджує, що обрані предмети позначені RFID-міткою. Але на відміну від минулих устроїв, його оснастили ще й камерою, яка усуває необхідність в окремій обстанові, а також в будь-якому пов'язаному з цим настроюванні. А завдяки тому, що камера і радіоантена встроєні в робота, устрій може використовувати рухливість руки для місцезнаходження та захоплення обраного предмета незалежно від його форми або знаходження. Однак оскільки обраний предмет може бути приховане або знаходитися поза полем зору камери, робот не зможе його розгледіти. Більш того, оскільки робот має всього одну антену, закріплену на зап'ясті, а не окреме обладнання для місцезнаходження RFID, він не може безпосередньо відстежити мітку. Загалом, можна було б навчити робота викручувати рукою для зчитування тривимірного середовища у гляданні мітки. Однак такий підхід був би трудомістким і недієвим, адже займав би багато часу. Роботу потрібно було б захопити багато предметів у купу, перш ніж він захопить обраний.

З огляду на можливе місцезнаходження, можна було б припустити, що можна вказати роботу просто наблизитися до области, де можливе місцезнаходження найбільш зосереджене. Але на ділі такий підхід може призвести до неточности, оскільки якщо робот переміщує руку безпосередньо до передвиджуваного місця розміщення, його точки огляду будуть близькі одна до одної, що знизить точність. І так само якщо робот переміщує захоплення далі від передвиджуваного розміщення, щоб отримати кращу точність місцезнаходження, він збільшить загальну путь захоплення, що знову знизить точність. Щоб вирішити цей клопіт, інженери представили її як задачу скорочення путі та вирішили за допомогою навчання з підкріпленням, що дозволило роботу з успіхом в 96 відсотків знайти потрібні предмети.

Що глядав робот?

Устрій робить зі звичайними недіяльними RFID-мітками та роботизованими маніпуляторами із 6-ма ступенями свободи. Він може витягувати предмети з мітками в межах прямої видимости, а також ті, які знаходяться під купою інших речей або в умовах низької освітлености. RFusion не потрібно точно знати, де RFID прикріплений до складової, і при цьому він не знає, де саме предмет з RFID знаходиться в його робочому просторі. Устрій починає з використання приймача, встановленого на зап'ясті, для вибіркового запиту RFID на обраному тілі. Потім він використовує відгук RFID для обчислення відстані туди й назад до мітки. Оскільки однієї відстані туди й назад недостатньо для місцезнаходження, робот об'єднує радіочастотні та зорові дані з камери.

Робот глядав мітки, прикріплені до звичайних тіл повсякденного користування: писарне приладдя та варні предмети, як-то рукавички, пластикові пляшки, іграшки, коробки та мотки ниток. Дослідники спитували RFusion у декількох різних середовищах. Вони закопали дармовис у коробку, повну «мотлоху», і сховали пульт віддаленого управління під купою речей на дивані. У майбутньому інженери надіються збільшити скорість устрою, щоб він міг рухатися плавно, замість того, щоб час від часу зупинятися для проведення вимірювань.