人工知能の発展のスピードは、あなたの想像をはるかに超えるかもしれません。GPT-4がマルチモーダル技術を世に知らしめて以来、大規模マルチモーダルモデルは急速な発展段階に入り、単純なモデル開発から垂直分野への探求と応用へと徐々に移行し、様々な業界と深く融合しています。ユーザーインターフェースインタラクションの分野では、GoogleやAppleなどの国際的なテクノロジー企業が大規模マルチモーダルUIモデルの開発に多額の投資を行っており、これはモバイルAI革命の必然的な道筋と考えられています。

こうした背景の中、中国初の大規模UIモデルが登場しました。8月17日、AI時代のデザインツールであるMotiffは、国際エクスペリエンスデザインカンファレンスIXDC2024において、独自開発のマルチモーダルUIモデル「Motiff Large Model」を発表しました。これは、UIデザインツール企業が開発した世界初の大規模モデルであり、中国のUIデザイン力が世界的に台頭していることを示しています。

IXDC カンファレンスで、Motiff の副社長が中国初の大規模 UI モデルである Motiff Large Model を発表しました。

Motiffの大規模UIモデルは、卓越したUI理解力とオープンエンドな指示実行能力を誇ります。業界で認められた5つのUI機能ベンチマークにおいて、MotiffはGPT-4oとAppleのFerret UIを全ての指標で上回りました。また、Screen2Words（インターフェース記述と推論）とWidget CaptioningではGoogleのScreenAIを上回り、Widget Captioningは161.77という高得点を獲得し、新たなSoTAを樹立しました。Ferret UIやScreenAIといった既存のソリューションと比較して、Motiffの大規模モデルはコンテキストに基づいてインターフェース要素を柔軟に理解し、「デザインエキスパート」レベルのUIインターフェース理解と表現を実現し、人間のUIインターフェース理解と表現に非常に近いものとなっています。

権威ある UI メトリックの包括的な比較では、Motiff の大規模モデルがすべてのメトリックで GPT-4o と Ferret UI を上回りました。

人間の言語に非常に類似した表現を備えた最も洗練された UI モデルは、インターフェース インタラクションの将来の革命の基礎となります。

IXDCカンファレンスにおいて、Motiffの副社長である張昊然（チャン・ハオラン）氏は、ユーザーインターフェースの理解とインタラクティブナビゲーションという2つの主要な機能を備え、インターフェースインタラクションに革命をもたらすと期待されるMotiffビッグモデルについて詳しく説明しました。張昊然氏は、「人間の創造は認知と理解から始まります。AI時代のUI創造も、ビッグモデルがユーザーインターフェースを完全に理解することから始まります」と述べています。

Motiffの大規模モデルは、ユーザーインターフェースの理解において卓越しており、「デザインの専門家」に匹敵します。あらゆる画像、アイコン、テキスト、そして40を超える細分化されたUIコンポーネントを識別できるだけでなく、インターフェース上の様々な要素の座標を正確にラベル付けできます。さらに、ユーザーインターフェースに関する様々な質問に答え、インターフェース情報に基づいて機能推論やインターフェースコンテンツの詳細な説明を行うことができます。

GPT-4o、Ferret UI、ScreenAIといった大規模モデルと比較して、Motiffモデルはインターフェース解析機能においても大きな優位性を誇ります。例えば、App Storeアプリのインターフェースでは、Motiffモデルはトップナビゲーションバーやアプリ情報モジュールなど、UIデザインの観点からページを複数のモジュールに分割し、各モジュールの機能やレイアウトを詳細に分析することができます。これにより、デザイン提案やUIデザインプロトタイプの自動生成が可能になります。Motiffはインターフェース解析機能において業界をリードしており、UIデザインに最も精通したマルチモーダル大規模モデルです。

Motiff の大規模モデルは、UI/UX に関するあらゆる質問に答えることができます。

Motiffモデルは、理解力と表現力の面でも人間に最も近いモデルです。従来のソリューション（Ferret UIやScreenAIなど）では、コンテキストに基づいたアイコンの意味の理解に課題がありました。Motiffモデルは、手動によるアノテーションなどの手法を通じて、大量の高品質なUIドメインデータを収集し、異なるインターフェースにおける同じアイコンの複数の意味を理解し、指摘することを可能にしました。これにより、説明の精度とコンテキストの関連性が大幅に向上しました。

Google ScreenAI によって生成された図 1 のデータは、ハート型のアイコンを「お気に入り」アイコンではなく「ハート」アイコンとして誤って解釈しています。一方、Motiff モデルによって生成された図 2、3、および 4 のデータは、インターフェース情報を組み合わせることでアイコンの意味を正確に説明しています。

Motiffモデルはインタラクティブなナビゲーション機能も備えており、ユーザーのニーズに基づいて手順を案内し、許可を得た上で関連する操作をユーザーに代わって実行します。これは、将来のユーザーインターフェースインタラクションにおける革命の基盤となります。将来的には、ユーザーは画面を手動でタップする必要がなくなり、音声または画像入力だけでデバイスを操作できるようになるでしょう。Siriのようなモバイルアシスタントは、あらゆるアプリへの新たなエントリーポイントとなり、真のスマートフォンとコンピューターを生み出し、ソフトウェアアプリケーションの新たなパラダイムとユーザーインターフェースインタラクションの新たな時代を先導するかもしれません。

さらに、Motiffの大規模モデルは、エラー率を1桁台に抑えることに成功しました。業界の専門家は、このエラー率の大幅な低下はAIの技術的特異点を示しており、AIを補助ツールから独立してタスクを実行できるレベルへと移行させるものだと考えています。現在、大規模モデルが直面する主要な課題の一つは、高いエラー率です。例えば、GPT-4は複数の指標で30%から40%のエラー率を示し、UI領域では70%を超えることもあります。これに対し、Motiffの大規模モデルはエラー率を15%未満にまで低減し、一部の指標ではわずか7%に抑えています。

AIアプリケーション企業が世界をリードする大規模モデルを独自に開発できるのはなぜでしょうか？張浩然氏はカンファレンスで、これは「製品をより良くする」という継続的な追求から生まれると述べました。「AI製品のリーダーとして、Motiffはアプリケーションシナリオから着手し、AI機能の水準を継続的に引き上げることで、技術的なボトルネックを打破することに尽力しています」と張氏は述べました。

MotiffがUI分野においてGPT-4oやAppleのFerret UIといった国際的な先進モデルを「打ち負かす」能力を持つのも、長年にわたる技術蓄積によるものです。2021年の設立以来、Motiffはインターフェースのインタラクションとデザインに注力してきました。親会社であるYuanfudao Groupは、2014年に最先端のAI技術を探求するAIラボを設立しました。2018年には、著名な機械読解コンテストMSMARCOで世界1位を獲得し、その機械読解能力は当時のBaiduやMicrosoftを凌駕しました。

AI を活用した効率性の向上と生成により、デザイナーにとって最適なアシスタントが生まれ、ソフトウェア開発ワークフローが最適化されます。

Motiffの大規模モデルのリリースは、UIデザイン分野におけるGPTの重要な転換点となることは間違いありません。UIデザインには、視覚要素の正確な処理とユーザーインタラクションロジックの深い理解が求められますが、Motiffの大規模モデルは、デザインツールの効率性と生成能力を大幅に向上させます。

MotiffのAI生成UI機能では、コマンドを入力するだけで30秒以内に2つのデザイン案を生成できます。30名以上の業界専門家によるブラインドレビューでは、Motiffが生成した2つのデザイン案は、それまで主流だったAI生成UIツールGalileo AIを凌駕する結果が出ました。この機能はリリース後、瞬く間に市場をリードする存在となり、Motiffの大規模モデル向けUIデザインにおける専門知識が活かされています。AI生成UI機能は8月17日より全世界で利用可能となっており、Motiffアカウントを登録するだけで無料でご利用いただけます。

さらに、AI設計システムにおける部品認識の精度が大幅に向上しました。大規模モデルのサポートにより、設計者はこれまで数週間以上かかっていた作業をわずか数分で完了できます。AIコピー機能は、設計図内の画像とテキストの認識において97%以上の精度を達成しています。

「Motiffは、大規模モデル機能を中規模企業および大規模企業に開放し、顧客と協力してAI時代における新たなインターフェース制作関係を構築する計画です」と張浩然氏はカンファレンスで指摘した。さらに、Motiffの大規模モデルはソフトウェア開発ワークフローの最適化に貢献し、既存のインターフェース制作プロセスを効果的に短縮すると付け加えた。

MotiffはUIデザイン業界において既に数々の「初」を達成しています。AI機能を複数導入し、中国で初めて独自のグラフィックレンダリングエンジンを開発したUIデザインソフトウェアであり、1つのキャンバスに100万レイヤーを配置してもスムーズに編集できる世界唯一の高性能製品です。Motiffは海外のソーシャルメディアで「AI版Figma」と称賛されており、Figmaの100倍以上の生産性を誇りながら、80%以上の低価格を実現しています。また、Product Huntの7月のデイリーおよびウィークリー人気商品ランキングで1位を獲得しました。

（海外のSNSではMotiffとFigmaを比較する投稿が多く見られ、Motiffはデザイナーなら知っておくべきAIツールとして注目されています。）