人類は歴史を通して、病気との闘いを決してやめませんでした。新薬の出現は、何万人もの命を救い、人類全体の寿命を延ばすことさえできるかもしれません。

1世紀にわたる医薬品開発の歴史を振り返ると、興味深い逸話が数多くあります。例えば、19世紀初頭、ドイツの薬剤師助手ツェルトナーは、アヘンを熱湯に浸し、アンモニアで抽出することで、アヘンから白い粉の塊を分離しました。彼はこの白い粉を犬に与えたところ、犬はすぐに気を失いました。彼はギリシャ神話の夢の神モルフェウスにちなんで、この粉をモルヒネと名付けました。そのため、モルヒネは植物から単離された世界初の有効成分と広く考えられており、近代医薬品の革新の起点とされています。

その後、薬理学者は徐々に化学薬品の合成技術を習得しました。ドイツの薬理学者ゼルマンは、アスピリンの前駆体であるアセチルサリチル酸を合成しました。20世紀初頭には、企業からの新薬需要の高まりがハイスループットスクリーニング技術の開発を促し、科学者は多数の化合物をより効率的にスクリーニング・試験できるようになりました。21世紀初頭には、研究者たちはより正確で効果的な薬物治療の探求を始め、標的療法が注目される研究分野となりました。

今日、人工知能技術の急速な発展は、創薬に新たな可能性をもたらしています。AIは、薬剤師が薬物標的を検証し、薬物構造設計をより迅速に最適化するのに役立つだけでなく、特定の物理化学的特性や生物学的活性を持つ分子を直接生成することさえ可能となり、創薬を大幅に加速させます。

このような背景の中、ライフサイエンス企業CellaireとNVIDIAの研究者は、潜在強化学習に基づく新たな標的分子最適化手法MOLRLを共同で提案しました。この手法は、多数の化学データセットで事前学習された堅牢な生成モデルと、連続空間最適化のための最先端の強化学習（RL）アルゴリズムを組み合わせたものです。この手法を創薬関連タスクに適用し、一般的なベンチマークや最先端の​​手法と比較した結果、研究者らは、MOLRLが様々なタスク、特に標的分子生成とマルチパラメータ最適化において、優れた、あるいは競争力のあるパフォーマンスを発揮することを発見しました。

「潜在的強化学習による標的分子生成」と題された関連する研究結果がChemRxivに掲載されました。

論文の宛先:

https://go.hyper.ai/H4JhR

オープンソース プロジェクト「awesome-ai4s」は、100 を超える AI4S 論文の解釈をまとめ、膨大なデータセットとツールを提供します。

https://github.com/hyperai/awesome-ai4s

経路選択：分子を直接改変するか、潜在空間で操作するか

医薬品開発は非常に複雑なプロセスです。化合物は、臨床候補として検討されるためには、生物学的活性に加えて複数の特性を備えていなければなりません。治療活性があると特定された化合物は通常「候補化合物」と呼ばれ、その構造は固定されたものではなく、溶解性不足や活性不足などの問題に対処するために、長い反復サイクルを経て改良されていきます。

反復プロセスにおいて、薬理学者は通常、直感や反応ベースのライブラリを列挙することで、初期分子を変換し、類似体を設計します。しかし、化学空間の広大さを考えると、単一の分子であっても設計は極めて困難になり、化学空間全体を徹底的に評価する必要があります。標的分子生成のための計算手法は、化学空間を効率的に探索し、これまで探索されていない構造を化学者に提案することができます。

現在、標的分子の生成および最適化の方法は、主に 2 つのカテゴリに分けられます。最初のカテゴリでは、分子構造を直接操作して、標的の特性を改善できる構造の変更を特定します。2番目のカテゴリでは、生成モデルの潜在空間を操作して、その潜在的表現を通じて分子構造を間接的に変更します。

方法 1 では、原子や化学結合の挿入や削除などの構造の変更が可能になり、業界で大きな進歩が遂げられました。

昨年11月、韓国科学技術院（KAIST）のパク・ユンス教授率いる研究チームが、革新的な単原子編集技術を開発したと報じられました。この技術は、光触媒を導入することで、常温常圧下で薬物分子の単原子編集に成功しました。研究チームの「分子ハサミ」技術は、五員環構造を正確に切断・連結し、酸素原子を窒素原子に置換することで分子特性を変化させ、薬物の効能を高めることができます。「光触媒によるフランからピロールへの変換」と題されたこの研究成果は、サイエンス誌に掲載されました。

しかし、分子に任意の「操作」を加えることは容易ではありません。構造変更は化学法則に違反し、無効な分子構造につながる可能性があります。一方、分子構造は本質的に離散的であり、化学結合の追加や削除は離散的な操作を伴うため、この離散性は最適化プロセスにおける不連続な勾配につながり、勾配ベースの手法を効果的に適用することが困難になります。

方法1と比較して、方法2は、生成モデルの潜在空間を利用し、勾配降下法などの連続空間最適化アルゴリズムを用いて、最適化タスクを連続最適化問題に変換します。しかしながら、潜在空間内の点が有効な分子に対応するという保証がないため、化学的妥当性は依然として課題となっています。しかしながら、新たなアーキテクチャの使用とトレーニングの修正により、生成モデルは妥当性と潜在空間の連続性の両方において大きな進歩を遂げてきました。

Cellaire と NVIDIA による研究では、研究者らは、近似ポリシー最適化 (PPO) 手法を使用して事前トレーニング済みの生成モデルの潜在空間を最適化する MOLRL を提案しました。

潜在強化学習に基づく標的分子最適化手法MOLRL

MOLRL フレームワークはどのように機能しますか?

MOLRL フレームワークは、潜在空間生成モデルと強化学習 (RL) エージェントの 2 つの部分で構成されます。

生成モデルは、事前学習済みのエンコーダー・デコーダーモデルであり、その潜在空間はRLエージェントが動作する化学空間をエンコードします。RLエージェントは、PPO法を用いて潜在空間内を移動するように学習されます。報酬関数はエージェントにフィードバックを提供し、空間内を移動し、望ましい特性を持つ分子を識別する方法を学習するのに役立ちます。

下図に示すように、入力分子の潜在表現「z」は、ポリシーネットワークの出力から抽出されたアクション「a」によって摂動を受けます。摂動を受けた潜在ベクトル「z′」は分子にデコードされ、報酬関数を用いてスコア付けされます。状態「z」、アクション「a」、報酬「R」が収集され、ポリシーネットワークが更新されます。

MOLRLメソッドの概要

このフレームワークはエンコーダとデコーダのアーキテクチャに依存しませんが、潜在空間の特性は最適化のパフォーマンスに大きな影響を与えます。そこで研究者たちは、変分オートエンコーダ（VAE）と相互情報量機械学習を用いて学習されたオートエンコーダ（MolMIM）という2つの異なるエンコーダ・デコーダアーキテクチャでMOLRLのパフォーマンスを評価しました。

強化学習（RL）エージェントは、潜在空間をナビゲートして、望ましい分子特性を持つ分子を特定する役割を担います。研究者らは、近似ポリシー最適化（PPO）を用いてRLエージェントを訓練しました。PPOアルゴリズムは、長期的な累積報酬を最大化するようにポリシーを最適化することで、エージェントが潜在空間内で最適な経路を見つけられるように導きます。MOLRLフレームワークの中核となる報酬関数は、薬物の類似性、合成アクセシビリティ、標的結合など、分子の標的特性に基づいてエージェントにフィードバックを提供します。

MOLRL フレームワークのパフォーマンスはどの程度ですか?

MOLRL フレームワークのパフォーマンスを評価するために、研究者は多目的最適化タスクを設計し、それを最先端の最適化手法と比較しました。

具体的には、研究者らはMOLRLを用いて、薬物類似性（QED）と合成アクセシビリティ（SA）を同時に最適化しながら、2つの部位を標的とする生理活性分子を生成した。選択された生物学的標的は、アルツハイマー病に関連する2つのキナーゼ、GSK3βとJNK3であった。Jinらの評価戦略に従い、研究者らは最適化プロセス中に生成された報酬値が最も高い上位5,000個の分子を記録し、成功率、新規性、多様性という3つの指標を計算した。

以下の表は、VAE-CYC 潜在空間でトレーニングされた MOLRL と MolMIM 空間でトレーニングされた MOLRL のパフォーマンス、および文献で報告されている現在の最先端の分子最適化手法のパフォーマンス比較を示しています。

2 つの生物学的ターゲット、生体活性、QED、および SA を対象としたマルチパラメータ最適化。

表のデータが示すように、FaSTは分子フラグメントと強化学習（RL）を組み合わせて分子グラフを構築することで、比較対象となるすべての手法の中で高い成功率を示しています。FaSTとRationaleRLは、どちらも事前知識を活用しており、多様性と新規性において優れています。REINVENTとMOLRLはどちらもML分類器のトレーニング範囲から大きく外れた可能性のあるランダムな分子から学習を開始しますが、 MOLRLはRationaleRLと同等の新規性を備え、最高の成功率を達成しています。

事前知識を出発点として用いることには一定の利点があるものの、新規性やアルゴリズムによる新たな骨格発見能力を制限する可能性もある。さらに、未踏のターゲットを研究する場合など、事前知識がない場合、このような手法の適用範囲は限られる。

多目的最適化タスク以外にも、創薬においては、特定の標的または標的クラスに結合する既知の化学骨格を特定し、それを化学設計と最適化の出発点として用いることが一般的です。したがって、本論文では、MOLRLが既存の分子骨格を維持しながら多目的特性を最適化できることをさらに検証します。下の表に示すように、 MOLRLはアミノピリミジン骨格を含む分子の最適化において100%の成功率を達成しました。

異なるσ値における成功率、一意性、多様性の観点からのモデルの比較

要約すると、MOLRL は、特に標的分子生成とマルチパラメータ最適化において、さまざまなタスクにわたって既存の方法よりも優れた、または競争力のあるパフォーマンスを発揮します。

AIは新薬発見の効率を向上させるための重要なステップです。

新薬の開発には実際にどれくらいの費用がかかるのでしょうか？製薬業界には「ダブルテンルール」という有名な格言があります。これは、新薬の発見から市場投入までには10年かかり、10億ドルの費用がかかるというものです。デロイトの最近のレポートによると、臨床試験の失敗にかかる費用を含めると、世界のトップ製薬会社が新薬を市場に投入するまでの平均費用は、2010年の11億8,800万ドルから2022年には22億8,400万ドルに増加しています。

創薬における重要なステップの一つは、計算研究、合成、あるいは特性評価のための候補分子群を特定することです。これは、候補分子の化学空間が広大であり、非常に高い試行錯誤コストが必要となるため、非常に困難な作業です。今日では、人工知能と機械学習によって、このステップの効率を効果的に向上させることができます。

2023年10月31日、ノバルティス バイオメディカル研究所とマイクロソフト科学知能研究センターの研究者が協力し、 「嗜好機械学習による医薬品化学の直感の抽出」と題する研究論文をNature Communications誌に発表しました。

研究者たちは35人の医化学者に、それぞれ5,000組の分子ペアから好みの分子を選んでもらいました。彼らの回答を用いてランキングゲームを作成し、機械学習モデルを訓練しました。そして、そのモデルは分子にスコアを付けました。このスコアは、この分野で以前に特徴量として用いられていた他の特性の影響をほとんど受けませんでした。これは、業界内で長年蓄積された知識に基づくものだからです。

このモデルは、プロの化学者が仕事で蓄積する集合的な知識（しばしば「化学の直感」と呼ばれる）を部分的に再現することができ、将来の医薬品開発をより効率的にすることができます。

2024年3月、大手AI製薬企業であるインシリコン社は、ネイチャーバイオテクノロジー誌に研究論文を発表し、人工知能プラットフォームを用いたIPF治療の新規ターゲットTNIKの発見と、それに続く生成化学プラットフォームを用いたISM001-055分子の設計について詳述しました。

ISM001-055は、特発性肺線維症（IPF）の治療薬として、TNIK（Traf2/NCK相互作用キナーゼ）を標的とするファーストインクラスの低分子阻害剤です。Insil Intelligence社は、生成AIによって研究開発の初期段階における研究開発効率を大幅に向上させ、コストを削減し、成功率を高めることができると述べています。例えば、IPFに対する分子に関しては、初期の標的探索から前臨床候補化合物の特定まで、わずか18ヶ月で完了し、研究開発費は260万ドルでした。

Fortune Business Insightsの調査レポートによると、創薬分野における人工知能の世界市場規模は2022年には30億ドルでしたが、2023年には35億4,000万ドル、2030年には79億4,000万ドルに拡大すると予測されており、年平均成長率は12.2%です。将来、AI技術は製薬業界に変革をもたらす大きな可能性を秘めています。

参考文献:
1.https://mp.weixin.qq.com/s/OL7TJQcUE-ubhUDyc7GBzQ
2.https://www.thepaper.cn/newsDetail_forward_29097303
3.https://news.bioon.com/article/6127e7234091.html
4.https://bydrug.pharmcube.com/news/detail/49720140c1e9d57ac3c7cfe20ef7f8be
5.https://mp.weixin.qq.com/s/UGAXWMhPlSg2hFnI5ghr1w