ベクトル埋め込みによる大規模言語モデルの拡張によるドメイン固有の応答性の向上

私たちの研究は、がん治療におけるさまざまな機械学習と大規模言語モデルの応用に焦点を当てています。これには、直接的な患者ケアの改善と、スケジューリングや文書化などの運用上の課題への対処の両方が含まれます。私たちは最終的に、「これらのテクノロジーは、患者、医療提供者、研究者にとってどのように医療を改善できるのか」という疑問に答えようとしています。

大規模な言語モデルは、すでに研究環境を変革し始めています。以前は法外な自然言語処理タスクが、より多くの研究者にとって身近なものとなり、非構造化データを含む多くの新しい研究が可能になりました。主な課題は、大規模な言語モデルのツールとインフラストラクチャの急速に変化する状況です。

多くの臨床医や研究者は、アプリケーションのアイデアを持っているかもしれませんが、現時点では、実装に必要なコンテキストや技術的な知識を持っていなかったり、さまざまなアプローチのトレードオフについて慎重に検討したりしていません。まず、Git、python、PIP をコンピューターにインストールし、ターミナルでコマンドを実行してインストールを確認します。次に、git clone コマンドを実行してリポジトリをダウンロードし、必要な要件をインストールします。

ベクターデータベースを作成するには、設定を編集します。py ファイルを作成し、次の変数の値を、大規模言語モデルの拡張に使用されるドキュメントを含むフォルダーへのファイル パスに置き換えます。次に、更新したファイルを articles ディレクトリに保存します。

次に、同じディレクトリのターミナルで、Python 3 build index コマンドを使用してコードを実行し、データベースを作成して永続化します。データベースがベクターデータベースフォルダーに保存されているかどうかを確認します。拡張 LLM をクエリするには、Python 3 run augmented llm を実行します。

py コマンドを実行します。ユーザー クエリをテストして、ドキュメント セットのデータによって拡張された応答を受け取ります。次に、終了したら、ControlキーとCキーを押して終了します。

MCQを作成するには、ファイルの質問を編集します。py、例の形式に注意してください。同様の形式で問題を追加し、ファイルを保存します。

設定を編集します。pi ファイルを開き、オープン AI またはハグ フェイスの API キーを追加します。目的がいずれかのプロバイダーのモデルに対してベンチマークを行うことである場合。

次に、ファイルを保存します。次に、比較llmsを編集します。py ファイルを作成し、テストするモデルのセットを選択します。

比較するモデルのコメントを解除した後。最後に、ターミナルで compare llms コマンドを使用してコードを実行し、実行後に i 指定したフォルダ内のモデルの応答を表示して、採点やその他のレビューを行います。テストされたMCQの中で、エンベッドモデルはベースモデルよりも大幅に優れたパフォーマンスを発揮し、拡張オープンAIモデルも同様でした。