كيف حال الجميع اليوم؟ لدينا الكثير لنتحدث عنه الليلة. نادي واي سي للذكاء الاصطناعي في العلوم الحيوية. ليلة مثيرة للغاية الليلة. هناك بعض المتحدثين المفضلين لدي، وبعض زملائي المفضلين في المختبر، وبعض الأشخاص الذين عملت معهم في واي سي سيأتون الليلة للتحدث. لذا، أنا متحمس للغاية. ولكن قبل ذلك، لدي فكرة مجنونة بعض الشيء. أحتاج من الجميع إخراج هواتفهم ومسح هذا الرمز. سأخبركم بالسبب بعد لحظة. حسناً. لقد دخلت في نقاش مع جريج من شركة Arc AGI أثناء العشاء، وكان يجادل بأن اختبار تورينج قد تم حله. تحديداً، قال آلان
تورينج في عام 1950 إنه في غضون 50 عاماً، أي بحلول عام 2000، سيكون من الممكن برمجة الحواسيب لتلعب لعبة المحاكاة ببراعة تجعل المحقق العادي لا يملك أكثر من فرصة 70%للتعرف بشكل صحيح بعد 5 دقائق من الاستجواب. وأعتقد أننا لم نتجاوز ذلك، لأنني في كل مرة أتحدث فيها مع روبوت دردشة على موقع ما، أو روبوت خدمة عملاء في طيران كندا مثلاً. أقول لنفسي، أعرف أن هذا ذكاء اصطناعي. أنا متأكد تماماً من أنه ليس شخصاً حقيقياً. لذا، لا أعرف. لا أعتقد ذلك، أعتقد أن لدي فرصة أفضل من
70%. دعونا نكتشف ذلك. لدينا هنا مجموعة من الأشخاص على هذا الموقع مستعدون للدردشة معكم، وسيقترن بعضكم بهؤلاء الأشخاص بينما سيقترن البعض الآخر بذكاء اصطناعي. والأمر متروك لكم لتقرروا . لقد قمت ببرمجة هذا خلال الاثنتي عشرة ساعة الماضية. لذا، هناك فرصة 0%أن ينجح الأمر فعلياً، لكننا سنجرب على أي حال. حسناً. يجب أن يكون الموقع مفتوحاً لديكم جميعاً الآن. ابدأوا الدردشة. انطلقوا، وسنضبط المؤقت لمدة دقيقتين. إذن، أسترا، ثم كلود، ثم جي إل إم، ثم جيمناي. عذراً يا جوجل. يا إلهي، جوجل. ثم جروك وكيمي متعادلان. وهذه نقطة مثيرة
للاهتمام أود تضمينها بشأن النتائج الإيجابية والسلبية الخاطئة، لا أعلم. عليّ التفكير في ذلك. هل تم اعتبار البشر ذكاءً اصطناعياً؟ 33%من البشر تم اعتبارهم بالفعل ذكاءً اصطناعياً. لذا، هذه هي طريقتي في الحديث، هذا ما سمعته. حسناً. حسناً، لا أعتقد أننا وصلنا إلى هناك بعد. لذا، أعتقد أنني حاولت جاهدًا أن أجعل الأمر يبدو وكأنني قدمته، لذا، ما الذي حدث في الواقع، دعوني أخبركم بما فعلته. لذا، تم إقران نصفكم ببعضكم البعض . والنصف الآخر حصل على وكيل حقيقي. ولذا، هذا هو سبب ارتفاع هذا الرقم كثيرًا. لدينا مائة في
جانب البشر. لأنكم اقترنتم ببعضكم البعض مقارنة بالجانب الآخر. وقد حاولت جاهدًا إعطاءه شخصية تبلغ من العمر 32 عامًا تقريبًا، ذكر يجلس في الغرفة معكم، ومنحه السياق الكامل. لقد حاولت جاهدًا دعم حالة الموالين، وحتى حينها نحن عند نسبة 30%تقريبًا. على أي حال، ليس الأمر أنني فزت يا جريج، لكننا متقاربون جدًا. حسنًا. على أي حال. لنعد إلى هنا. أيضًا، تحية لـ "كلود كود" على برمجة ذلك خلال الـ 12 ساعة الماضية تقريبًا. عمل جيد. شكرًا لك. عمل جيد يا بوريس. حسنًا. إذًا، لماذا الذكاء الاصطناعي في العلوم الحيوية؟ أجلس
بجانب "ياشا" في معظم اجتماعات المختبر، وهو يحاول باستمرار تحويلي إلى الذكاء الاصطناعي للعلوم الحيوية، ويخبرني أنه عندما تُصاب بالسرطان، ستتمنى لو قضيت الكثير من الوقت في الذكاء الاصطناعي للعلوم الحيوية. وهذه هي حجته الرئيسية، وقال: "أنت تعلم، أنا أطرح هذا العرض على الجميع ولا ينجح أبدًا". لكنه يحاول دائمًا. لكن على أي حال، أنا أزداد اقتناعًا. سأساعدك الآن. أنا أعمل على إذًا، آمل أيضًا أن أصطحبكم معي في هذه الرحلة. بيانات أكثر من أي وقت مضى. تم تدريب "إيفو 2" فقط على 9 تريليون زوج قاعدي. ويتم تدريب النموذج
التالي على حجم أكبر. "ألفا فولد"، كما قال "ديميس" قبل بضعة أشهر في "واي سي"، يُستخدم الآن في مرحلة ما من كل دواء يتم طرحه في السوق. وهو ما كنت أعتقد أنه مبالغة. وتحدثت إلى حوالي 10 أشخاص أعرفهم من "جينينتيك" وحملة دكتوراه. قالوا: "نعم، ربما يبدو هذا صحيحًا". أعني، هذا جنوني حقًا. معدلات نجاح تتراوح بين 10 إلى 100% لروابط البروتين بالذكاء الاصطناعي في معيار "بايند كرافت". الخيوط التي طورها الذكاء الاصطناعي تدخل بالفعل إلى المرضى مع "راديكال نيميريكس"، وهي شركة من مختبرنا يديرها "إريك نجوين". أم، ستقدم ديفيا
هذا أيضاً، ولكن بمجرد استخدام 4 إلى 64 مثالاً من التعلم داخل السياق، يمكنك حقاً توجيه التصميم الحيوي. وبدأنا أيضاً في الحصول على معايير مرجعية جيدة جداً للتحسين، ومن بينها CASP وتحدي الخلية الافتراضية، الذي قد يواجه بعض الصعوبات لكنه يتحسن كما سمعت. وأعتقد أن الجميع سيعرضون هذه الشريحة هنا، لكن تكلفة التسلسل تواصل الانخفاض بشكل كبير، مما يؤدي إلى توفر بيانات أكثر بشكل أسي يمكننا الوصول إليها. وهناك استثمارات ضخمة تجري من "ليلا" إلى "تشاي" إلى " إيزومورفيك". والجزء الأكثر إثارة، في رأيي، هو أننا اكتشفنا بالفعل-رغم تكلفته-إجراءً للتحسين
المتكرر (RSI) للتعامل مع أي مهمة قابلة للتعلم بالتعزيز (RLVR). لذا، إذا كان بإمكانك التحقق من ذلك سواء في المختبر الرقمي أو في العالم الحقيقي، فنحن نعرف كيفية تطبيق هذا الإجراء. إذا كان في المختبر الرقمي، فالأمر فائق السرعة. فقط قم بتوسيع نطاقه مثل اختبارات الوحدة على قاعدة بيانات برمجية. أو إذا كان في العالم المادي، فإنه يتطلب وقتاً وجهداً أكبر، ويكلف أموالاً أكثر. لكن، لا يزال ذلك ممكناً. نفس الإجراء سيظل فعالاً. وإذا طبقت ذلك على ورقة "ستار" البحثية أو غيرها في علم الأحياء، يمكننا أخذ عينات من النماذج
التأسيسية التي لدينا، واختيار أفضل "ن" منها، وإنفاق المال لاختبارها، وقياس الفعالية، وإعادة تدريب النماذج، وتكرار الحلقة، وسينجح الأمر ببساطة. أنا أؤمن حقاً أنه سينجح. وبالتالي، سيكلف الأمر الكثير من المال والوقت فقط. لذا، لدينا هنا بعض أروع المتحدثين الذين تمكنت من جمعهم. ألفريدو عملت معه في "واي كومبينيتور". ورينود، وهما مؤسسان مذهلان بنيا شركة تسمى "أمانتا"، لعلاج السرطان. قبل ذلك، كان ألفريدو يحضر الدكتوراه في جامعة كاليفورنيا (UCLA) في المعلوماتية الحيوية للسرطان. ثم لدينا يوسف الذي يعمل على نماذج الذكاء الاصطناعي لحالة الخلية . حصل على الدكتوراه من جامعة
ستانفورد، وأسس فريق تعلم الآلة في "معهد آرك". وهو الآن رئيس العلوم في "إنتوس" للذكاء الاصطناعي حيث يجرون أبحاثاً ذاتية للذكاء الاصطناعي في العلوم. يعمل غاريك على النماذج التأسيسية لعلم الأحياء، وبعض أكبر هذه النماذج؛ فقد قاد فريق "إيفو 2" والآن يعمل على مشروع " مينيرفا" هذا. وأيضاً، طالب دكتوراه في جامعة ستانفورد. ثم ديفيا موجودة في مختبرنا في "هيزي" أيضاً. ويشرف عليها أيضاً برايان هي. تعمل على نماذج الذكاء الاصطناعي التوليدي للتصميم الحيوي. وقبل ذلك، عملت على طرق تعتمد على البنية مثل " ألفا فولد" في معهد ماساتشوستس للتكنولوجيا.
حسناً، والجزء المحزن هو أن هذا هو آخر نادي أوراق بحثية لي في واي كومبينيتور. لقد كان شرفاً كبيراً لي بناء هذا المجتمع من أجلكم جميعاً، ولقد كنتم جزءاً رائعاً من حياتي في الأشهر الستة الماضية. لقد حصلنا على أكثر من مليون مشاهدة في اللقاءات التسعة الماضية التي قمنا بها. وهذا هو اللقاء العاشر. وسأغادر واي كومبينيتور يوم الجمعة للأسف، لبدء مشروعي القادم. لكن، نعم، إذا احتجتم إلى أي شيء في أي وقت، يرجى التواصل معي؛ فأنا متحمس للبقاء على تواصل مع المجتمع. حسناً، لنبدأ مع ألفريدو. >> شكراً لك
يا فرانسوا. >> شكراً لك. شكراً لكم. وشكراً لك يا فرانسوا على كل ما قدمته لهذا المجتمع. لقد كنت أشاهد الكثير من نوادي الأوراق البحثية في واي كومبينيتور، وتلك التلاقحات الفكرية الجميلة التي حدثت على مدى الشهرين الماضيين وتبادل الأفكار ونمو المجتمع كان أمراً رائعاً حقاً. شكراً لاستضافتي. اسمي ألفريدو. أنا أحد المؤسسين المشاركين لشركة "أمانتا". نحن نساعد المرضى على التغلب على السرطان من خلال بناء مختبر أبحاث مخصص لحالتهم المرضية الفريدة. كما ذكر فرانسوا، خلفيتي هي في المعلوماتية الحيوية للسرطان. حصلت على الدكتوراه من جامعة كاليفورنيا في لوس أنجلوس،
حيث قمت ببناء مسارات عمل حوسبية لمعالجة جينومات الأورام والخلايا السليمة على نطاق واسع. كما أنشأت واحدة من أكبر مجموعات بيانات أورام الساركوما النادرة في العالم، وركز عملي أيضاً على هذه الحالات الفردية النادرة بفكرة: إذا جاء مريض، سواء كان لديه ورم نادر أو عادي، فما مدى السرعة التي يمكننا بها الحصول على الجينوميات لنتمكن فعلياً من التأثير على نتائج علاج المريض؟ وقبل ذلك، كنت في معهد برود أساعد في التحقق من صحة فحوصات "كريسبر" المبكرة جداً التي كانت تُجرى على خطوط خلايا السرطان. وهناك التقيت بشريكي المؤسس ريناتو الذي
قاد الكثير من مشاريع إعادة استخدام الأدوية هناك. وقبل ذلك، كنت في جامعة هارفارد أدرس عوامل النسخ ذات التأثير المبكر. إذاً، القصد هو أن السرطان وأبحاثه كانا محور حياتي، وأنا شغوف جداً بما وصلنا إليه اليوم لأننا نعيش أوقاتاً مثيرة للغاية. عندما نقول إننا نحل مشكلة السرطان بالذكاء الاصطناعي ، فهذا ليس مبالغة. لقد وصلنا إلى هذا الحد. نحن على أعتاب مرحلة سنتمكن فيها من مساعدة الكثير من الناس بفضل كل الجهود المبذولة في مجال الذكاء الاصطناعي وما رأيناه في نوادي أوراق البحث السابقة لـ YC. ولكن قبل أن أبدأ
بنادي أوراق البحث لـ YC، أود التطرق إلى ثلاثة مواضيع محددة . أولها كيف أصبح السرطان بحد ذاته مشكلة تتعلق بالبيانات. ثانياً، فيما يتعلق بجانب القابلية للتطبيق في العالم الحقيقي ، لأولئك المهتمين بالتطبيق العملي الفعلي لهذه الأمور، وكيف نبني فعلياً مختبرات بحثية شخصية حول كل مريض على حدة. ثالثاً ، بعض الملاحظات حول المستقبل، والتي أعتقد أنها ستكون مقدمات رائعة لبعض المتحدثين المذهلين الذين سيشاركوننا قريباً. لقد ذكر فرانسوا ذلك بالفعل، وأعتقد أنكم رأيتم هذا في عرضين تقديميين آخرين من قبل. تحديداً، إذا كانت لديك أي خلفية في علم
الجينوم والمعلوماتية، فالأمر يتعلق بمنحنى التكلفة، وكيف انخفضت تكلفة التسلسل بشكل كبير. في الواقع، قد يكون الحصول على تسلسل لجينومك الخاص أقل تكلفة من تناول العشاء في العديد من الأماكن في منطقة الخليج حالياً. والأمر الرائع هو أن تسلسل الحمض النووي لمرضى السرطان تغطيه شركات التأمين، بما في ذلك "ميديكير" و "ميديكيد" لمعظم الأورام المتقدمة والحالات المتكررة، أليس كذلك؟ ونتيجة لذلك، نحن ننتج بيانات أكثر من أي وقت مضى، أليس كذلك؟ ولوضع هذا في سياقه، أليس كذلك؟ يمكننا العودة بالزمن إلى واحدة من الأوراق البحثية التاريخية منذ 10 سنوات، أليس
كذلك؟ مشروع "أطلس جينوم السرطان"(TCGA)، الذي ربما كان أحد أعظم إنجازات البشرية في ذلك الوقت، حيث تمكنا من إجراء تسلسل لمئات المرضى لأنواع مختلفة ومحددة من الأورام. وفي ذلك الوقت ، قبل 10 سنوات، كان هذا كل ما يمكننا القيام به. لذا، نظراً لامتلاكك عدداً محدوداً من المرضى وعدداً محدوداً من الجينومات، كان ما ينتهي بك الأمر إلى فعله هو البحث عن المتوسطات. كان عليك البحث عن أوجه التشابه بينها. وفي نهاية المطاف، لم يكن هذا قابلاً للتطبيق حقاً على المريض الفردي. ولكن في الوقت الذي نعيشه اليوم، مع توافر
القدرة على توليد مجموعات بيانات ضخمة كهذه، أليس كذلك؟ يمكننا المضي قدماً وبدلاً من النظر إلى مجموعة البيانات تلك والبحث فقط عن الملخصات والمتوسطات، يمكنك النظر إلى المريض الفردي واستخدام ذلك كمجموعة بيانات خاصة به، أليس كذلك؟ إذاً، عندما أقول إن السرطان الآن هو مشكلة بيانات، أليس كذلك؟ ماذا يعني ذلك؟ حسناً، إذا قمت بالنظر في الأمر، ستجد أن كل خط من تلك الخطوط يمثل مريضاً فعلياً، أليس كذلك؟ وعندما توسع النطاق وتفكر في الجينوم بأكمله، وليس فقط أوجه التشابه في بضعة جينات رئيسية، فهذا يعني أن لديك حوالي 20
ألف نقطة بيانات جينية لكل مريض، أليس كذلك؟ يمكنك توسيع ذلك ليشمل أي مجموعة تريد دراستها. إذا كنت تريد حقاً التخلص من التصنيفات المنفصلة للأورام، أليس كذلك ؟ الآن لديك مجموعة بيانات متعددة الأبعاد تتوسع لتشمل أرقام النسخ، وتعبير الحمض النووي الريبي، والوصل البديل، وحالات الخلايا، والخلفية الخاصة بالمريض نفسه، أليس كذلك؟ كما ترون، هذا بحد ذاته أصبح الآن مجموعة بيانات ضخمة، وما كنا ننظر إليه سابقاً من منظور أكاديمي كان يمثل 0.1%فقط من البيانات. لكن السؤال الآن هو : بما أننا نستطيع توليد مجموعة البيانات هذه للجميع، كيف نستفيد
منها بالكامل لتحسين نتائج المرضى، أليس كذلك؟ كيف نقوم فعلياً بالتنقيب في مجموعة البيانات هذه بينما البنية التحتية غير جاهزة حالياً؟ أحد التحولات النموذجية التي تحدث في الوقت الفعلي هو أنه بدلاً من البحث عن أوجه التشابه في أهم 50 جيناً وتكرار طفراتها، يتم التعامل مع مجموعة البيانات هذه كنقطة مستقلة للتنقيب، مع فكرة أنه بدلاً من تعميم شيء على الجميع، كيف يمكنك الاستفادة من البيانات لحل مشكلة السرطان لدى ذلك المريض بعينه؟ إذاً، هذا أحد الأسئلة التي بدأنا بها تحديداً في أومانتا (Omanta). السؤال الثاني الذي بدأنا به هو:
إذا كنت على دراية بهذه الدراسات الضخمة للبيانات، وإذا سبق لك العمل في مختبر لعلم الجينوم ، فستعرف أن معظم هذه المختبرات كانت تتكون من 20 إلى 30 شخصاً أو أكثر، لأن هذا هو العدد المطلوب لإجراء هذه الدراسات . ولكن الآن، بفضل وكلاء الذكاء الاصطناعي الذين أصبحوا قادرين على إنشاء كل هذه البنية التحتية. ماذا لو أخذنا نفس الفريق المكون من 30 إلى 40 شخصاً بدلاً من توجيهه للبحث عن أوجه التشابه عبر عينات مختلفة؟ ماذا لو قمنا بتسخيرهم للتنقيب في مجموعة البيانات المحددة تلك في الوقت الفعلي لتحسين
النتائج لذلك المريض؟ هذا هو الانتقال نحو القابلية للتطبيق. هذا ما وصلنا إليه اليوم، وهذا أحد الأمور التي نعمل على حلها في أرمنتاز (Armenta's). كيف نبني هذا البحث المخصص لكل مريض، أليس كذلك؟ لقد ذكرتُ أن هذا كان في الماضي هو الشكل الفعلي لإنجاز هذه الدراسات الهامة . كان يتوجب عليك توظيف شخص خبير في الخوارزميات لتحديد الخوارزميات المثلى. كان يتوجب عليك توظيف شخص للعمل على البنية التحتية. كان يتوجب عليك توظيف شخص لصيانة العنقود الحاسوبي، وآخر يعمل على تحديد المتغيرات، وعالم وراثة لتفسير البيانات، وشخص لترتيب وتجهيز المرئيات، وطبيب
لتفسير بعض النتائج. هذا ما كان ضروريًا، ونتيجة لذلك جاءت الكثير من هذه الدراسات الهامة من أماكن مثل معهد "برود " ومعهد "سانجر" لأنها كانت الأماكن الوحيدة القادرة على تحمل تكاليف هذه الفرق الضخمة. ولكن ماذا لو أخذنا هذا الفريق الآن في عصر الذكاء الاصطناعي، حيث سمع الجميع بمصانع البرمجيات، بل إن العديد من الأشخاص في هذه الغرفة أنشأوا بالفعل مصنع البرمجيات الخاص بهم. لكن النسخة التالية من ذلك في علم الأحياء هي كيف تنشئ مختبر الأبحاث الشخصي الخاص بك، أليس كذلك؟ لذا بدلاً من التفكير في الوكلاء كمهندسي برمجيات،
لنفكر فيهم كخبراء في المعلوماتية الحيوية الذين كانوا ضروريين سابقًا لمعالجة كل هذه البيانات وترتيبها والوصول إلى النتائج الفعلية. ولكن يتم تطبيق ذلك في الوقت الفعلي للمرضى. إذن ما أصبح ممكناً الآن وما يمكننا فعله بالفعل هو تحويل خط اكتشاف البيانات بالكامل إلى نظام وكلاء ذكاء اصطناعي، أليس كذلك؟ حيث يمكننا استخراج تلك البيانات في الوقت الفعلي، وليس ذلك فحسب، بل ربطها بأكبر قاعدة بيانات يتم إنتاجها حاليًا. فإذا تم اكتشاف شيء ما يوم الثلاثاء، وبحلول صباح الأربعاء، إذا كان شيئًا قابلاً للتطبيق على المريض، فيمكننا استخدامه للمساعدة في تحسين
نتائج المريض. مرة أخرى، تقليص الجدول الزمني من سنوات إلى وقت فعلي، وتوفير شيء يمكنه حقًا مساعدة المريض، وإنشاء بنية تحتية لا تعتمد على انتظار المدخلات البشرية، بل تملك وكيلك الخاص الخبير في التجارب والأدلة والسلامة، والخبير في خلفيتك الحيوية وجوانب السمية أيضًا. هذا هو الاتجاه الذي نسير نحوه اليوم. وسأتناول سريعاً دراستي حالة لبعض المرضى الذين تمكنا من العمل معهم ومساعدتهم على الوصول إلى مرحلة الشفاء. تاريخياً، كانت الأورام الوحيدة التي يمكن دراستها بناءً على حجم العينة هي تلك المجموعة الشائعة من الأورام، وهذا هو السبب في وجود هذه
التصنيفات العامة. لذا، إذا كان ورمك من الأورام النادرة، وهو أمر يصيب عدداً كبيراً من السكان، فهذا يعني ببساطة أنه غير شائع، وستكون في وضع غير مثالي لأن طبيبك يبذل قصارى جهده بناءً على بيانات محدودة. ولكن إذا تخلصت من هذا التصنيف، يمكنك أخذ ذلك المريض تحديداً، ورغم قلة العينات للمقارنة، إلا أن العمليات البيولوجية لا تهتم بالضرورة بهذه المتغيرات الفئوية المنفصلة التي نضع كل عينة فيها. فالمسارات نفسها التي قد تحفز الورم الأرومي العصبي قد تحفز أيضاً سرطان الغدية الرئوي، أليس كذلك؟ بالنسبة لأحد مرضانا، كان يعاني من ورم
نادر في الدماغ ، وعندما قمنا بتجميع البيانات عبر مجموعات بيانات متعددة أنتجناها، رأينا أن ورمه، رغم كونه في الدماغ، كان أقرب إلى الأورام التي تنشأ من الأديم المتوسط. أي الأورام الوسيطة. ونتيجة لذلك، وبالرغم من عدم وجود معلومات واضحة في الأدبيات حول الخطوات التالية، تمكنا من إيجاد علاجات لم تكن ممكنة من قبل، وذلك بناءً على المسارات النشطة والعلامات السطحية ومسببات المرض. هذا مخصص للمرضى في الحالات النادرة التي لا تتوفر فيها أي معلومات أخرى تقريباً. وهناك حالات أخرى نهدف فيها ببساطة إلى تحسين النتائج، أليس كذلك؟ في حالة
المريض الذي فشل للأسف في الاستجابة للعلاجات الأولية والثانوية، أليس كذلك؟ بالنسبة لبعض مرضانا، تمكنا فعلياً من تتبع تطور الورم لديهم من خلال العودة وتحليل بعض العينات الأولية، أليس كذلك؟ ومرة أخرى، كل هذا يتم آلياً من خلال إنشاء البنية التحتية اللازمة للقيام بذلك بشكل تلقائي . بالنسبة لهذا المريض تحديداً، رأينا أن خطوط العلاج الثلاثة الأخيرة التي تلقاها لم تكن مثالية بناءً على بيولوجيته الأساسية، لكن للأسف، المستشفيات والعيادات ليست مجهزة بعد لاستغلال هذه البيانات بالكامل. كانوا يبذلون قصارى جهدهم. لقد قدموا أفضل تقدير لديهم. لقد اتبعوا المسار التالي
من العلاجات، وللأسف اختاروا ثلاثة علاجات كانت كيميائية وسامة للخلايا، لكن في النهاية، دعمت كل البيانات، بناءً على التباين الفعلي للورم ، أن هذه العلاجات لم تكن مثالية لهذا المريض تحديداً. لذا، تمكنا نوعاً ما من تصحيح المسار وإيجاد شيء يعمل بالفعل من أجلهم في الوقت الفعلي. حسناً. كما تعلمون، لقد بدأ وقتي ينفد، ولكن دعونا ننتقل إلى ما يحمله المستقبل، أليس كذلك؟ لقد قدمت لكم لمحات بسيطة عن كيفية عملنا مع المرضى في الوقت الفعلي. لكن هذا العمل يعتمد نوعاً ما على فكرة الأشياء المتاحة بالفعل. ولكن، ماذا عن
ابتكار أشياء في الوقت الفعلي في المستقبل، أليس كذلك؟ أعلم أن بعض المتحدثين سيتحدثون عن "إيفو" أيضاً، وهي جوانب تعد علامة فارقة بشكل لا يصدق. لكن، في المستقبل سنكون قادرين بشكل أساسي على بناء البروتينات في الوقت الفعلي، أليس كذلك؟ لقد رأينا بالفعل بعض معدلات النجاح في هذا الأمر. بشكل أساسي، الأمر يتجاوز مجرد تصميم البروتين الفعلي أيضاً. يمكنك التفكير في آليات التوصيل الفعلية، أليس كذلك؟ التفكير في الببتيدات التي يتم إنجازها في الوقت الفعلي. لقد رأينا بالفعل بضعة أمثلة تحديداً من ورقة بحثية لبن وآخرين. ورقة بحثية تمكنا فيها
من رؤية أنه يمكن تقليص الجدول الزمني للتصميم بنجاح بمقدار 10 سنوات لنكون قادرين على تصميم هذه البروتينات، أليس كذلك؟ في الخمسين عاماً القادمة، وقبل 80 عاماً، كنا لا نزال نتعرف على الحلزون المزدوج للحمض النووي. لكن المستقبل سيتمثل في تصميم البروتينات في الوقت الفعلي وتصميم كل شيء لكي نتمكن من تحسين النتائج لكل مريض على حدة. لقد قارب وقتي على الانتهاء، لكن الشيء الوحيد الذي أردت أن أختم به بما أننا في ماونتن فيو تحديداً، هو واحدة من أوراقي البحثية المفضلة من العام الماضي، والتي كانت من جوجل ديب
مايند هنا في ماونتن فيو، ولقد سمعنا الكثير عن الأنظمة ذاتية التحسين في نوادي الأوراق البحثية الأخيرة وعن الوكلاء ذويية التحسين. ولكن، ماذا عن النماذج البيولوجية ذاتية التحسين أو الوكلاء ذويية التحسين في مجال البيولوجيا نفسها، أليس كذلك؟ هذه واحدة من أولى الميزات التي تمكنا من رؤيتها تحديداً في الآونة الأخيرة والتي تم تطبيقها في مجال البيولوجيا. وما تمكنا من إظهاره هو أن النماذج الفعلية لم تتفوق بشكل كبير على البشر في نهاية المطاف، لكنها كانت قريبة بما يكفي لدرجة أنك توفر في المحصلة آلاف ومئات الساعات من وقت البحث
على نطاق واسع ، أليس كذلك؟ لذا، بدلاً من امتلاك مختبر أبحاث، وكتابة المنح، وتأسيس مختبرك الخاص ، وتوظيف طلاب الدكتوراه، والبدء في هذه الرحلة التي تستغرق 10 أو 15 أو 20 عاماً للوصول إلى اكتشاف حقيقي ونشر ذلك البحث، يمكننا اختصار هذا الجدول الزمني. المستقبل سيكون اختصاراً لهذا الجدول الزمني في الوقت الفعلي، حتى نتمكن فعلياً من تحسين نتائج المرضى في حالات السرطان. حسناً. أعتقد أن وقتنا قد انتهى، ولكن كان من دواعي سروري حقاً، وشكراً لـ "ساي فيست " على استضافتنا. >> حسناً، لدينا وقت لسؤالين أو ثلاثة
أسئلة . >> أهلاً، حديث رائع. هل يمكنك إخباري المزيد عما قلته، رأيت أن "العضويات"(organoids) هي أحد أنواع البيانات التي ترى أنها شيء للمستقبل. وأنا متشوق لمعرفة كيف تعتقد أن هذا الأمر قابل للتوسع كمختبر شخصي لكل مريض على حدة؟ >> سؤال رائع. حسناً، أعتقد أنني ساهمت بالفعل في بضعة مشاريع للعضويات خلال فترة الدكتوراه الخاصة بي. وفي الواقع، إذا نظرت إلى التاريخ، أليس كذلك؟ كانت هناك موجتان تقريباً من شركات العضويات التي بدأت نوعاً ما. كانت هناك واحدة منذ حوالي 7 أو 8 سنوات، وكانت هناك موجة أحدث من
الشركات التي حاولت العمل على العضويات في الوقت الفعلي. ومن منظور علمي، الأمر ممكن ، بل ممكن بشكل لا يصدق. يمكننا الحصول على بيانات ذات مغزى. يمكننا أساساً توليد المزيد من الأنسجة التي لم نكن لنحصل عليها من قبل، وهو أمر رائع تماماً في حالة الأورام النادرة، ويمكنك في الواقع إجراء فحوصات الاضطراب. هذا شيء تمكنا من القيام به في العضويات. إنه أمر ممكن. القيد الرئيسي في الواقع هو أكثر منهجية فيما يتعلق بالطريقة التي يتم بها التعامل مع الأنسجة في معظم المستشفيات، أليس كذلك ؟ فالطريقة التي تُعامل بها
الأنسجة في معظم المستشفيات، نظراً لطبيعتها، تُلقى في الفورمالين، أي تُوضع في مادة مثبتة، مما يلغي تماماً القدرة على إنشاء العضويات. لذا، من منظور العضويات، يمكنك التعامل مع الكثير من تلك البيانات كما تفعل مع عينة ورم نقيلي، أليس كذلك؟ شيء يشبه الورم الأولي ولكنه يختلف بيولوجياً قليلاً، ومن ثم يمكنك مراعاة الاضطرابات. لكن القيد الفعلي هنا، للأسف، هو البنية التحتية التي ليست مهيأة بالضرورة لهذا الغرض. لذا، سؤال رائع. >> مرحباً. شكراً لك على هذا الحديث. أنا متحمس جداً للعمل الذي تقومون به من أجل مرضى السرطان. أردت أن
أفهم، حتى عندما تتمكنون من فك شفرة المسببات أو البيولوجيا الكامنة وراء ذلك الورم، غالباً ما يتوجب عليكم أن تكونوا قادرين على تقديم توصية علاجية؛ كيف يمكنكم سد تلك الفجوة الأخيرة حيث يمكن للمريض الحصول فعلياً على طبيب يفهم التقرير الذي أنشأتموه ويصف العلاج، أو في حالة الاضطرار إلى تطوير تجربة سريرية لفرد واحد (N-of-1) لهذا المريض؟ إذن، ما هو الحل في هذا الجانب؟ >> سؤال ممتاز. بشكل أساسي، السؤال هنا هو، كيف نبني ونشارك في البنية التحتية لنتمكن من السماح للأطباء بالاستفادة الكاملة من هذا، أليس كذلك؟ لأنه بمعنى
ما، كما تعلم ، إذا قمت ببناء كل هذا، أليس كذلك؟ هناك تواصل يفيد بأن الطبيب هو صاحب القرار النهائي في النهاية، أليس كذلك؟ الطبيب هو الشخص الذي يقود الرعاية. هو الشخص المسؤول عنها. وفي تجربتنا حتى الآن، كان الكثير من الأطباء سعداء جداً بوجود كل هذه البنية التحتية والدعم، ويرجع ذلك جزئياً إلى أن وقت الطبيب محدود للغاية. للأسف، هم يعملون بالفعل فوق طاقتهم ويعملون لساعات طويلة جداً. لذا، فهم لا يملكون بالضرورة القدرة على إعداد مجموعات البيانات الخاصة بهم وإجراء تحليل لحظي للمرضى وتعدين تلك البيانات. لذا، فإن
الحصول على تلك المخرجات الفعلية بطريقة قابلة للتواصل معهم كان مفيداً للغاية بالنسبة لهم. ولكن فيما يتعلق بالانتقال إلى الاختيار الفعلي والنتائج الفعلية، ومجال تجارب الفرد الواحد (N-of-1) وإعداد ذلك، فهذا أمر مختلف تماماً وتحدٍ آخر. ولكن إذا كان شيئاً متاحاً بالفعل، أليس كذلك؟ وإذا كانت لديك كل المبررات. وبشكل خاص إذا فشلت في خطك العلاجي الأول وفشلت في خطك الثاني، فأنت في تلك المرحلة تقوم بأفضل تخمين ممكن. إن امتلاك حزمة البيانات تلك لاتخاذ ذلك القرار هو أمر كان معظم الأطباء في تجربتنا سعداء جداً باتخاذه لأنهم مضطرون لاتخاذ
ذلك القرار. إذن. شكراً لك. >> مرحباً. فكرة رائعة. خاصة المختبر الشخصي لكل مريض. رائع. أريد منك التعليق على مبادرة عكس السرطان . عكس الخباثة. ما رأيك في هذا النهج؟ هل سمعت عن شركة Kai-ost؟ تدعي شركة كورية أنهم يستخدمون نموذج العضويات الخاص بهم، وهم يقومون بذلك، نعم، يرسلون إشارات بأنهم يستطيعون عكس الخباثة. >> لست على دراية كاملة بمطالباتهم، وأعتقد أن الأمر كله يعتمد على كيفية تعريفك للخباثة، أليس كذلك؟ من الناحية الواقعية ، الطريقة التي تحدد بها ذلك ستختلف كثيراً اعتماداً على نوع الورم الذي تريد اختياره وعلى
التطور نفسه، وقد يختلف الأمر حتى من مريض لآخر، لكن نعم، أعتقد أنه سؤال صعب للغاية. أعتقد أنني أرغب في رؤية المزيد من البيانات التي تدعم ذلك. أولاً، كيف تحدد الأمر، وثانياً، أفترض نتائج المريض الممتدة. >> سؤالي يدور حول ضمان السلامة. عندما نتحدث عن تطوير الحالة الفردية (N of 1) ووجود هذا المختبر الشخصي المعتمد على الذكاء الاصطناعي، كيف ستضمن ألا يؤدي هذا إلى قتل شخص ما عن طريق الخطأ أو خلق عواقب غير مرغوبة؟ >> سؤال رائع. هناك طريقتان لتقسيم الأمر، لكن التركيز الأساسي هو على السلامة. فالسلامة
تأتي في المرتبة الأولى، أليس كذلك؟ وفي الواقع، هذا شيء يزيد في الواقع من مستوى الأمان لديك إذا فكرت في الأمر. السبب الذي يجعلني أفضل استخدام مريض محدد لتحليل التطور النسيلي هو أنه لو كنا جزءاً من تلك الرحلة أو لو تم إعداد هذه البنية التحتية لذلك المريض منذ البداية، لكان بإمكانه تجنب حوالي ثلاثة خطوط علاج كيميائي مختلفة، أليس كذلك؟ هذا شيء أدى إلى تدهور حياتهم اليومية ونتائجهم بشكل كبير، أليس كذلك؟ لذا، إذا كنت تفكر في الأمر من منظور الوقت الفعلي، فهناك دائماً خيارات للمركبات والعلاجات التي نعرف
بالفعل ملف السلامة الخاص بها، أليس كذلك؟ لأننا لا نبني بالضرورة كل شيء من الصفر في بعض هذه الحالات. بالنسبة لبعض هذه الحالات، أنت تعرف بالفعل ملف السلامة وتفهم نوعاً ما كيف يسير هذا التطور، لذا يمكنك تقريباً إيقافه. الآن، إذا كنت تفكر في البناء من الأساس تماماً، أليس كذلك؟ هذا شيء يمكنك فيه الاستفادة من الطريقة التي تُجرى بها التجارب السريرية اليوم، حيث يمكنك البدء بزيادة الجرعة تدريجياً، أليس كذلك؟ هناك طرق لاختبار ذلك للتعويض عن السلامة لأن الهدف في نهاية المطاف هو تحسين نتائج المريض، أليس كذلك؟ وليس
إيذاءهم بالضرورة، لذا. سؤال رائع. إنه دائماً في قمة اهتماماتنا، خاصة عند التصميم من الصفر، لذا. >> حسناً. شكراً جزيلاً لك يا ألفريدو. >> بالتأكيد. شكراً لاستضافتنا. >> حسناً، هل يمكنك سماعي؟ حسناً، عظيم. شكراً جزيلاً للمنظمين على إتاحة الفرصة لي للتحدث هنا. أهلاً، اسمي يوسف روحاني، وقد طُلب مني التحدث عن الخلايا الافتراضية. لكنني أردت إضافة لمسة مختلفة للقصة، والتحدث قليلاً عن مجال عمل شاركت فيه خلال الشهرين الماضيين، وهو التدريب اللاحق لنماذج اللغة المستقلة، وإيجاد روابط بين هذا المجال وكيفية بناء خلايا افتراضية أفضل. حسناً، قبل أن نبدأ،
أعتقد أنه من المفيد الحديث عن معنى هذا المصطلح وما هي المشكلة التي نحاول حلها بالضبط. إذا فكرنا في الاكتشافات البيولوجية، فهي تشبه العلم بشكل عام، حيث يمكن اعتبارها مشكلة بحثية يكون لديك فيها مساحة واسعة من الفرضيات المحتملة التي تحتاج إلى اختبارها تجريبياً. بهدف تحديد النتائج الأكثر أهمية التي تقودك إلى إجابة سؤال علمي محدد، أو ربما فهم نمط ظاهري معين تهتم به. وأنا أزعم أن إحدى المزايا الكبرى للذكاء الاصطناعي في العلوم والاكتشافات البيولوجية بشكل عام هي تسريع عملية البحث هذه. ومن الأمثلة الرائعة على ذلك نماذج مثل
"ألفا فولد"(AlphaFold) أو "إي إس إم "(ESM) أو غيرها من نماذج التعلم الآلي الجزيئي الشهيرة والنماذج الأساسية التي يمكنها رسم خارطة لهذا المشهد الواسع من النتائج المحتملة. ويمكنك القيام بذلك دون الحاجة فعلياً إلى إجراء معظم هذه التجارب . يمكنك التنبؤ بهذه الهياكل ثلاثية الأبعاد مباشرة من التسلسل، وبذلك يمكنك تحديد أولويات التجارب والتدخلات التي قد تكون أكثر أهمية أو قيمة دون الحاجة إلى إنفاق الوقت والتكلفة المرتبطين بهذه التجارب. لذا، فإن الرؤية الكبرى في هذا المجال بشكل عام كانت تتمثل في كيفية نقل هذه القدرات إلى مستويات تجريد أكثر
صلة من الناحية الفسيولوجية، وتتصل بشكل أوضح بالأنماط الظاهرية البشرية والمرضية. وقد أُطلق على هذا المجال بشكل واسع مصطلح " أبحاث الخلية الافتراضية". لكنني أعتقد أن الطريقة الأكثر دقة لتعريف ذلك هي كيف نستخدم الذكاء الاصطناعي لنمذجة الأنظمة البيولوجية فعلياً على مستويات مثل مستوى الخلية، ومستوى الأنسجة، وصولاً إلى مستوى الكائن الحي. ما رأيناه حتى الآن هو قدرات هائلة على مستوى التسلسل. فإذا نظرنا إلى تسلسلات البروتين وتسلسلات الحمض النووي، ستكون هناك عروض تقديمية رائعة بعدي تصف أحدث ما توصل إليه العلم في هذا المجال. نحن نشهد تحولات هائلة في
القدرات، أليس كذلك؟ نحن قادرون على القيام بأشياء لم نكن نتخيلها حتى قبل بضع سنوات. لكن ما ينقصنا هو: كيف نستفيد من هذه المزايا، وكيف نرتقي بها إلى مستوى التجريد التالي ، وهو الخلية، التي تُعد كيسًا معقدًا وفوضويًا للغاية من الجزيئات التي تتغير وتتبدل باستمرار؟ هناك مجموعة أخرى كاملة من المتغيرات والاعتبارات التي يجب أن تؤخذ في الحسبان. إذًا، كيف يمكننا القيام بذلك بفعالية؟ هذا هو بشكل عام، إذا جاز التعبير، موضوع بحثي، ومجال البحث المعروف الآن بشكل أعم باسم الخلايا الافتراضية. إحدى طرق التفكير في الأمر هي أننا
إذا تمكنا من بناء هذه النماذج بفعالية، فسنحصل في الأساس على مساحة افتراضية مثل تلك الموضحة هنا على اليمين، حيث يمكنك رسم خرائط لحالات مختلفة للخلايا، سواء كانت سليمة أو مريضة، وتحديد التدخلات والتجارب التي يمكن أن تساعدك في الانتقال من حالات أكثر مرضًا نحو حالات ربما تكون أكثر صحة. لماذا سيكون لهذا تأثير كبير؟ حسنًا، أحد أكبر أسباب الفشل في العيادات هو في الواقع الفعالية السريرية. وإحدى طرق تفسير ذلك هي أننا سيئون للغاية في التنبؤ بما سينجح في جسم الإنسان. والسبب في ذلك هو أننا ببساطة لا نملك
نماذج جيدة بما يكفي لتُترجم إلى أنماط ظاهرية بشرية حقيقية، أو أنماط بيولوجية ظاهرية حقيقية . لقد أصبحنا بارعين جدًا في تصميم الجزيئات، وبارعين جدًا في الارتباط بالأهداف بمجرد تحديدها، لكننا لا نزال غير بارعين في تحديد الأهداف ذاتها التي يجب أن نلاحقها من أجل تعديل نمط ظاهري معين أو نتيجة محددة. حسنًا. إذًا، كيف نبدأ في بناء نماذج مثل هذه؟ أم... إليك مثال على ما قمنا ببنائه. أطلق عليه اسم نموذج التضمين الخلوي العالمي. وقد نُشر للتو في دورية "نيتشر" في وقت سابق من هذا العام. فقط لأعطيك فكرة
عما تبدو عليه هذه النماذج. لذا، عندما نتحدث عن حالة الخلية، يمكننا في الأساس قياس حالة الخلية بطرق مختلفة كثيرة. أحد الأساليب الشائعة جدًا للقيام بذلك هو استخدام ما يسمى بالتعبير الجيني. هنا على اليسار، ما تراه هو مصفوفة الخلايا مقابل الجينات. فكل صف هنا يقابل خلية، وكل عمود يقابل جينًا. والقيمة الموجودة هناك تقابل عدد النسخ التي قمت بقياسها لذلك الجين المحدد . لذا، إذا اتبعنا نهج نمذجة اللغة القياسي، يمكنك حجب بعض الجينات في كل من هذه الخلايا ومحاولة التنبؤ بما هي عليه. وإذا قمت بذلك على نطاق
واسع، فالهدف إذًا هو أنه باستخدام شيء مثل التعلم الذاتي، يمكنك تعلم نوع من التمثيل العام للخلايا الذي يمكن أن يوصلك إلى تلك الرؤية، كما تعلم، لهذا المشهد الذي يمكنك رسم خرائط له والتنبؤ بالنتائج والتدخلات عبره. الشيء الرائع هو أننا لسنا الوحيدين الذين فكروا بهذه الطريقة. لذا، اقترح علماء الأحياء قبل 100 عام فكرة تسمى مشهد وادينجتون، وهو مفهوم رائع حقاً في علم الأحياء النمائي ينص على أن الخلايا لا تتخذ حالات عشوائية في الواقع. بل إنها في الواقع، تقع على طول ما يشبه المنوع منخفض الأبعاد. لذا، هناك
حالات من المرجح وجودها بشكل أكبر، وهناك حالات أخرى شبه مستحيلة فقط بسبب القواعد والقيود النسخية والجينية. وهكذا، بطريقة ما بالنسبة لنا، أفترض أن الكثير منا هنا يأتون من خلفية في الذكاء الاصطناعي، وهذا في الواقع مشابه جداً عندما نفكر في مساحات التمثيل والمنوعات منخفضة الأبعاد التي قد تقع بياناتك على طولها. إنها فكرة مشابهة جداً نوعاً ما، وهي تشبه التقاطع بين الطريقة التي يفكر بها علماء الأحياء في بيولوجيا الخلية والطريقة التي يفكر بها علماء تعلم الآلة. لذا، قمنا بتدريب نموذج للقيام بذلك مع حوالي 35 مليون خلية، وهو
أمر بسيط في هذه الأيام، وتمكنا من إنشاء خريطة UMAP جميلة ، وهو دليل على أن لدينا تمثيلاً عالمياً مشتركاً عبر كل هذه البيانات. والألوان المختلفة تتوافق بوضوح مع أنواع مختلفة من البيولوجيا، ويمكنك الآن دراسة هذا ومحاولة فهم علاقات واتصالات جديدة. إذا نظرت بعمق أكبر في مساحة التمثيل تلك، فما وجدناه هو أن هناك بنية تظهر كانت تتماشى مع ما رأيناه في الأدبيات العلمية. لذا، يمكننا أن نرى أن أنواع الخلايا الواسعة تتجمع معاً، وضمن أنواع الخلايا الأوسع تلك، تشكل أنواع الخلايا المعروفة والأدق أيضاً هياكل، كما تعلم، معروفة
ومدروسة جيداً. لذا، كل هذا رائع. لم نقدم هذه المعلومات للنموذج. لقد تمكنا من استخراج هذا دون القيام بأي شيء سوى التعلم الذاتي . هذا رائع حقاً. كيف ننتقل بهذا إلى المستوى التالي؟ ما الذي فعله الناس في معالجة اللغات الطبيعية؟ لقد ذهبنا في الأساس وحاولنا إيجاد ما يعادل "كومون كرول"(Common Crawl)، أليس كذلك؟ دعونا نذهب ونجد ما يعادل الإنترنت لبيانات الخلايا ونحاول في الأساس تدريب نموذج عليها. وهكذا، الطريقة التي قمنا بها بذلك ، وهذا كان بحثاً نُشر في وقت سابق من هذا العام في مجلة "سيل"، كنا من
أوائل المختبرات التي استخدمت الوكلاء للدخول إلى مستودع معاهد الصحة الوطنية الأمريكية لجميع بيانات النسخ الجيني الخام المسجلة . كان هذا في عام 2025 عندما كانت الوكلاء جديدة جداً، ولم تكن "كلود كود" هي السائدة بعد. وكانت فكرة جديدة للغاية آنذاك. وبشكل أساسي، جعلنا هؤلاء الوكلاء يعملون لمدة شهر لإعادة معالجة كل البيانات التي يمكنهم العثور عليها للخلايا. وعلى اليسار هناك، ما ترونه هو نوع الأرقام التي حصلنا عليها. لقد انتقلنا من 36 مليوناً إلى مرتبة أعلى بضعف عشر مرات، أي ما يقارب 500 مليون خلية وأكثر. كان ذلك رائعاً.
كنا متحمسين للغاية. ولكن عندما بدأنا في النظر بعمق أكبر إلى البيانات التي جمعناها، وجدنا أن الغالبية العظمى من البيانات لدينا هي في الأساس خلايا مناعية. وضمن ذلك، وبفارق كبير، كانت الخلايا التائية هي الأكثر تمثيلاً. وكما ترون، فإن المحور السيني هنا يتوافق مع أنواع الخلايا، والمحور الصادي يمثل الأنسجة. وشريط الألوان يعتمد على مقياس لوغاريتمي. والسبب في أن هذا مفاجئ هو أنه يمكنك توسيع النطاق وتعدين جميع البيانات المتاحة علناً، لكنك ستحصل على تنوع ضئيل جداً واتساع محدود في فهم البيولوجيا، أليس كذلك؟ وهذا شيء بدأ المجال يدركه أكثر
فأكثر. إذاً، كيف نحل مشكلة بناء نماذج أساسية حقيقية لالتقاط حالة الخلية؟ أزعم أن حل هذه المشكلة هو البدء في التفكير من منظور دائري للاكتشاف بدلاً من المنظور الخطي. وهذا يعني أننا لسنا مضطرين بالضرورة إلى التوسع مسبقاً وبناء أكبر قدر ممكن من البيانات ثم تدريب نموذجنا. بدلاً من ذلك، ربما يكون من الأكثر فعالية الآن الاستفادة من نماذج مثل "كلود" و "إن جي بي دي" التي لديها بالفعل فهم جيد جداً لهذا المشهد البيولوجي من خلال النصوص، واستخدامها كوسيلة لتحسين عملية توليد البيانات. وهذا ما أحب أن أسميه توسيع
نطاق التجارب الموجهة بالذكاء الاصطناعي بدلاً من توسيع نطاق توليد البيانات. وما يجعل هذا الأمر مثيراً، وهنا أصل إلى عنوان حديثي، هو أننا عندما نبدأ بالتفكير في هذه العملية كحلقة مفرغة، نجد في الواقع الكثير من أوجه التشابه التي يمكننا استخلاصها من مجالات أخرى ناشئة بسرعة، مثل أبحاث تعلم الآلة المؤتمتة، أو التحسين الذاتي التكراري، أو أي مصطلحات أخرى تود استخدامها. إنهم في الواقع يحاولون أيضاً حل مشكلات تتخذ طابعاً مشابهاً جداً لما نحاول القيام به في علم الأحياء. لذا، إحدى الطرق التي نحب التفكير بها هي أننا نقوم فعلياً
بزيادة الوقت وتكلفة المُقيِّمين وحجم الحلقات، لكن هيكل تلك الحلقات في الواقع ليس مختلفاً كثيراً. ولماذا أقول ذلك؟ لأنه حتى لو كنت تستخدم "كلود كود"(Claude Code) أو نظام أبحاث ذاتي لتحسين نموذج تعلم الآلة الخاص بك، فلا يزال عليك التعامل مع تجارب مكلفة، وتقييمات غير دقيقة عند قياس التقدم، ولا يزال عليك البحث في مساحات بحث شاسعة تغطي الفرضيات التجريبية. لذا، ما افترضناه هو أن هناك الكثير مما يمكننا تعلمه مما يحدث في المختبرات الرائدة بينما يحاولون أتمتة أبحاث تعلم الآلة الخاصة بهم. دعونا نحاول جلب هذه الرؤى إلى مجال
الاكتشافات البيولوجية. لذا، ومن أجل القيام بذلك، انضممت مؤخراً إلى شركة ناشئة تدعى " إنتليجي"(Intelligi) قبل حوالي 6 أشهر. وكان الهدف من ذلك أساساً هو إنشاء شركة ناشئة متخصصة في أبحاث الذكاء الاصطناعي البحت، تركز على أنظمة أبحاث الذكاء الاصطناعي المؤتمتة ذات الأغراض العامة. والأبرز من ذلك، أنهم حققوا نتيجة قبل بضعة أشهر حيث تصدروا قائمة المتصدرين في "بوست ترينينج بنش"(post-training bench) ، وهو معيار تستخدمه النماذج الرائدة لتقييم مدى قدرة "كلود" و "جي بي تي" على البناء الذاتي، أو التدريب اللاحق الذاتي لنماذج كلود، أليس كذلك؟ كما ترون، فقد
بنوا نظاماً كان في الواقع يعمل بشكل أفضل من العديد من وكلاء البرمجة الشائعة. وهذا في الواقع ليس علماً معقداً. السبب في قدرتهم على فعل ذلك هو أن الأنظمة المستقلة التي نستخدمها حالياً، والوكلاء الذين نستخدمهم في الأبحاث، ليسوا مُحسَّنين حقاً للأبحاث. وأي شخص يعمل في مجال الوكلاء الذكيين يمكنه إخبارك بأن هناك الكثير من الأشياء التي يمكننا القيام بها لتحسين قدرتهم على البحث واكتشاف أفكار ومفاهيم جديدة. وفي حالتنا ، أردنا استخدامه لاختبار ما إذا كان بإمكاننا البدء في فهم بيولوجيا جديدة. لذا، ما فعلناه هو أننا استخدمنا نفس
النظام، الذي نطلق عليه اسم "لوكس"(Locus )، وقمنا بتطبيقه على التصميم الجزيئي. وبدأنا نتساءل: "مم، هل يمكننا فعلياً أخذ النماذج الأساسية، التي تعد بطريقة ما محاكاة لبعض جوانب العالم المادي؟ هل يمكننا، هل يمكننا أساساً تكييف تلك النماذج لمهام مثل التنبؤ بالخصائص؟ وهل يمكننا فعلياً البحث من خلالها لتحديد والوصول إلى فرضيات علمية أكثر إثارة للاهتمام بشكل أفضل مما لو استخدمنا وكلاء جاهزين؟" إذن، هذه هي نتائج حصلنا عليها بالأمس فقط. وبالفعل تمكنا من إظهار أن النظام الذي تم تحسينه في مرحلة ما بعد تدريب النماذج اللغوية كان قادراً أيضاً
على الأداء الجيد في الإطار العلمي. لذا، لن أخوض في الكثير من التفاصيل لضيق الوقت ، لكننا حاولنا أساساً تقييم مدى تحسن أداء التحقق لدينا في التنبؤ بكفاءة الارتباط الجزيئي مع توسيع نطاق حوسبة البحث والتطوير في الذكاء الاصطناعي. وقد وجدنا أن النظام الذي تم تحسينه بالفعل لمهام الاكتشاف هذه في بيئة التعلم الآلي كان قادراً أيضاً على الأداء الجيد في هذه البيئات العلمية مع توسيع نطاق الحوسبة. يمكننا أن نرى أن هناك تحسناً كبيراً مقارنة بوكلاء البرمجة. نظرنا أيضاً في مهام توليدية أكثر. إذا أردنا أخذ عينات من مساحة
تمثيل النماذج الأساسية، وهو ما يشبه إجراء التجارب حيث تقوم بأخذ عينات من مساحة معينة، هل يمكننا القيام بذلك بكفاءة أكبر؟ والجواب نعم، استطعنا ذلك. وقد تمكنا من القيام بذلك بكفاءة أكبر بكثير من النماذج الحالية بما في ذلك بولتزمان، وكودكس، وغيرها. بالطبع، هذه نتائج محاكاة حاسوبية. يجب التحقق من هذه النتائج في المختبر، لكن هذا مثير حقاً لأنه يظهر وجود تقاطع كبير مع مسار أبحاث الذكاء الاصطناعي من حيث أبحاث الذكاء الاصطناعي البحتة وكيف يمكننا ربط ذلك بالاكتشاف العلمي. هناك المزيد من النتائج في الورقة البحثية. عذراً، في المدونة
نظرنا أيضاً فيما إذا كنا قادرين على التعامل مع ضوضاء التقييم بشكل أكثر فعالية. ما يعنيه ذلك هو أننا في العديد من هذه الإعدادات لدينا مجموعات تحقق صغيرة جداً. هذا أمر شائع جداً في العلم. لديك وسائل مشوشة جداً لتقييم نظام فيزيائي. هل يمكنك بناء متانة في نظام الاكتشاف الخاص بك بحيث لا يزال بإمكانه الأداء بشكل جيد في مجموعة الاختبار عندما يمتلك مجموعات تحقق صغيرة؟ وبالفعل تمكنا من إظهار أنه يمكننا القيام بذلك لهذه المهمة المحددة. حسناً، فقط لتلخيص الأمر والعودة إلى الصورة الأكبر هنا. كانت الفكرة هنا هي
بناء الثقة جوهرياً في وجود بعض المبادئ الأساسية المشتركة التي تقوم عليها أبحاث الاكتشاف في الذكاء الاصطناعي الصرف والتي يمكننا تطبيقها في الاكتشاف العلمي. وتتمثل الرؤية هنا في أننا نستطيع البدء في بناء حلقات تتصل بمختبرات فيزيائية حقيقية، ويمكنها توليد بيانات بشكل مثالي داخل هذه المختبرات بحيث تكون مُحسّنة لأسئلة محددة، أسئلة بيولوجية وعلمية تهمنا. وأزعم أن هذا نهج أكثر فعالية، وربما أسرع، للوصول إلى نموذج خلية افتراضي قابل للاستخدام وذو فائدة عالية، بدلاً من توليد كمية كبيرة من البيانات أولاً ثم اكتشاف لاحقاً أنها قد لا تكون الأمثل للحصول
على إجابات للأسئلة التي تهمنا. حسناً، لنختتم بهذا السطر. هذا في الواقع هو السطر الأول في الكتاب الدراسي، الكتاب الرائد في مجال بيولوجيا الخلية. من نواحٍ كثيرة، نحن نفهم هيكل الكون بشكل أفضل من فهمنا لآليات عمل الخلايا الحية. نحن نعرف تسلسل الجينوم الكامل للعديد من الأنواع، لكننا ما زلنا لا نستطيع التنبؤ بكيفية تصرف الخلية إذا قمنا بتعديل جين لم تتم دراسته من قبل. إنه لأمر مثير أن نفكر في أن هذا البحث يدفعنا فعلياً نحو هذا السؤال الجوهري، وهناك المزيد من العمل من مجموعتي البحثية السابقة التي يسعدني
الحديث عنها بما أننا في نادي الأوراق البحثية. وأجل، أود أن أشكر كل من شارك في هذا العمل وأنا سعيد بتلقي الأسئلة. >> حسناً، لدينا وقت لسؤالين أو ثلاثة. >> مرحباً. امم، حديث رائع. امم، هذا سؤال من جزئين. الجزء الأول هو أنك ذكرت التدريب. امم، ما هي بعض التقنيات التي تستخدمها لما بعد التدريب؟ هل هو التعلم التعزيزي، أم هل ترى، كما تعلم، بعض التحديات التي نراها في التعلم التعزيزي في اللغة أو الرؤية الحاسوبية، مثل تحديد المقيمين، وتحديد المكافآت؟ هل تترجم هذه المفاهيم هنا؟ الجزء الثاني من السؤال
هو أنك ذكرت الخلية الافتراضية. هل رأيت فجوة بين محاكاتك الافتراضية والواقع الفيزيائي، وكيف تجسر هذه الفجوة؟ مثل، هل توجد مقاييس لقياسها وطرق لتجاوز تلك الفجوة؟ شكراً لك. >> نعم، شكراً على سؤالك. امم، سأبدأ بالجزء الثاني أولاً. آه نعم، بالتأكيد. أعتقد أن كل التقييمات التي نجريها، نحن نختبر جوهرياً مدى قدرتنا على إعادة محاكاة الواقع أو التجربة الفيزيائية. الواقع هو أن القيام بذلك بحد ذاته أمر صعب للغاية غالباً، لأنه في كل مرة تقيس فيها خلية، حتى لو كانت في نفس الظروف، هناك الكثير من التقلبات. هناك الكثير من
الضوضاء في المُقيّمين كما ذكرت. لكن نعم، هذا هو الهدف، محاولة محاكاة أو مضاهاة النظام الفيزيائي قدر الإمكان. بالنسبة لسؤالك الأول، نعم بالطبع. أعتقد أن الفكرة وراء الجزء الأخير من الشرائح هي أن هناك الكثير مما يمكن للمجتمع العلمي تعلمه من مجتمعات ما بعد التدريب الآلي والتعلم التعزيزي. هناك الكثير من التحديات المشتركة. لذا، لقد حددت بشكل صحيح تحديات مثل الاستمرار في مهمتك لفترات طويلة، وآفاق زمنية طويلة، والتأكد من وجود وكلاء تحكيم وأنواع أخرى من الوكلاء لتتبع التقدم، والتأكد من أننا نفكر بعناية في الأفكار التي نولدها، وأننا نأخذ
في الاعتبار تكلفة التجريب عند توليد الأفكار ، وأن نكون استراتيجيين في كيفية ترتيبها ومعالجتها. أعتقد أن هذه جوانب يتم التغاضي عنها في وكلاء البرمجة القياسيين الذين يعتمد عليهم الناس عادةً. وهذا شيء استفدنا منه عندما كنا نقوم بعمل التعلم الآلي ووجدنا أنه ينطبق فعلياً على المشكلات العلمية أيضاً، وهو أمر مثير للغاية. أجل. >> مرحباً. >> نـ-نعم. أجل. >> مرحباً. عرض رائع. شكراً. سؤال سريع. على المحور السيني في تلك المخططات في نهاية شريحتك، أنت تقول أن حوسبة H100، هل كنت تتحدث عن الاستنتاج أم نتحدث عن ما بعد
التدريب كما هو الحال في التعلم التعزيزي ؟ وكيف تعرف ما تفعله شركتا Anthropic و OpenAI إذا كان الأمر يتعلق بالتعلم التعزيزي؟ كيف تعرف عدد وحدات H100 التي يستخدمونها؟ >> صحيح. إذن، الأمر يتعلق بحوسبة وحدة معالجة الرسوميات (GPU). وما نقيمه في تلك الشريحة هو مقدار حوسبة وحدة معالجة الرسوميات التي استخدمناها. لذا، في الأساس، يتم قياس تكلفة كل تجربة بساعات حوسبة وحدة معالجة الرسوميات. وكيف استخدمنا ساعات حوسبة وحدة معالجة الرسوميات لتحسين أداء هذا النموذج في مهمة التنبؤ بخصائص محددة أو هذه القدرة على البحث في الفضاء الكامن لنموذج
أساسي . ثم قارنا ذلك بأدوات الوكلاء الجاهزة من Anthropic و OpenAI. لذا، كان كل وكيل أو نظام بحث يعمل في نفس البيئة الافتراضية باستخدام نفس وحدات معالجة الرسوميات. وكنا نقيس فقط من يستخدم الحوسبة بشكل أكثر فاعلية. >> إذن، توليد الرموز. >> ما هذا؟ >> إذن، توليد الرموز بمرور الوقت. >> ليس الرموز. إنها حوسبة لأننا ندرب النماذج. لذا، نحن نقوم بتشغيل ذلك التدريب على وحدات معالجة الرسوميات. لذا ، نحن لا نقيس تكاليف الرموز. أم، إذا كان ذلك منطقياً. في ذلك الرسم البياني. >> نعم. >> لكنها نقطة
جيدة، إذ يجب عليك أخذها في الاعتبار؛ فمن بعض النواحي هناك مقايضة بين حوسبة وحدة معالجة الرسوميات، أو ليس مقايضة، بل كلاهما يؤثر على تكلفة التجربة . لكن معظمها كان يستخدم نفس عدد الرموز ( tokens). >> أنا فضولي جداً لمعرفة بنية Locus وكيف تعمل، نعم. >> حسناً، لا يمكنني مشاركة الكثير، لكنه مبني في الأساس على النماذج اللغوية الكبيرة (LLMs)، لذا فهو يستخدم نموذجاً لغوياً في جوهره، وقد قمنا ببناء هندسة ذكية حوله باستراتيجيات مختلفة. أعتقد أن هذه نظرة عامة شاملة. نعم. نعم. >> هل يستخدمون لغة بايثون؟ >>
نحن نستخدم بايثون، أوه لقد كشفت الأمر. >> أم، آخر سؤال من جانبي. تتعلق الكثير من المكاسب والمشكلات بما إذا كانت تكلفة الحصول على عينة وتقييمها مرتفعة، مقارنة بما إذا كانت مجانية، حيث تهتم أكثر بكفاءة العينة. لذا، إذا أجريت تجربة دوائية، فما مقدار ما يمكنك تعلمه منها؟ أنت تميل أكثر لإنفاق الكثير لتدريب شيء ما لتتعلم أكبر قدر ممكن من تلك العينة. معظم المكاسب في عالم النماذج اللغوية الكبيرة جاءت من أشياء مثل "نظام الربط المستمر"(continual harness) دون تحديث الأوزان فعلياً، بل بالقيام بنوع مختلف من التعلم. هل رأيت...لقد
رأيت الكثير حول تحديث المعلمات. هل قمت بالكثير من العمل على نوع "نظام الربط المستمر"، أي بناء نظام فوق النموذج ليكون أكثر توافقاً مع السياق وتحديث السياق وما شابه ذلك؟ >> أتفق معك في هذا الرأي. أعتقد حقاً أن هناك قيمة كبيرة في نظام الربط (harness) . أود أن أقول إن الكثير من عملنا، خاصة في الأبحاث والتجارب الموجهة بالوكلاء المستقلين، يحتوي بالتأكيد على الكثير من المكاسب السهلة التي يمكنك تحقيقها من خلال نظام الربط قبل القيام بأي تدريب لاحق. لذا، أعتقد أن الإجابة هي نعم بالتأكيد. هل يجيب هذا
على سؤالك؟ >> أعني، أعتقد أن الإجابة الصحيحة ستكون مزيجاً من الاثنين. أنت تقوم بتحديث المعلمات، ولكن عليك أيضاً تحديث نظام الربط أيضاً. >> نعم، أعتقد أن هناك الكثير من الجدل حول هذا الموضوع عبر الإنترنت، ولكن في كثير من الحالات، أعتقد أن هندسة نظام الربط تساعد في جعل الحلول أكثر قابلية للتعميم دون الحاجة إلى تعديل الأوزان مباشرة. غالباً، إذا أردت حقاً إعداد شيء ما للاسترجاع السريع، فمن المنطقي ربما القيام بشيء مثل التدريب اللاحق، لكننا كنا مهتمين جداً بالحلول عامة الغرض التي تعمل عبر مختلف المجالات، لأن ذلك
يتيح لنا التأكد من أننا لا نفرط في التخصيص أو نكتفي بتحقيق أقصى درجات الأداء في الاختبارات القياسية. لذا، نعم، لقد فضلنا مناهج أقل اعتماداً على ضبط أوزان النماذج . أجل. >> ديڤيا أعطتني للتو خمسة دولارات لأطرح ذلك السؤال. إذاً، التسعير لكل حديث. حسناً. >> ما هذا؟ >> ديڤيا طلبت مني ودفعت لي خمسة دولارات للتسعير لكل حديث. >> أوه، حسناً. أوه، نعم. >> شكراً جزيلاً لكم جميعاً. شكراً لكم. >> إذاً، كم يمكننا أن نتعلم من الحمض النووي (DNA)؟ نماذج اللغة قوية حقاً ويتم تدريبها بطريقة بسيطة للغاية،
أليس كذلك؟ من خلال التنبؤ بالرمز التالي ثم الكثير من الأشياء الأخرى فوق ذلك. لقد أنشأنا هذه النماذج المذهلة التي تتفوق على البشر بطرق عديدة والتي نستخدمها جميعاً كل يوم . لكن البشر يمكنهم قراءة اللغة، ويمكننا قراءة البرمجيات، ويمكننا قراءة الرياضيات . لا يمكننا النظر إلى الحمض النووي وفهم ما يقوله. ببعض الطرق، الحمض النووي هو لغة، على الرغم من أنه كُتب من خلال عملية الانتقاء الطبيعي. إذاً، الحمض النووي، هذا النمط الجيني للكائن الحي، يشفر الحمض النووي الريبي (RNAs) والبروتينات التي تمر عبر آليات بيولوجية معقدة لتؤدي إلى
أنماط ظاهرية معقدة، مثل ما إذا كنت مريضاً أو مدى طول قامتك. ثم يعمل الانتقاء الطبيعي على الأنماط الظاهرية، مما يغير ما يبقى من الحمض النووي وما نلاحظه عندما نقوم بتسلسل كميات كبيرة من الجينومات. إذاً، هذا مصدر بيانات غني يمكن أن يخبرنا الكثير عن أنفسنا وعن علم الأحياء. وكما سمعتم، فهو ينمو بسرعة كبيرة. فقط خلال فترة الدكتوراه الخاصة بي ، تضاعفت كمية الجينومات الموجودة على موقع NCBI في السنوات الثلاث الماضية. ولم تكن لدينا أي وسيلة لفهم كل هذه البيانات الضخمة والمتنامية وإيجاد أكثر الأشياء إثارة للاهتمام فيها
للمتابعة علمياً، أو استخدامها لبناء نماذج أفضل وأذكى. وجزء من ذلك يعود إلى أن الجينومات صعبة النمذجة للغاية. إذا فكرت في أزواج قواعد الحمض النووي، فهناك أربعة فقط، لذا يمكن أن يكون ذلك هو حجم مفرداتك. والتطور لا يعمل فقط على مستوى واحد. إنه يعمل على كل المستويات. لذا، لديك طفيليات داخل طفيليات داخل طفيليات داخل كائنات حية. إنها تنسخ نفسها في جميع أنحاء الجينوم. وبالتالي، فهي سلسلة متكررة للغاية ومتدهورة. وهي متعددة النطاقات للغاية. لذا، قد يكون لديك جين واحد يمتد لمئات الآلاف من أزواج القواعد التي تحتاج إلى
معالجة. وفي ذلك، مجرد زوج قاعدي واحد لديه طفرة يجعلك لا تستطيع البقاء على قيد الحياة. لذا، نحتاج إلى أخذ كل هذه الأمور في الحسبان إذا أردنا حقاً أن نكون قادرين على نمذجة الجينومات وفهم علم الأحياء. ونبدأ بأن نكون بسطاء للغاية. نحن ندرب نموذجاً للتنبؤ بالرمز التالي، تماماً مثل GPT، ولكن على الحمض النووي (DNA). إنه تدريب أولي توليدي بسيط عبر كل أشكال الحياة، ونأمل أن نتعلم بعض هذه التفاعلات ذات الرتب الأعلى. في حالتنا، نستخدم بنية هجينة من الانتباه والالتفاف للوصول إلى أطوال تسلسلية أطول. إذن، هناك شيء
مهم جداً وهو البيانات. نحن نجمع كل البيانات العامة التي يمكننا الحصول عليها، ثم نتخلص من الكثير منها. لذا، نأخذ ممثلاً واحداً فقط لكل نوع، ثم نتخلص من بيانات الحمض النووي المتشابهة جداً مع بيانات أخرى في تلك المجموعة لنصل إلى مجموعة بيانات الـ 9 تريليون زوج قاعدي التي نتدرب عليها. لكننا في الواقع نذهب إلى أبعد من ذلك. لذا، في مرحلة التدريب الأولي، والتي تمثل معظم وقت التدريب، نركز بالفعل على هذا التعزيز للبيانات الذي يركز على الشروحات (التوصيفات). لذا ، الأجزاء من الجينوم التي توجد بها جينات أو
حمض نووي ريبوزي (RNA) أو عناصر أخرى محفوظة تطورياً، من المرجح أن تحتوي على قدر أقل من تلك "النفايات" التكرارية التي كنت أتحدث عنها. وقد ركزنا التدريب على ذلك بشكل أكبر. لذا، نحن في الواقع نتخلص من تريليونات الرموز من البيانات. ونقوم بتدريب النموذج على مرحلتين. نبدأ بطول سياق أقصر مع التركيز أكثر على تلك المناطق الجينية ذات الحفظ الأعلى. ثم نقوم بتوسيع طول السياق ليصل إلى مليون زوج قاعدي. لذا، يمكنك أن تتخيل أن هذا يعني تعلم ما بداخل الحمض النووي ثم كيفية تكوينه بأطوال تسلسلية أطول فأطول. نقوم
بذلك بحجمين، نموذجي 7 مليار و 40 مليار معامل. هذه نماذج كثيفة. كان هذا في أواخر عام 2024. وقد أطلقنا العنان لها. وهكذا، تنخفض قيمة الخسارة. رائع. يمكننا التنبؤ بزوج القواعد التالي في الحمض النووي. هذا أمر مثير حقاً. آه، ما الذي يعود علينا به هذا في الواقع؟ حسناً، حسناً. أنا أوضح لكم أنه عندما أعطيه المزيد من الحمض النووي في السياق، فإنه يتنبأ بزوج القواعد التالي بشكل أفضل. وعندما أستخدم نموذجاً أكبر، فإنه يتنبأ بزوج القواعد التالي بشكل أفضل. لكن ما الذي يعود علينا به هذا حقاً؟ لذا، لدينا
الآن نموذج لغة الحمض النووي هذا. مدخلات من الحمض النووي ، ومخرجات من الحمض النووي. آه، نحن بحاجة إلى إيجاد طرق لاستخدامه. نحن بحاجة إلى إيجاد طرق لطرح أسئلة علمية باستخدامه، ودمجه مع طرق أخرى. لذا، بشكل عام، هناك طرق مختلفة للتفاعل مع نموذج كهذا. إما، كما تعلم، من خلال المدخلات والمخرجات مثل القيام بتنبؤ للاحتمالية أو إنشاء المزيد من التسلسلات تماماً مثل نموذج لغوي حيث تقوم بتوجيهه وتوليد نصوص إنجليزية. أو تأخذ مخرجات وسيطة من النموذج مثل تضمينات معينة أو استخدام التفسير الآلي للعثور على خلايا عصبية مثيرة للاهتمام.
هذا مهم لأننا لا نستطيع ببساطة التحدث معه بلغة الحمض النووي (DNA)، أليس كذلك؟ نحن بحاجة إلى معرفة كيفية فهم ما يخبرنا به. وهكذا، إحدى الطرق التي نبدأ بها استخدام النموذج على الفور هي النظر إلى الاحتمالات. إذاً، هذا نموذج توليدي تم تدريبه على الكثير من الحمض النووي الحقيقي. لذلك، لديه إحساس جيد بما هو محتمل في الحمض النووي. وعندما تعطيه طفرة ويقول إنها غير محتملة، فإن ذلك يرتبط بكون تلك الطفرة تسبب مرضاً أو تسبب فقدان وظيفة من نوع ما. وبما أنه مدرب على الحمض النووي، فيمكنه القيام بذلك
للبروتينات، وللرنا (RNA)، وللتسلسلات غير المشفرة. هذا في الأساس نموذج قرار. إذاً، إيفو ( Evo) هو نموذج قرار. ويمكننا قياس أداء هذا النموذج على مجموعات بيانات مختلفة موجودة بدءاً من البيانات السريرية البشرية وصولاً إلى مجموعات البيانات التجريبية. هنا أعرض عليكم نتيجة واحدة تتعلق بـ BRCA1، وهو جين يسبب خطر الإصابة بالسرطان. ونحن نقارن الارتباط مع الطفرات التي تسبب فقدان الوظيفة بين إيفو 2 (Evo 2) والعديد من النماذج الأخرى. لذا، بالنسبة للمناطق المشفرة وغير المشفرة والجمع بينهما، فإن إيفو 2، الذي تم تدريبه فقط على كل هذه الأنواع المختلفة
وجينوماتها ورأى جينوماً مرجعياً بشرياً واحداً فقط، يعتبر منافساً أو أفضل من النماذج الخاضعة للإشراف التي لديها تدريب وبيانات خاصة بالبشر تحديداً. هذا ممكن فقط بفضل خطوة تعزيز البيانات تلك. اتضح أنه لو تركنا، كما تعلم، 50%من البيانات مأخوذة من أجزاء عشوائية من جينوم كامل، فإنك في الواقع تنخفض بمقدار 0.16 في ارتباط سبيرمان لذلك المعيار الذي كنت أعرضه عليك. إذاً، هذا الفرق بين كونه في طليعة التقنية وكونه في ذيل القائمة كان مجرد خلط البيانات. وفي الواقع، إيفو 2 لديه نقطة ضعف وهي عناصر التعزيز البعيدة هذه. ومؤخراً، توصلت
مجموعة أخرى إلى تركيبة بيانات لتعزيز الأداء في هذا الجانب. لذا، حقاً، كيف تغير ما تحاول التنبؤ به؟ كيف تغير البيانات لتعلمها؟ الطريقة الأخرى للتفاعل مع النموذج، بخلاف مجرد أخذ الاحتمالات الناتجة عنه، هي تفسير ما تعلمه في الداخل من خلال النظر إلى تضميناته. لذا، نقوم بتدريب هذه المُشفرات التلقائية المتفرقة لرصد السمات التي تعلمها نموذج "إيفو 2"(Evo 2) من خلال مقارنتها بالتصنيفات التي وضعها البشر. وهذه إحدى السمات المثيرة للاهتمام التي تعلمها "إيفو 2"، وهي سمة مرتبطة بالعاثيات (الفيروسات البكتيرية). لذا، ما أعرضه لكم على اليسار، الدائرة الداخلية تمثل
تصنيف طليعة العاثيات في جينوم بكتيريا الإشريكية القولونية، وهو جينوم مدروس جيداً. وستلاحظون أن الدائرة الخارجية تمثل المواضع التي تنشط فيها هذه السمة، أي مجموعة الخلايا العصبية هذه في نموذج "إيفو 2". وهكذا، فبمجرد التدريب على التنبؤ بقاعدة الحمض النووي التالية، فإنه ينشط عند طليعة عاثيات مختلفة. كما أنه ينشط في مواضع أخرى أيضاً. ولكن عندما ننظر فعلياً إلى الكثير من تلك المواضع الأخرى، نجد بعض طليعة العاثيات التي لم يتم تصنيفها بطرق أخرى. هناك مصفوفات " كريسبر"(CRISPR)، التي تحتوي على مخازن صغيرة من الحمض النووي للفيروسات تستخدمها البكتيريا للدفاع
ضد العاثيات. وهناك جينات فردية أعادت البكتيريا استخدامها من العاثيات. وهكذا، فهذه مجموعة متنوعة جداً من الوظائف البيولوجية المرتبطة جميعها بهذا المفهوم، وهو العاثية، لكنها مختلفة تماماً في تسلسلها، وقد تعلم النموذج أنها مترابطة بمجرد التدريب على الحمض النووي. ونرى هذا في سمات أخرى مختلفة أيضاً. لكنه أيضاً نموذج من نوع "جي بي تي"(GPT) ، لذا يمكنك إدخال نص توجيهي وتوليد المزيد من الحمض النووي. ويمكننا في الواقع دمج هذا النموذج مع نماذج أخرى. ولأن الحمض النووي يشفر الحمض النووي الريبي والبروتينات، يمكننا دمج نموذج توليدي للحمض النووي مع مصنفات
ووظائف تنبؤية، واستخدامه لتحقيق تصميمات بيولوجية أكثر طموحاً. ومن أكثرها إثارة كان تصميم عاثيات بكتيرية جديدة شبيهة بـ "فاي إكس"(phiX)، وهي فيروسات تصيب البكتيريا. وهذا هو الهيكل البلوري المحلول لغلاف أحد هذه العاثيات، والذي تم توليده عن طريق الضبط الدقيق لنموذج " إيفو 2" على الفيروسات، ثم تشغيله عبر مسار تصميمي. وكما سمعتم، فإن هذا النوع من التصميم بدأ الآن يجد طريقه إلى المرضى . لذا، من خلال التدريب على الحمض النووي ، نصبح قادرين على فهم هذه التبعيات وهذه اللغة التي لا نستطيع نحن البشر قراءتها، والتي تكمن وراء
العديد من مستويات البيولوجيا المختلفة، ويمكننا تعلم استخدامها في مهام تنبؤية متنوعة. إذن، إحدى هذه المهام المثيرة حقاً هي اكتشاف أنظمة جديدة مهمة أو مثيرة للاهتمام من الجينومات، أليس كذلك؟ الكثير من أقوى تقنياتنا الحيوية تطورت بشكل طبيعي ولم تُصنع. وما يمكننا القيام به باستخدام نموذج اللغة الجديد "مينيرفا" هو التنبؤ فعلياً بالتفاعل بين أجزاء الحمض النووي المختلفة، مما يساعد في الكشف عن بنية الحمض النووي الريبي غير المشفر أو هياكل الحمض النووي التنظيمية، ويساعدنا في اكتشاف أشياء جديدة مثل الإنزيمات العكسية الشبيهة بـ "كريسبر". إذن، هذا نموذج جديد يعالج
مشكلة كان يعاني منها "إيفو 2"، وهي صعوبة التنبؤ بنوع التطور المشترك هذا بين الأجزاء المختلفة وكيفية تفاعلها. لذا، من خلال تدريب نموذج ثنائي الاتجاه، تمكنا من التنبؤ بالتطور المشترك بدقة أكبر، مما يسمح لنا بمسح مختلف الجينومات بسرعة وتحديد الأجزاء المثيرة للاهتمام لمتابعتها. وهنا، أعرض فقط التنبؤ بازدواج القواعد، وهو نوع من التفاعل عبر جينوم بكتيريا "باكتيرويدس". وهو يتوافق مع التوصيفات المعروفة لأنظمة مثيرة للاهتمام مثل "كريسبر" والحمض النووي الريبي، ولكن هناك أيضاً الكثير من الأشياء المجهولة. وفي الواقع، في معظم الجينومات البكتيرية ، حتى تلك التي تمت دراستها
بشكل جيد، لدينا المئات من أنواع الحمض النووي الريبي غير المشفر التي تم الكشف عنها الآن، والتي أغفلتها الأساليب الإحصائية الحيوية أو النماذج السابقة. ومن أروع الأشياء التي قمنا بالتحقق منها في المختبر كان الإنزيم العكسي UG27، الذي يحتوي على مصفوفة حمض نووي ريبي غير مشفرة شبيهة بـ "كريسبر". إنه شيء تحمله الفيروسات ويحتوي على مصفوفة قابلة للبرمجة تنتقل من الحمض النووي إلى الحمض النووي الريبي وبالعودة إلى الحمض النووي ، مما يخلق هذه الهياكل الشبيهة بالدبوس، ونحن لا نزال لا نعرف وظيفتها، لكننا سنحاول اكتشاف ذلك. آمل أن أكون
قد أقنعتكم بأن التدريب على الحمض النووي يساعدنا في تعلم قدرات مثيرة للاهتمام، الكثير منها لا نمتلكه نحن البشر؛ ويمكن لهذه النماذج أن تكون أدوات للعلماء البشريين، أو لعلماء الذكاء الاصطناعي، أو دمجها في طرق جديدة ومبتكرة للتدريب على أنواع متعددة من الوسائط معاً. العلم بالطبع رياضة جماعية، وقد عرضت عليكم أعمالاً من فرق مختلفة كثيرة عبر مؤسسات متنوعة جعلت هذا ممكناً. شكراً لشركة "إنفيديا" لمساعدتنا في تدريب " إيفو 2" على وحدات معالجة الرسومات الخاصة بهم. وسأستقبل أسئلتكم الآن. >> حسناً، لدينا وقت لسؤالين أو ثلاثة. >> حسناً. يبدو
أنك قمت بترميز البيانات على مستوى النيوكليوتيدات. لذا، أشعر بالفضول لمعرفة ما إذا كنت قد جربت طرق ترميز مختلفة، ولماذا استقريت على مستوى النيوكليوتيدات. >> نعم، أنا بالتأكيد من أشد المعجبين بالترميز على مستوى البايت، بحيث يكون من الطرف إلى الطرف قدر الإمكان في نهاية المطاف. في الأبحاث التي أجريناها على نطاقات أصغر، بدا أن الترميز على ذلك المستوى يساعد في بعض هذه المعايير. أعتقد أنه كان هناك بعض التقدم على مستويات مختلفة أيضاً. لذا، من المؤكد أن هناك حاجة إلى مزيد من البحث. لكن، يبدو حتى الآن أنه يساعد
بشكل خاص في التنبؤ بالطفرات عند الحصول عليه بهذه الدقة. >> أم، لدي سؤال. أم، في مجال الذكاء الاصطناعي الفيزيائي، كان الناس يجرون تجارب على نماذج "المحول ثنائي البرج"( two-tower transformer)، حيث يمكن لبرج واحد من المحولات التعامل مع البيانات المرئية، بينما يتعامل البرج الثاني مع الرموز. أتساءل عما إذا كنتم قد فكرتم في تجربة شيء كهذا مع هذه البيانات لاستخراج رؤى من الحمض النووي تكون مفهومة باللغة البشرية . >> أجل، سؤال رائع. أعتقد أن هناك مناهج مختلفة ومتنافسة في الوقت الحالي. ليس من الواضح أياً منها سينجح في
النهاية. أعتقد أن مختبرات الذكاء الاصطناعي الرائدة بدأت تدمج القليل من بيانات الحمض النووي وتدرب نماذجها على النصوص والحمض النووي معاً. وقد حاول بعض الباحثين استخدام نماذج لغوية لتضمين الحمض النووي ودمجه مع نموذج لغوي بشري. ليس من الواضح بعد أي من هذه المناهج سيعطي أفضل النتائج. >> شكراً لك. >> أه. مرحباً، حديث رائع. أنا فضولي لمعرفة كيف تقومون بتجميع خليط التدريب المسبق بعناية ؟ لأنكم اتخذتم خيارات قضيتم فيها على بعض التسلسلات وعززتم أخرى. أنا متأكد أنكم تستخدمون الكثير من التقدير في ذلك، لكن هل هناك طريقة يمكنكم
من خلالها إيجاد خليط التدريب المسبق الأمثل؟ >> أعتقد أن هذا ينطبق بشكل خاص في حالتنا هذه حيث إننا نضع القواعد الأساسية لهذا المجال. لا توجد الكثير من الأبحاث الأولية التي يمكننا الاطلاع عليها لمقارنة المعلمات الفائقة. كان هناك الكثير من التقييمات التي تُكتب في نفس الوقت الذي تتم فيه معالجة البيانات وتحليل القياس. لذا أعتقد أنه مع مرور الوقت ومع نضوج التقييمات، يمكنكم بالتأكيد القيام بعمل أكثر توجيهاً بناءً على ما ينقصنا وما إلى ذلك. >> شكراً على حديثك. كنت أتساءل، لقد عرضت شريحة حول القابلية للتفسير، وكنت أتساءل
بناءً على ما وجدتموه، هل حاولتم توجيه بعض ما تعلمتموه من "Evo2" لتصميم حمض نووي يمكنه الارتباط بخلايا سرطانية لأغراض علاجية أو تطبيقات أخرى بناءً على الميزات التي تم تعلمها؟ أجل، الميزات التي تم تعلمها. أجل. >> حسناً، في الأسبوع الماضي فقط أصدرنا بعض الأبحاث الأولية الجديدة حول كيفية توجيهنا لنموذج Evo. في الوقت الحالي، أود القول بأن أساليب التفسير الميكانيكي لم تعمل بنفس كفاءة الأساليب الأخرى التي ستسمعون عنها في العرض التالي، لكنه بالتأكيد مجال بحث نشط، لذا فهو سؤال رائع للغاية. >> شكراً لك. >> أمم، أنا على
يمينك. >> مرحباً. >> هل فهمت بشكل صحيح أنك تتدرب على كائن حي واحد فقط في الفلتر المسبق الخاص بك؟ >> أه. >> أو كأنك تفصل واحداً >> إنه جينوم واحد لكل كائن حي. >> بالضبط. ألا تفوتك تباينات كبيرة داخل تلك الكائنات الحية إذن؟ ولأنني شعرت بالارتباك لأنك قادر أيضاً على التنبؤ بطفرات السرطان. >> نعم، بالضبط. هذا صحيح. >> كيف كيف يعمل ذلك؟ >> نعم، سؤال رائع. هذا صحيح أيضاً إذا استخدمت طريقة إحصائية، حيث إذا قمت بترتيب مئة جينوم مختلف للرئيسيات وقمت بمحاذاتها بطريقة إحصائية، ستتمكن من
التنبؤ بالمواقع الأكثر حفظاً لأنها تغيرت بشكل أقل على مدار فترات زمنية طويلة. لذا ، إذا تدربت على كل شخص في هذه الغرفة، فهناك الكثير من الأشياء التي سأتعلمها والتي، على الرغم من كونها مثيرة للاهتمام ، لن تخبرني بالكثير عن السرطان. وهناك أجزاء ستخبرني بالكثير عن السرطان. لذا أعتقد أننا بالتأكيد نريد استخدام تلك المعلومات في المستقبل. لكن الأمر متكرر جداً بين البشر المختلفين. بينما إذا كانت لديك ميزانية رموز محددة، فأنت تريد التركيز على إشارات متنوعة ومحفوظة للغاية ، ويبدو أن هذا هو الحال. لكن نعم، إنه بالتأكيد
مصدر معلومات نفتقده. هناك أيضاً الكثير من البيانات متعددة الأوميكس التي تعلم أنها ليست في Evo2 والتي تخبرنا عن وظيفة الحمض النووي. وبالتالي، خاصة بالنسبة للأشياء الخاصة بالبشر، لدينا الكثير من بيانات السكان. لدينا الكثير من بيانات الخلايا. والنماذج الجديدة تجمع كل ذلك معاً. >> نعم، عمل مذهل. >> شكراً. >> شكراً جزيلاً على محاضرتك. أمم، لقد أعجبتني حقاً. لقد كنت أتابع Evo2 أيضاً. سأكون فضولياً حقاً لمعرفة كيف سيبدو Evo2 بعد التدريب اللاحق، لأن هذا مرة أخرى يشبه قيامك بالتدريب المسبق والتدريب الأوسط على كميات هائلة من البيانات الجينومية
المفلترة والمنسقة بعناية. لكنني سأكون مهتماً حقاً بمعرفة كيف سيبدو التدريب اللاحق. >> نعم، لذا سأقدم إجابة من جزأين. وأعتقد أننا بدأنا نرى هذا التحول في هذه النماذج من مجرد نماذج أساسية إلى تدريبها لاحقاً لمهام محددة لتكون متطورة للمساعدة في تحقيق اكتشافات بيولوجية لم تكن قادراً على تحقيقها من قبل. أود أن أقول نهج واحد للاكتشاف على وجه التحديد. في Minerva، ما نقوم به هو اختيار أجزاء محددة من النموذج التي تعلمت هذه التفاعلات البعيدة من خلال التدريب المسبق. ثم نستخدم ذلك لاستخراج هذه الهياكل. لذا، يتبين أن النموذج
في آلية الانتباه يلتقط هذه التفاعلات، ونحن نقوم فقط بإجراء انحدار بسيط لضبطها. هذا ليس مثل التدريب اللاحق لنماذج اللغة، لكني أعتقد أنها علامة على الاقتراب من فهم الهيكل الجزيئي والتفاعل من نموذج تدرب بشكل بحت على الحمض النووي (DNA). فيما يخص Evo 2، هناك نتائج مثيرة للغاية أصدرناها قبل أسبوعين ستسمعون عنها في العرض التالي. بشكل أساسي، من خلال استخدام النموذج بشكل تكراري، أعتقد أننا سنكون قادرين على بناء أشياء للتدريب اللاحق عليها. >> رائع. حسناً، شكراً جزيلاً لكم. >> مرحباً بالجميع. شكراً للمنظمين على دعوتي للتحدث اليوم. أنا
متحمس لمشاركة بعض الأعمال الأخيرة حول نموذج جديد للتصميم البيولوجي الفعال، والذي يتضمن توجيه نموذج لغة الجينوم الخاص بك، ويتابع الكثير من الأفكار التي قدمها جاريك في حديثه. قبل البدء، أود أن أشير إلى أن هذا العمل تم إنجازه بواسطة فريق مذهل. تم قيادة جزء كبير من هذا العمل بواسطة أليكس، وهو باحث ما بعد الدكتوراه في مجموعة برايان هي، بالإضافة إلى جاريك الذي سمعتموه للتو، وآخرين كثيرين في مختبر هي أيضاً. لذا، ربما ليس مفاجئاً لأي شخص في هذه القاعة أن التوجيه بأمثلة قليلة (few-shot prompting) قد غير بشكل
جذري الطريقة التي نستخدم بها نماذج اللغة الكبيرة (LLMs). بدون أي تحديثات للأوزان أو ضبط دقيق خاص بمهمة معينة، نحن قادرون على تقديم أمثلة لمهمة ما في السياق، مثل رسائل بريد إلكتروني مكتوبة بأسلوب معين، ويستطيع نموذج اللغة استنتاج المهمة المحددة وقيودها من التوجيه، وإتمام تلك المهمة. وهذا النموذج التوجيهي يعتمد على خاصية ناشئة لنماذج اللغة وهي التعلم في السياق (ICL)، وهي خاصية تظهر من التدريب المسبق واسع النطاق ومكنت كل شيء بدءاً من التفكير خطوة بخطوة وصولاً إلى التطبيقات الواقعية للوكلاء الأذكياء. لطالما كان النموذج المتبع في تصميم التسلسل
البيولوجي مختلفاً تماماً. فقد اعتمد على ضبط دقيق كثيف البيانات ومخصص لمهمة معينة . لذا، إذا نظرنا إلى بعض الأمثلة من أبحاث Evo 1 و Evo 2، على سبيل المثال، تم ضبط Evo 1 بدقة على عشرات الآلاف من مواقع CRISPR Cas لتوليد أنظمة Cas9 وظيفية. وفي بحث من هذا العام، تم ضبط Evo 2 بدقة على آلاف جينومات Microviridae لتوليد جينوم عاثية (بكتريوفاج) وظيفي. ورغم أن هذا ممكن وكان فعالاً في بعض التطبيقات، إلا أننا غالباً لا نملك كمية البيانات المصنفة التي نحتاجها للضبط الدقيق للعديد من مهام التصميم
في علم الأحياء. لذا، يمكن أن يكون نموذج التلقين بعدد قليل من الأمثلة (few-shot prompting) قوياً جداً لهذا السبب، حيث قد لا نملك أطناناً من البيانات المصنفة. قد لا نملك سوى حفنة من الأمثلة، ونحن قادرون على توجيه Evo 2 بمجموعة من الأمثلة التي تشترك في بعض الخصائص، لنتمكن من تصميم تسلسل جديد يمتلك تلك الخصائص. وهذا النموذج من التلقين بعدد قليل من الأمثلة في Evo 2 أصبح ممكناً بفضل اكتشاف مفاجئ بأن هذا النموذج يتمتع بقدرات التعلم في السياق (ICL) التي تظهر من مرحلة التدريب الأولي. وهذا أمر مفاجئ
لنا لأنه ظهر ببساطة من خلال التنبؤ بالرمز التالي على نطاق واسع في النيوكليوتيدات، وهو أمر لم يتم توثيقه على نطاق واسع في أنظمة أخرى غير التدريب الأولي على اللغات الطبيعية. لذا، باستخدام نموذج التعلم في السياق هذا ، سأعرض لكم بعض التطبيقات التي نصمم فيها أنظمة بمقياس يتراوح بين 100 نيوكليوتيد إلى 100,000 نيوكليوتيد. وإذا نظرنا إلى ما يفعله Evo 2 عند توجيهه ، نجد أنه قادر على الاستفادة من العديد من الأمثلة في تلقينه، ويبدو أنه يتعلم خوارزميات لإعادة دمجها أو تحورها من أجل تصميم أشياء جديدة بكفاءة
يُتوقع أن تكون وظيفية. لذا، من خلال استعراض بضعة أمثلة كان فيها التلقين بعدد قليل من الأمثلة مفيداً، بدأنا بالبروتينات الطبيعية. هنا ، حاولنا تصميم "لاند مودولينز"(land modulins)، وهي فئة من البروتينات التي ترتبط بالمعادن الأرضية النادرة وكانت ثورية لتطبيقات التعدين. هناك فئة معينة من "لاند مودولينز" لا يوجد منها سوى 14 مثالاً معروفاً في الطبيعة. وعندما نستخدم تلك الأمثلة الـ 14 في التلقين، نتمكن من توليد بروتينات جديدة يُتوقع أن تكون من فئة "لاند مودولينز" هذه، وذلك بالاعتماد فقط على هذا العدد القليل جداً من الأمثلة التي كانت لدينا.
في تصميم الأجسام المضادة، نحن قادرون على التلقين باستخدام النتائج المستخلصة من نموذج توليدي قائم على الهياكل. وبدون أي تكييف هيكلي صريح، ومع قدرات التعلم في السياق لنموذج Evo 2، نتمكن من توليد نتائج جديدة لجميع الأهداف التي اختبرناها . كما قمنا بإعادة النظر في إعداد تصميم CRISPR-Cas، ومن خلال التلقين بأربعة مواقع CRISPR-Cas فقط في السياق، تمكنا من توليد أنظمة CRISPR-Cas 9 مع مصفوفة CRISPR، و tracer RNA، وبروتين Cas9. وأخيراً، نحن قادرون على نقل هذا إلى مقياس جينومات العاثيات (phage genomes) بالكامل، حيث يمكننا توليد أشياء تمتلك بنية
الجينات المتوقعة التي نبحث عنها بجزء بسيط من تكلفة الحوسبة مقارنة بما إذا قمنا بضبط النموذج بالكامل. أحد إعدادات التصميم التي ركزنا على التحقق منها فعلياً في المختبر هو تصميم المعززات الخاصة بنوع خلوي معين. المعززات هي عناصر تمكنك من التعبير عن البروتينات في أنواع خلايا معينة، وهو أمر مهم لأشياء مثل توصيل الأدوية. أحد الأشياء التي وجدناها عند القيام بتطبيق التصميم هذا هو أنه يمكننا فعلياً تحسين قدرات التعلم ببيانات قليلة من خلال التدريب اللاحق. بالعودة إلى السؤال المطروح في المحادثة السابقة، يمكننا فعلياً توظيف حلقة تعلم تعزيزي مع
نماذج تنبؤية كدالة مكافأة لنا. في هذه الحالة، كان نموذج المكافأة عبارة عن نموذج يحول التسلسل إلى وظيفة، حيث يمكنه أخذ معزز مصمم والتنبؤ بمدى تخصصه. يمكننا التحسين وتحديث أوزان Evo 2، وبذلك يصبح قادراً على الاستفادة من أمثلته في السياق بشكل أفضل بعد التدريب اللاحق. باستخدام النموذج المدرب لاحقاً، قمنا بتحفيزه ببيانات قليلة لتوليد معزز جديد، وقام أليكس في المختبر باختبار ذلك فعلياً في دماغ فأر. وكما ترون من خلال التألق في المناطق المحددة الموضحة هنا، فقد ثبت فعلياً أنه نشط ومتخصص في دماغ الفأر، وهو أمر كان مثيراً
حقاً. إذن، إلى أين تأخذنا هذه النماذج الجديدة لتحفيز نموذج لغة الجينوم الخاص بك، أو إلى أين يمكن أن توصلنا؟ أنا متحمس بشكل خاص للنهج الجديدة للتكييف الفعال للبيانات، حيث أعتقد أنها يمكن أن تتيح تصميماً بنمط الحلقة المختبرية، حيث ربما نمتلك مجموعة تحفيز أولية من تسلسلات طبيعية أو نماذج توليدية موجودة. نحن نقوم بتحفيز Evo 2 من أجل تنويع أو تصميم أشياء جديدة تلبي تلك القيود. نختبر أكثر التصاميم واعداً في المختبر ونحن قادرون على تحديث المحفزات بطرق إبداعية لإنشاء هذا الإجراء من نوع الحلقة. أيضاً مع نموذج التحفيز
ببيانات قليلة، يمكنك تخيل بعض الأفكار التي تم استكشافها في عالم النماذج اللغوية الكبيرة من تقنيات وقت الاستدلال المختلفة أو تقنيات هندسة التسخير. يمكننا البدء في التفكير حول كيفية تطبيق ذلك في إعداد التصميم البيولوجي. مع ذلك، شكراً جزيلاً لكم على الاستماع. العمل الذي تحدثت عنه اليوم مغطى في هذين المسودتين اللتين نشرناهما الأسبوع الماضي . اليسار حول إعداد تصميم المعزز مع التحقق في المختبر الرطب، واليمين يستكشف تطبيقات تصميم البروتين وجينوم العاثيات. لذا، شكراً لكم ويسعدني تلقي أي أسئلة. >> شكراً على المحاضرة. أنا فضولي جداً بشأن ما إذا
كان بإمكانك تقديم نظرة عامة على نوع التعلم التعزيزي والتصميم، أو تحديداً آلية التدريب اللاحق . >> نعم، هذا سؤال جيد. هنا، كان الإعداد في الأساس هو تحفيز Evo 2 ببعض الأمثلة الطبيعية للمعززات النشطة في نوع خلوي معين. يقوم نموذج Evo 2 بتوليد مجموعة من التسلسلات الجديدة، ونحن نستخدم خوارزمية GRPO لتحديث النموذج. وعلى وجه التحديد، فإن دالة المكافأة المستخدمة هنا هي نموذج يحول التسلسل إلى وظيفة، مثل "Alpha genome" إذا كنت على دراية به؛ فهو يأخذ العناصر التنظيمية ويتنبأ بالخلايا التي ستكون نشطة فيها. بيئة التعلم التعزيزي قياسية
للغاية، حيث نقوم بذلك في حلقة متكررة، وهناك مصطلحات مكافأة أخرى نستخدمها لتجنب التلاعب بالمكافآت، للتأكد من أن إنتروبيا تسلسلات الحمض النووي ومحتوى GC ضمن نطاق معقول وما شابه ذلك. >> لقد كان حديثاً ممتازاً حقاً. هل يمكنك تقديم بعض التفسيرات المنهجية لسبب حدوث هذا التعلم داخل السياق؟ على سبيل المثال ، تبدو العناقيد التخليقية الحيوية أو أشياء من هذا القبيل منطقية للغاية، لكنني لا أفهم بالضبط لماذا نتوقع هذا السلوك بالنسبة للأجسام المضادة. >> نعم، هذا سؤال رائع. أعتقد أن أحد الأشياء التي وجدناها مفاجئة أيضاً هو أن هذا
ظهر في مرحلة ما قبل التدريب ولم يتم التدريب عليه بشكل صريح. أعتقد أن هناك العديد من النظريات حول سبب ظهور التعلم داخل السياق (ICL). أحد أبرز هذه التفسيرات هو أن خصائص "الذيل الطويل" أو ما يشبه قانون القوة في توزيع بيانات ما قبل التدريب، تؤدي إلى ظهور هذه الخصائص؛ فالكثير من البيانات الطبيعية، بما في ذلك بيانات الجينوم، تمتلك خصائص الذيل الطويل هذه حيث تظهر بعض المتواليات في سياقات نادرة أو محددة فقط. لذا، أعتقد أن إحدى الفرضيات الرئيسية هي أن تكرار ظهور هذه البيانات بشكل متفجر يؤدي في
الواقع إلى التعلم داخل السياق. قد تكون هناك أيضاً بعض البيانات ذات الصلة دلالياً أو هياكل متوازية في الجينومات، كما أشرت أنت، والتي قد تؤدي إلى هذا. ومن الناحية الآلية، هناك بعض التحليلات لهذا في المسودة الأولية، ولكن يبدو أن آلية "رأس الاستقراء" المشابهة لتلك التي نراها في نماذج اللغة تبدو أيضاً مسؤولة عن دفع التعلم داخل السياق في Evo 2. >> حديث مثير للاهتمام للغاية. أعتقد أنني أشعر بالفضول حول نقطة مشابهة: إلى أي مدى يمكن عزو نجاح التعلم داخل السياق مع التعلم التعزيزي في تصميم المُعززات ( enhancers)
إلى القدرة على تكرار أنماط النوعية التي رأيناها بالفعل، مقابل-ربما طريقة أفضل لصياغة ذلك هي-هل هو قادر على تعلم أنماط عامة جداً وبالتالي بناء مُعززات نوعية في توليفات معينة من أنواع الخلايا حيث لا نرى ذلك النمط من التعبير النوعي في الجسم؟ أم أنه أكثر قدرة على القول: "حسناً، لقد رأيت نمط النوعية هذا من قبل، أو شيئاً مشابهاً له نسبياً، لذا يمكنني النظر في السياق أو في مجموعة البيانات التي تدربت عليها لأجله". >> أجل، هذا سؤال جيد. أظن أنك تشير إلى المقايضة بين ما تعلمه النموذج في أوزانه
وبين ما يمكنه التقاطه من السياق. أعتقد أنه مزيج من كليهما، حيث ربما ما يحدث هو وجود بعض الزخارف (motifs) في أمثلة التوجيه التي تخبر النموذج بأننا مهتمون بالنوعية في خلايا معينة أو بالنشاط في أنواع خلايا معينة، فيتمكن النموذج من الحفاظ على تلك الزخارف المهمة وإعادة دمجها، لكن بالطبع من المرجح أنه رأى بعض هذه الزخارف أثناء التدريب المسبق. سأقول إن المُعززات، على وجه التحديد، هي أقل وفرة قليلاً في توزيع التدريب المسبق لنموذج In Vivo 2. لذا، أعتقد أنه على الرغم من اعتماده على معرفته السابقة من التدريب،
إلا أن الكثير من هذا يعود لما يقرؤه من سياق التوجيه وإعادة دمجه للزخارف. >> شكراً لك. شكراً جزيلاً لك يا ديبي.