مدیران برخی از بزرگترین شرکتهای هوش مصنوعی در حالی از ضرورت کاهش سرعت توسعه مدلهای پیشرفته سخن میگویند که رقابت برای ساخت مدلهای قدرتمندتر همچنان ادامه دارد؛ نگرانیها از خودمختاری ایجنتها، سرعت خودبهبودی مدلها و دشواری نظارت انسانی، در کنار تردیدهایی درباره انگیزههای تجاری این هشدارها، بار دیگر آینده هوش مصنوعی را به موضوعی جدی تبدیل کرده است.
به گزارش رویداد شمال، عصر شنبه ۱۲ سپتامبر، سه چهره شناختهشده صنعت هوش مصنوعی بر سر موضوعی به توافق رسیدند که تا چند سال پیش کمتر کسی انتظارش را داشت؛ ضرورت افزایش احتیاط در مسیر توسعه مدلهای پیشرفته.
داریو آمودی، مدیرعامل آنتروپیک، در یادداشتی خواستار کاهش سرعت افزایش قابلیتهای مدلهای هوش مصنوعی شد. پس از آن، ایلان ماسک از موضع او حمایت کرد و سم آلتمن نیز با اصل پیشنهاد موافقت کرد و از آمادگی OpenAI برای ورود ارزیابان مستقل به فرایندهای داخلی این شرکت خبر داد.
این اظهارنظرها در شرایطی مطرح شده که همین شرکتها در سالهای گذشته برای جذب پژوهشگران، خرید تراشه و توسعه مدلهای قدرتمندتر با یکدیگر رقابت کردهاند. همین تناقض باعث شد برخی رسانهها این اتفاق را «لحظه کد قرمز» هوش مصنوعی توصیف کنند.
از چتباتهای مطیع تا ایجنتهای خودمختار
نخستین هشدارهای جدی درباره خطرات مدلهای زبانی به سالهای ابتدایی توسعه این فناوری بازمیگردد. در سال ۲۰۱۹، OpenAI هنگام معرفی GPT-2 نسبت به امکان استفاده از این مدل برای تولید اخبار جعلی، جعل هویت، هرزنامه و پیامهای فیشینگ هشدار داد.
با این حال، چند ماه بعد نسخه کامل GPT-2 منتشر شد و خود شرکت اعلام کرد شواهد محکمی از سوءاستفاده گسترده از این مدل وجود ندارد. مدلهای بزرگتر نیز بهسرعت از راه رسیدند و توجه عمومی از آن هشدارها فاصله گرفت.
در سال ۲۰۲۳ بار دیگر بحث توقف یا کاهش سرعت توسعه مدلهای قدرتمند مطرح شد؛ اما فناوری هوش مصنوعی در آن زمان عمدتاً در قالب چتباتهایی فعالیت میکرد که برای انجام هر مرحله از کار به تصمیم انسان نیاز داشتند.
امروز اما شرایط تغییر کرده است.
ایجنتها میتوانند یک هدف را دریافت کنند، برای رسیدن به آن برنامهریزی کنند، مرورگر یا ترمینال را باز کنند، کد بنویسند، نتایج را آزمایش کنند و کار را در چند مرحله ادامه دهند. حتی در برخی موارد، چند ایجنت میتوانند وظایف را میان خود تقسیم کنند.
تفاوت اصلی در همینجاست؛ خطای یک چتبات معمولاً در صفحه گفتوگو باقی میماند، اما خطای یک ایجنت میتواند به تغییر فایل، اجرای کد یا حتی دسترسی به شبکههای بیرونی منجر شود.
وقتی هوش مصنوعی به توسعهدهنده خودش تبدیل میشود
یکی از مهمترین نگرانیهای مطرحشده، افزایش نقش هوش مصنوعی در توسعه نسل بعدی مدلهاست.
در سالهای ابتدایی فعالیت آنتروپیک، مهندسان کدهای مدلهای کلاد را خودشان مینوشتند، آزمایش میکردند و خطاها را برطرف میکردند. اما اکنون ایجنتها مستقیماً وارد مخزن کد میشوند، راهحلهای مختلف را امتحان میکنند و در برخی پروژهها چند ایجنت بهصورت همزمان فعالیت دارند.
آنتروپیک اعلام کرده تا ماه مه ۲۰۲۶، بیش از ۸۰ درصد کدهای اصلی این شرکت توسط کلاد نوشته میشده است. بر اساس همین توضیحات، بهرهوری هر مهندس نیز نسبت به سال ۲۰۲۴ حدود هشت برابر شده است.
OpenAI نیز از مدلی سخن گفته که نقش «کارآموز پژوهشی خودکار» را ایفا میکند؛ یعنی میتواند بخشی از کارهای چندروزه یک پژوهشگر را انجام دهد، هرچند همچنان به نظارت انسان نیاز دارد.
در این شرایط، انسان هنوز درباره اولویتها، ارزش ایدهها و زمان توقف آزمایشها تصمیم میگیرد، اما سهم هوش مصنوعی در اجرای فرایند تحقیق و توسعه بهسرعت در حال افزایش است.
نگرانی از «خودبهبودی بازگشتی»
«خودبهبودی بازگشتی» به وضعیتی اشاره دارد که مدلهای هوش مصنوعی بتوانند نسل بعدی خود را با دخالت بسیار محدود انسان توسعه دهند و این فرایند بهصورت زنجیرهای ادامه پیدا کند.
شرکتهای هوش مصنوعی میگویند هنوز به چنین مرحلهای نرسیدهاند، اما نگرانی اصلی این است که سرعت توسعه مدلها از سرعت شناخت کامل قابلیتها و ریسکهای آنها جلو بزند.
داریو آمودی نیز در یادداشت اخیر خود بیشتر درباره همین مرحله پیش از خودبهبودی بازگشتی ابراز نگرانی کرده است؛ مرحلهای که در آن مدلها آنقدر سریع توسعه پیدا میکنند که فرصت کافی برای ارزیابی کامل نسل قبلی وجود ندارد.
ایجنتهای سرکش؛ از خطای نرمافزاری تا اقدام خطرناک
در ماه جولای، OpenAI هزاران ایجنت را در مجموعهای از آزمونهای امنیت سایبری مورد آزمایش قرار داد. برخی مأموریتها عملاً راهحل مشخصی نداشتند، اما تعدادی از ایجنتها برای کسب امتیاز تلاش کردند سیستم ارزیابی را فریب دهند.
سم آلتمن -داریو آمودی – ایلان ماسک
در ادامه، برخی از آنها راه ارتباطی میان خود را پیدا کردند، اطلاعاتشان را به اشتراک گذاشتند و تقسیم کار کردند. طبق گزارش مطرحشده در این پرونده، برخی ایجنتها حتی از محیط آزمایش خارج شدند، از آسیبپذیریها استفاده کردند، اعتبارنامههایی یافتند و روی سرورهای هکینگفیس کد اجرا کردند.
این رفتارها اهمیت زیادی دارد؛ زیرا تفاوت میان «پاسخ نادرست» و «عمل خطرناک» را آشکار میکند. یک مدل ممکن است پاسخ اشتباه بدهد، اما یک ایجنت میتواند بر اساس یک هدف یا پاداش، دست به اقدام عملی بزند.
البته این اتفاق بهتنهایی به معنای خارجشدن کنترل هوش مصنوعی از دست انسان نیست، اما نشان میدهد نظارت بر سیستمهای خودمختار، بهویژه زمانی که هزاران ایجنت همزمان فعالیت میکنند، دشوارتر خواهد شد.
خطر هوش مصنوعی واقعی است؛ اما زمان آن مشخص نیست
داریو آمودی، حادثه خروج ایجنتها از محیط ایزوله و نفوذ آنها به سامانههای دیگر را نمونهای کوچک از خطری بزرگتر میداند و پیشبینی کرده است مدلهای قدرتمندتر ممکن است در بازهای شش تا ۱۲ ماهه توانایی ایجاد خسارت گسترده در شبکههای اینترنتی را پیدا کنند.
با این حال، گزارش بینالمللی ایمنی هوش مصنوعی در سال ۲۰۲۶ اعلام کرده مدلهای فعلی هنوز توان ایجاد شرایطی را که کنترل آنها بهطور کامل از دست انسان خارج شود، ندارند؛ هرچند برخی قابلیتهایی که میتوانند در آینده به چنین وضعیتی منجر شوند، در حال رشد هستند.
بر اساس معیارهای مطرحشده از سوی پژوهشگران، از دست رفتن کنترل زمانی جدیتر میشود که یک سیستم بتواند برای مدت طولانی بهصورت مستقل فعالیت کند، فعالیت خود را پنهان نگه دارد، به منابع دسترسی پیدا کند و در برابر تلاش انسان برای متوقفکردنش مقاومت نشان دهد.
آزمایشهای اخیر هنوز نشان ندادهاند که مدلهای فعلی به این مرحله رسیدهاند.
با این حال، یک چالش جدی وجود دارد: هرچه تعداد ایجنتها افزایش پیدا کند، نظارت انسانی بر تکتک اقدامات آنها دشوارتر خواهد شد.
گزارش بینالمللی ایمنی هوش مصنوعی نیز نسبت به دو خطر متضاد هشدار میدهد؛ اقدامات زودهنگام ممکن است منابع را صرف خطراتی کند که طبق پیشبینیهای فعلی هرگز رخ ندهند و از سوی دیگر، منتظر ماندن تا زمان مشاهده مدرک قطعی میتواند فرصت آمادهشدن جامعه را از بین ببرد.
آیا هشدارهای ایمنی، بخشی از رقابت تجاری است؟
در کنار نگرانیهای فنی، پرسش دیگری نیز مطرح شده است: آیا هشدارهای شدید مدیران شرکتهای هوش مصنوعی صرفاً از نگرانی درباره آینده فناوری ناشی میشود یا منافع تجاری و سیاسی نیز در آن نقش دارد؟
یادداشت آمودی در شرایطی منتشر شده که آنتروپیک برای ورود به بازار سهام آماده میشود. همزمان، گزارشهایی درباره علاقه انویدیا به سرمایهگذاری در این شرکت منتشر شده است.
از سوی دیگر، سم آلتمن عرضه عمومی OpenAI را به تعویق انداخته و ایمنی هوش مصنوعی را یکی از ملاحظات این تصمیم دانسته است.
منتقدان میگویند تأکید بیش از اندازه بر خطرات آینده میتواند بهطور غیرمستقیم تصویری از قدرت و برتری فنی شرکتهای پیشرو ارائه کند؛ در مقابل، برخی مدیران و پژوهشگران تأکید دارند که هشدارهای آنها ناشی از نگرانی واقعی درباره روند توسعه این فناوری است.
در واقع، همین دوگانگی باعث شده است که بحث درباره انگیزههای پشت هشدارهای ایمنی، همزمان با بحث درباره خود خطرات هوش مصنوعی مطرح شود.
مقررات؛ راهحل ایمنی یا مانع ورود رقبا؟
یکی دیگر از محورهای اختلاف، میزان دخالت دولتها در نظارت بر صنعت هوش مصنوعی است.
طرفداران مقررات سختگیرانه معتقدند حسابرسی مستمر و آزمونهای امنیتی میتواند ریسکهای فناوری را کاهش دهد. منتقدان در مقابل هشدار میدهند هزینه بالای این الزامات ممکن است ورود شرکتهای نوپا به بازار را دشوار کند و در نهایت جایگاه شرکتهای بزرگ را تقویت کند.
پیشنهاد آمودی نیز عمدتاً متوجه آزمایشگاههای پیشرو است و OpenAI اعلام کرده است استارتاپها و پژوهشگران مستقل نباید در همان محدوده محدودیتها قرار گیرند.
آنتروپیک همچنین در برخی موارد نشان داده که حاضر است برای برخی اصول ایمنی هزینه تجاری بپردازد؛ از جمله اختلاف این شرکت با پنتاگون درباره محدودیتهای استفاده از فناوری هوش مصنوعی در سامانههای تسلیحاتی.
چرا شرکتها با وجود هشدارها همچنان به توسعه ادامه میدهند؟
پاسخ را باید در ساختار رقابت صنعت هوش مصنوعی جستوجو کرد.
آزمایشگاههای بزرگ برای توسعه مدلهای جدید به سرمایهگذاری عظیم، تراشههای پیشرفته و دیتاسنترهای گسترده نیاز دارند. سرمایهگذاران نیز در مقابل سرمایه خود انتظار محصول جدید و مزیت رقابتی دارند.
از سوی دیگر، شرکتهای آمریکایی بارها رقابت فناوری با چین را مطرح کردهاند و همین موضوع، کاهش سرعت توسعه را برای یک شرکت بهتنهایی دشوار میکند.
اگر یک شرکت سرعت خود را کاهش دهد، ممکن است رقبایی مانند OpenAI، گوگل یا xAI از آن جلو بزنند. اگر همه شرکتهای آمریکایی سرعت توسعه را کم کنند، نگرانی از پیشرفت چین مطرح میشود.
آمودی نیز در پیشنهاد خود بر همین مسئله تأکید کرده و معتقد است هرگونه محدودیت زمانی مؤثر خواهد بود که رقبا نیز در آن مشارکت داشته باشند و امکان راستیآزمایی وجود داشته باشد.
چین؛ عامل دیگری برای ادامه رقابت
رقابت آمریکا و چین، معادلات ایمنی هوش مصنوعی را پیچیدهتر کرده است.
دونالد ترامپ کاهش سرعت توسعه هوش مصنوعی را اقدامی میداند که میتواند به نفع چین تمام شود و جیدی ونس نیز محدودیت یکطرفه آمریکا را مورد انتقاد قرار داده است.
در مقابل، آمودی معتقد است آمریکا باید فاصله فناوری خود با چین را حفظ کند و همزمان با محدودکردن دسترسی چین به تراشهها و تجهیزات پیشرفته، فرصت بیشتری برای ارزیابی ایمنی مدلهای خود ایجاد کند.
چین نیز این رویکرد را نوعی تلاش برای مهار پیشرفت صنعت هوش مصنوعی این کشور میداند. سخنگوی وزارت خارجه چین هشدارهای اخیر را «هراسافکنی، تقابل و رقابت مخرب» توصیف کرده است.
در نتیجه، هر دو طرف همزمان از خطرات هوش مصنوعی و ضرورت حفظ برتری فناورانه سخن میگویند؛ تناقضی که رسیدن به توافق درباره سرعت توسعه را دشوارتر میکند.
«لحظه کد قرمز» هوش مصنوعی
در روزهای اخیر، برخی پژوهشگران و مدیران ایمنی هوش مصنوعی هشدارهای جدیتری درباره آینده این فناوری مطرح کردهاند.
جیکوب کاکسون، پژوهشگر سابق آنتروپیک و OpenAI، پس از استعفا هشدار داد آزمایشگاهها در مسیر توسعه «ابرهوش خودبهبوددهنده» حرکت میکنند.
همچنین اوان هابینگر، از مدیران بخش همراستاسازی آنتروپیک، احتمال نابودی انسان به دست هوش مصنوعی در دهه آینده را بیش از ۱۰ درصد برآورد کرده است.
چند روز بعد، داریو آمودی نیز خواستار کاهش سرعت توسعه قابلیتهای مدلها شد.
با این حال، همچنان مشخص نیست مرز میان هشدار علمی، احتیاط فناورانه و رقابت تجاری کجاست. ممکن است محدودیتهای فنی سرعت توسعه مدلها را کاهش دهند؛ ممکن است نیز مدلهای جدید با سرعتی بیشتر از توان پژوهشگران برای ارزیابی کامل آنها توسعه پیدا کنند.
واقعیت این است که هوش مصنوعی با سرعتی بیسابقه در حال پیشرفت است و سهم آن در توسعه نسل بعدی خودش نیز افزایش یافته است. در چنین شرایطی، چالش اصلی فقط ساخت مدلهای قدرتمندتر نیست؛ بلکه شناخت بهموقع قابلیتها، خطاها و ریسکهای آنهاست.
هشدارهای اخیر لزوماً به معنای نزدیکبودن پایان جهان نیستند، اما یک واقعیت مهم را برجسته میکنند: سرعت توسعه هوش مصنوعی ممکن است از سرعت درک کامل پیامدهای آن جلو زده باشد.
هیچ دیدگاهی درج نشده - اولین نفر باشید