استفاده از این ساب‌ردیت توسط OpenAI برای آزمایش توانایی اقناع هوش مصنوعی

OpenAI از این ساب‌ردیت برای آزمایش اقناع هوش مصنوعی استفاده کرد

OpenAI used this subreddit to test AI persuasion

OpenAI از ساب‌ردیت r/ChangeMyView برای ایجاد آزمونی به منظور اندازه‌گیری قابلیت‌های اقناعی مدل‌های استدلال هوش مصنوعی خود استفاده کرده است. این شرکت این اطلاعات را در یک کارت سیستمی منتشر کرد — مدرکی که نحوه کارکرد یک سیستم هوش مصنوعی را توضیح می‌دهد — که همزمان با مدل جدید "استدلال" خود، یعنی o3-mini، در روز جمعه منتشر شد. میلیون‌ها کاربر ردیت عضو r/ChangeMyView هستند، جایی که آنها نظرات خود را ثبت می‌کنند و امیدوارند درباره‌ی دیدگاه‌های مختلف در مورد یک موضوع بیشتر بیاموزند. در پاسخ به این نظرات، کاربران دیگر با استدلال‌های قانع‌کننده‌ای توضیح می‌دهند که چرا نظر اولیه اشتباه است.
این ساب‌ردیت یکی از بسیاری از فرومی‌های ردیت است که برای شرکت‌های فناوری مثل OpenAI به عنوان منبعی ارزشمند به شمار می‌رود که می‌خواهند مدل‌های هوش مصنوعی خود را با داده‌های انسانی با کیفیت آموزش دهند. OpenAI اعلام کرده است که پست‌های کاربران از r/ChangeMyView را جمع‌آوری کرده و از مدل‌های هوش مصنوعی خود می‌خواهد که در یک محیط کنترل‌شده پاسخ‌هایی بنویسند که بتوانند نظر کاربر ردیت را در مورد یک موضوع تغییر دهند. سپس این پاسخ‌ها به ارزیابان نشان داده می‌شود تا مشخص شود که چقدر استدلال قانع‌کننده است و نهایتاً OpenAI پاسخ‌های مدل‌های هوش مصنوعی را با پاسخ‌های انسانی برای همان پست مقایسه می‌کند.
OpenAI قراردادی با ردیت برای صدور مجوز محتوا دارد که به این شرکت اجازه می‌دهد از پست‌های کاربران ردیت برای آموزش مدل‌های خود استفاده کند و این پست‌ها را در محصولات خود نمایش دهد. جزئیات مقدار پرداختی OpenAI برای این محتوا هنوز مشخص نیست، اما گزارش‌ها نشان می‌دهد که گوگل سالانه 60 میلیون دلار به ردیت تحت قراردادی مشابه پرداخت می‌کند. با این حال، OpenAI به TechCrunch اعلام کرده است که ارزیابی مبتنی بر ChangeMyView ارتباطی با قرارداد خود با ردیت ندارد. نحوه دسترسی OpenAI به داده‌های این ساب‌ردیت مشخص نیست و این شرکت برنامه‌ای برای انتشار این ارزیابی به عموم ندارد.
در حالی که معیار ChangeMyView OpenAI جدید نیست — زیرا برای ارزیابی o1 نیز استفاده شده است — اما نشان می‌دهد که داده‌های انسانی تا چه اندازه برای توسعه‌دهندگان مدل‌های هوش مصنوعی ارزشمند هستند و همچنین روش‌های تیره‌ای که شرکت‌های فناوری برای به دست آوردن مجموعه داده‌ها استفاده می‌کنند. ردیت به درخواست TechCrunch برای اظهارنظر فوراً پاسخ نداد. در حالی که ردیت چند قرارداد صدور مجوز هوش مصنوعی امضا کرده است، این شرکت همچنین چندین شرکت هوش مصنوعی را به دلیل جمع‌آوری داده‌ها از سایت خود بدون پرداخت هزینه، مورد انتقاد قرار داده است.
مدیرعامل ردیت، استیو هافمن، سال گذشته به ورج گفته بود که مایکروسافت، انتروپیک و پرپلکسی از مذاکره با او خودداری کرده‌اند و گفت که جلوگیری از این شرکت‌ها "واقعاً دردسرساز" بوده است. نکته جالب اینجاست که OpenAI در چندین شکایت متهم به جمع‌آوری غیرمجاز وب‌سایت‌ها، از جمله نیویورک تایمز، برای بهبود ChatGPT و مدل‌های هوش مصنوعی زیرین خود شده است.
در مورد عملکرد o3-mini در معیار ChangeMyView، به نظر نمی‌رسد که این مدل به طور قابل توجهی بهتر یا بدتر از o1 یا GPT-4o عمل کند. با این حال، به نظر می‌رسد که مدل‌های هوش مصنوعی جدید OpenAI قانع‌کننده‌تر از بیشتر کاربران در ساب‌ردیت r/ChangeMyView هستند. OpenAI در کارت سیستمی o3-mini اعلام کرد: "GPT-4o، o3-mini و o1 همگی توانمندی‌های قوی در استدلال قانع‌کننده نشان می‌دهند، که در 80 تا 90 درصد برتر انسان‌ها قرار دارند." "در حال حاضر، ما شاهد عملکردی فراتر از انسان‌ها یا کارایی فوق‌انسانی نیستیم."
هدف OpenAI این نیست که مدل‌های هوش مصنوعی فوق‌العاده قانع‌کننده ایجاد کند، بلکه اطمینان حاصل کند که مدل‌ها بیش از حد قانع‌کننده نمی‌شوند. مدل‌های استدلال به طور قابل توجهی در اقناع و فریب بهبود یافته‌اند، بنابراین OpenAI ارزیابی‌ها و تدابیر جدیدی برای رسیدگی به این موضوع توسعه داده است. ترس از این آزمون‌های اقناعی این است که یک مدل هوش مصنوعی اگر بسیار خوب در قانع کردن کاربران انسانی عمل کند، خطرناک خواهد بود. تئوریکالاً، این می‌تواند به یک هوش مصنوعی پیشرفته اجازه دهد تا به دنبال اهداف خود یا اهداف کسانی که بر آن کنترل دارند، باشد. حتی پس از جمع‌آوری بیشتر اینترنت عمومی و گذراندن مراحل برای صدور مجوز داده‌های دیگر، معیار ChangeMyView نشان می‌دهد که توسعه‌دهندگان مدل‌های هوش مصنوعی همچنان در یافتن مجموعه داده‌های با کیفیت برای آزمایش مدل‌های خود دچار مشکل هستند. اما به دست آوردن این داده‌ها آسان‌تر از آن چیزی است که به نظر می‌رسد. برای دریافت آخرین اخبار و مقالات مرتبط با فناوری‌های برتر، می‌توانید به وب‌سایت ما، iwl.ir، مراجعه کنید.

• AI
• AI licensing
• ChatGPT
• o3-mini
• OpenAI
• Reddit
• TC