سازمان ارزیابی هوش مصنوعی به خاطر تأخیر در افشای تأمین مالی از OpenAI مورد انتقاد قرار گرفت
AI benchmarking organization criticized for waiting to disclose funding from OpenAI
یک سازمان که در حال توسعه معیارهای ریاضی برای هوش مصنوعی است، به تازگی افشا کرد که پشتیبانی مالی از سوی OpenAI دریافت کرده است. این موضوع باعث بروز اتهامات نادرستی از سوی برخی اعضای جامعه هوش مصنوعی شده است. Epoch AI، یک سازمان غیرانتفاعی که عمدتاً با بودجه Open Philanthropy تأمین مالی می‌شود، در تاریخ ۲۰ دسامبر فاش کرد که OpenAI از ایجاد FrontierMath حمایت کرده است. FrontierMath، آزمونی با مسائل سطح کارشناسی است که به منظور اندازه‌گیری توانایی‌های ریاضی هوش مصنوعی طراحی شده، و یکی از معیارهایی بود که OpenAI برای نمایش AI پرچمدار خود، o3، مورد استفاده قرار داد.
در یک پست در انجمن LessWrong، یک پیمانکار برای Epoch AI با نام کاربری "Meemi" اشاره کرد که بسیاری از مشارکت‌کنندگان در معیار FrontierMath تا زمان افشای این موضوع از وجود حمایت OpenAI بی‌خبر بودند. او نوشت: "ارتباطات درباره این مسئله شفاف نبوده است. به نظر من، Epoch AI باید حمایت مالی OpenAI را افشا می‌کرد و پیمانکاران باید از پتانسیل‌های کار خود به‌طور شفاف مطلع می‌شدند." در شبکه‌های اجتماعی، برخی کاربران نگرانی‌هایی را درباره این عدم شفافیت ابراز کردند و بیان کردند که این مسئله ممکن است اعتبار FrontierMath به عنوان یک معیار عینی را تحت تأثیر قرار دهد.
علاوه بر حمایت از FrontierMath، OpenAI به بسیاری از مسائل و راه‌حل‌های موجود در این معیار دسترسی داشت - موضوعی که Epoch AI تا ۲۰ دسامبر قبل از اعلام o3 به اطلاع عموم نرساند. در یک پست در پلتفرم X، کارینا هونگ، دانشجوی دکتری ریاضی در دانشگاه استنفورد، نیز ادعا کرد که OpenAI به دلیل تعاملش با Epoch AI به مزیت‌های ویژه‌ای در FrontierMath دسترسی دارد و این مسئله برای برخی مشارکت‌کنندگان خوشایند نیست. هونگ افزود: "شش ریاضیدان که به‌طور قابل توجهی در ایجاد معیار FrontierMath نقش داشتند، به من تأیید کردند که از دسترسی انحصاری OpenAI به این معیار مطلع نبوده‌اند و اکثر آنها ابراز کردند که اگر می‌دانستند، ممکن بود مشارکت نکنند."
تامای بسیروغلو، معاون Epoch AI و یکی از بنیانگذاران این سازمان، در پاسخ به پست Meemi تأکید کرد که اعتبار FrontierMath تحت تأثیر قرار نگرفته است، اما به اشتباه خود در عدم شفافیت اعتراف کرد. او گفت: "ما محدودیت‌هایی در افشای همکاری تا زمان رونمایی o3 داشتیم، و به نظر می‌رسد باید جدی‌تر برای امکان شفافیت با مشارکت‌کنندگان در معیارها مذاکره می‌کردیم."
شبکه اجتماعی ما، iwl.ir، محل ارتباط و تبادل نظر بین متخصصان و علاقه‌مندان به موضوعات مبتنی بر هوش مصنوعی و ریاضیات است و استفاده از تجربیات و اطلاعات در این زمینه می‌تواند به بهبود عملکرد و شفافیت در توسعه معیارهای هوش مصنوعی کمک کند. به گفته بسیروغلو، در حالی که OpenAI به FrontierMath دسترسی دارد، یک "توافق شفاهی" با Epoch AI وجود دارد که بر اساس آن از مسائل FrontierMath برای آموزش هوش مصنوعی خود استفاده نخواهد کرد.
البته، الوت گلازر، ریاضیدان ارشد Epoch AI، در پستی در Reddit اشاره کرد که این سازمان هنوز نتوانسته است نتایج FrontierMath o3 را به‌طور مستقل تأیید کند. او گفت: "نظر شخصی من این است که نمره [OpenAI] مشروع است و آنها هیچ انگیزه‌ای برای دروغ گفتن در مورد عملکرد‌های benchmarking داخلی ندارند، با این حال، تا زمانی که ارزیابی مستقل ما کامل نشود، نمی‌توانیم به آنها اعتماد کنیم."
این داستان، نمونه‌ای دیگر از چالش‌های توسعه معیارهای تجربی برای ارزیابی هوش مصنوعی و تأمین منابع لازم برای توسعه معیارها بدون ایجاد تصوری از تضاد منافع به شمار می‌رود.
- AI
- AI
- ai benchmarks
- benchmarking
- controversy
- epoch ai
- frontiermath
- Generative AI
- o3
- OpenAI
