AI Reproducibility Minute: Implementation Factors
- Kevin Coakley
- Dec 1, 2022
- 1 min read
Updated: May 3, 2024
“researcher and practitioner survey[s] shows that 83.8% of participants are unaware of or unsure about any implementation-level variance.”
Even if you use the same dataset and software, machine learning (ML) results can vary when run on different hardware and software versions. In order to ensure your ML results can be reproduced by others, consider documenting the following factors:
Initialization seeds - note the seeds used
Parallel execution - note the number of threads used
Processing unit - note which processors were used
Software - include the exact version of the operating system and the complete software stack used.
Even better, include a link to the container.
Other factors to consider:
Compiler settings
Auto-selection of primitive ops
Floating-point operations
Rounding errors
You've explained this better than most of the longer guides I've seen floating around. The practical tips are the kind you can apply today rather than file away for someday. For a slightly different angle on the same idea, there's a bit more waiting at https://pathsinc.org/media/pgs/uncx_disperser__why_bulk_token_distribution_expands_uncx_beyond_liquidity_locking.html.
Great breakdown — it answered a couple of questions I'd been sitting with for a while. What stood out to me was how you tied the smaller details back to the bigger picture. I touched on the same subject from a different perspective at ube-swap.com a little while back.
Mình có lần lướt đọc mấy trao đổi trên mạng شيخ روحاني thì thấy nhắc nên cũng tò mò mở ra xem thử cho biết. Mình không tìm hiểu sâu جلب الحبيب chỉ xem qua trong thời gian ngắn để quan sát bố cục جلب الحبيب cách sắp xếp شيخ روحاني các mục và trình bày nội شيخ روحاني dung tổng thể. Cảm giác là các phần được trình bày khá gọn, các Berlinintim mục rõ ràng nên đọc lướt cũng không bị rối Berlinintim với mình như شيخ روحاني vậy là đủ để nắm tin cơ bản rồi. جلب الحبيب
😍
Great overview on Hauraki Gulf protections! It’s inspiring to see efforts to safeguard marine ecosystems and raise awareness. Tiny details can make a big impact just like qiuqiu99 help bring communities together and spark conversations about causes we care about.
Trong các bài viết giới thiệu nền tảng, mình thường đánh giá cao cách trình bày ngắn gọn nhưng vẫn đầy đủ thông tin. Với bài này, phần nhắc đến qiuqiu99 được đặt khá hợp lý ở giữa nội dung nên đọc rất tự nhiên. Tổng thể bài viết tập trung vào trải nghiệm người dùng, đặc biệt là giao diện thân thiện và thao tác đơn giản.