[自行打包] 个人收集精品杂图3 [2500p+9.1g][百度盘]

西域烤鱼干

tinbg 发表于 2024-7-12 19:13
" [7 T% K" m1 ~; V; B* O大哥，你这个头像很爱啊，像ai又想vam，有没有出处

抖音上有很多

uuuuyyyyy

为啥我一直密码错误ヽ(`Д´)ﾉ

不如离弃

好看

cndeng

; N' O4 U9 e( `$ t) T0 m7 j4 N7 [感谢分享，大佬辛苦了。

lattess

有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈希值函数加个异常解决了，大家可以留着以后备用lol
" L& m- ~7 g! l7 U  G/ Kimport os
, ~8 P, l( M! ]) `. a" r) _! limport imagehash
1 {$ f* y+ r0 `$ K5 t2 Wfrom PIL import Image
. M/ ^$ V. L; \! h9 e% |; C0 T
! V, o1 [  Z7 s' C7 Kdef compute_image_hash(image_path):
    # image = Image.open(image_path)
    # return imagehash.average_hash(image)
    try:
3 G9 Q- O0 Y+ x2 I- U, U        with Image.open(image_path) as image:
            return imagehash.average_hash(image)
. {$ U2 X2 j6 C- P- L0 |    except (OSError, IOError) as e:
        print(f"处理图像 {image_path} 时出错: {e}")
        return None

' o5 F3 s7 z1 u0 y& adef remove_duplicates(image_folder):
    hash_dict = {}
    duplicates = []

    for filename in os.listdir(image_folder):
/ P' e/ R  i; Q# }1 A1 _1 G7 p        if filename.endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):
            image_path = image_folder + "\\" + filename
; B' H% W  r+ H5 I  k            image_hash = compute_image_hash(image_path)

: j% C/ D$ u, R6 A7 H# u. V+ j            if image_hash in hash_dict:
) I0 x! {. b! R+ t+ G  k% T                duplicates.append(image_path)
8 A" f, D1 `( \( T% U3 [            else:
( `# x0 d2 _+ w9 |5 W) S                hash_dict[image_hash] = image_path
        else:
9 y( I( j; Y$ o, }4 S/ h1 G5 q; G5 n            pass
- T  O/ Y& ^/ Y/ @6 z
/ D9 \7 U3 t8 X2 h! x    for duplicate in duplicates:
  p) P) W1 x# u" ]' [4 W/ p3 r  L4 q8 Z        os.remove(duplicate)
        print(f"Removed duplicate image: {duplicate}")

  d" n. O# \, Q" G( F    print("Duplicate removal complete.")

image_folder = 'D:/data/baidu/去重训练文件夹' #换成自己的文件夹
remove_duplicates(image_folder)

lattess

lattess 发表于 2024-7-23 16:25
1 Q# V) e; s7 P有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈 ...

' `# Q! t1 O3 T4 m2 o有问题的图片名为1558571_114.png

一言九鼎

tinbg 发表于 2024-7-12 19:13
: t  h1 L- R6 O8 p大哥，你这个头像很爱啊，像ai又想vam，有没有出处

& d, \0 x+ i& @( P) J6 k: z9 p3 ?一眼ai
" a* s3 l: D4 j9 t5 v& N$ r