由于罗姆人和所属国其他民族的生活方式格格不入,非罗姆人对罗姆人普遍存在较坏的印象,认为罗姆人不能融入社会主流,都是乞丐、小偷、或者人贩子。第二次世知昌界大战时期,对罗姆人的迫害达到高潮,当时纳粹德国将罗姆人和犹太人一样关进集中营进行种族屠杀,约有四十万罗姆人遇难。
在今天,有一部分罗姆人试图保持其传统生活方式,培做居无定所。但在东欧许多地区,罗姆人定居在生活条件极差的棚户区内,和其他民族居民仍然时有冲突。但在其他地区,罗姆人则靠其传统文化(如罗马尼亚罗姆人的传统铜匠工艺)成功致富。
在东欧共产主义时期,东欧各国由于实行计划经济,罗姆人在就业方面障碍较少,但后来东欧转为市场经济以后,罗姆人失业问题愈显严重。现在在一部分国家有大量的罗姆人靠社会福利为生,但这造成了针对罗姆人的歧视的加深,同时也创造了社会隐患,如斯洛伐克在进行社会福利改革时曾有罗姆人聚居点发生骚乱。
2004年6月,匈牙利选出了欧洲议会的第一名罗姆议员,Lívia Járóka女士搭中扒。同时东欧七国于2005年发起“Decade of Roma Inclusion”(罗姆包容之十年?),以改善罗姆人的生活。