厚生労働省の見解
損失余命の数字での指摘は確かに気になります。厚生労働省でも、日本人が実際に食べているひじきの量から危険性の有無をまとめています。それは東京都福祉保健局の「ひじきに含まれるヒ素」でまとめられています。
これによると、日本人の平均的な海藻摂取量は1日あたりで14.6gであり、そのうちのひじきは約0.6gです。WHOが定めた無機ヒ素の耐用週間摂取量というのは15マイクロg/kg体重/週です。つまり、体重50kgの人なら、1日に107マイクロg（1週間で750マイクロg）までは大丈夫というものです。
ひじきに含まれている無機ヒ素は最大で22.7mg/kg（22.7マイクロg）です。従って1日あたりで4.7g以上を日常的に食べ続けない限りは、健康に悪影響を与えることはないということになります。
平均的な日本人の食生活において、ひじきの摂取量は1日0.6g程度となっているので、普通の食事であれば、ひじきでの健康問題は起こらないと考えてもいいのではないでしょうか。ただしあくまでも摂取する量の問題になってくるので、毎日丼に1杯ずつひじきを食べているという人がいるのなら、無機ヒ素が問題になる可能性を否定できません。
まあ、そもそもそれ以前に食事のバランスが崩れているので、そちらから考え直すべきでしょう。
実際に厚生労働省の発表においても「海藻中に含まれるヒ素によるヒ素中毒の健康被害が起きたとの報告はない」と明記されています。ひじきは食物繊維、カルシウム、鉄などが豊富に含まれているので、常識的な範囲でなら、食べた方がいいと思います。